Хотя и странно, что за это не отвечает паттерн Репозиторий

в чате капитаны узнали что существуют профайлеры

Горит чьето эго.... пожарных вызывали? Вопрос про "включен ли у тебя секюрити" в разговоре про скорость работы, без дополнительных деталей, был настолько же корректен, как и выбор фрейморка по скорости бутстрапа. Так что извини, что напомнил тебе о профайлере.

Горит чьето эго.... пожарных вызывали? Вопрос про "включен ли у тебя секюрити" в разговоре про скорость работы, без дополнительных деталей, был настолько же корректен, как и выбор фрейморка по скорости бутстрапа. Так что извини, что напомнил тебе о профайлере.

любая аутентификация с авторизацией несут за собой оверхед, если это не in memory решение. и в контексте 30мс файрвол в 5мс довольно заметен и да, это чаты. тут деталей никогда не бывает, поэтому свои рассуждения о деталях можно заснуть куда подальше

любая аутентификация с авторизацией несут за собой оверхед, если это не in memory решение. и в контексте 30мс файрвол в 5мс довольно заметен и да, это чаты. тут деталей никогда не бывает, поэтому свои рассуждения о деталях можно заснуть куда подальше

Да море тут деталей. Вон даже кодяру выкладывают, куда уже детальнее

есть вопрос почему модель занимается вопросами хранилища, а контроллер бизнес-логикой ?

ну так это содержание 99% статей про MVC в php

"модель" это данные (считай база" и "контроллер их меняет"

логично че

есть процедуры, и есть данные

есть вопрос почему модель занимается вопросами хранилища, а контроллер бизнес-логикой ?

В моём видении моего приложения механизм "Модель" фреймворка я буду использовать только для распределения данных по хранилищам ( MySQL, MongoDB, ElasticSearch) . Для бизнес - логики я реализую свой механизм который будет работать как со статически заданными (я бы сказал первичными) моделями, так и виртуальными (производными), декларативно описывая правила получения производных моделей и так же декларативно логику как первичных так и производных моделей в модулях

В моём видении моего приложения механизм "Модель" фреймворка я буду использовать только для распределения данных по хранилищам ( MySQL, MongoDB, ElasticSearch) . Для бизнес - логики я реализую свой механизм который будет работать как со статически заданными (я бы сказал первичными) моделями, так и виртуальными (производными), декларативно описывая правила получения производных моделей и так же декларативно логику как первичных так и производных моделей в модулях

зачем тебе монга?

https://dev.mysql.com/doc/refman/5.7/en/json.html

https://www.postgresql.org/docs/9.6/static/datatype-json.html так лучше

почему все так не любят Mongo？Мне никогда не нравился синтаксис SQL. В MySql красивого селекта не увидел, в postgres получше но все равно не нравится. Если вопрос только во вкусе то не вижу проблем с mongo, если есть какая то критическая причина хотелось бы услышать.

медленные выборки не являются достаточной причиной?

Транзакции)

медленная запись также

ну некое подобие транзакционности у монги есть, вроде

то есть вы хотите сказать что на одинаковом железе, posgres в режиме выборки по json работает быстрее mongo?

Да

Jsonb в постгре быстрее монги

Во всяком случае был в 9.4 постгре и такой же свежести монге

в монге есть шардинг хороший

около 2х терабайтов лежит в ней, размазанные по пачке шардов

ну если основная задача этих данных “лежать” , то да, норм решение

мы тоже сейчас монгу используем

данных что-то около терабайта

обновление данных занимает по нескольку дней

около 2х терабайтов лежит в ней, размазанные по пачке шардов

а зачем тебе шардинг для 2-х терабайт?

у чела то поиски и прочее в эластике, и у нее шардинг не хуже

а монга насколько я понял будет использоваться как тупое хранилище

а зачем тебе шардинг для 2-х терабайт?

ну когда все на одном инстансе оно туго уживается)

ну вот честно я не могу придумать себе юзкейсов для монги(

в эластике поменьше, около 500гб

юзкейс: структура данных, загруженных в каждый из доков не одинаковая и хер его днает какие новые данные прийдут через месяц

а еще ее GridFS использовали

юзкейс: структура данных, загруженных в каждый из доков не одинаковая и хер его днает какие новые данные прийдут через месяц

не оч затея

мы еще на кассандру косимся, но не тестили

ну там реально не известно какие данные от брокеров прийдут

поэтому сидим и выколупываем

иногда лучше в файлики складировать

а потом дни идут на то, чтоб обновить и понять к кому какие данные относятся так как монга тормозючая шо пиздец

если бы сначала выбрали реляционную БД получили бы проблемы с alter table

юзкейс: структура данных, загруженных в каждый из доков не одинаковая и хер его днает какие новые данные прийдут через месяц

jsonb

а еще ее GridFS использовали

зачем?

Тянки есть?

мы еще на кассандру косимся, но не тестили

а у вас есть задачи для касандры? ну мол какие-то последовательности данных которые потом агрегировать надо?

что-то типа стрима ивентов

но только что бы касандру юзать надо хорошо представлять какие тебе запросы понадобятся)

я ее тыкал - было удобненько

я там хранил сообщения из чатов

да вот надо пощупать, как только закончим миграцию на кубер

Монго может падать потому, что слишком много процессов обращаются к ней? Те запускается один процесс по крону, он еще не завершен, а через некоторое время такой же опять запускается и так до бесконечности

Парсинг событий из вк и фейсбук

Кто как вносит изменения в бд с 100+ лямов записей и весом в 50гб +? подскажите как быстрее добавить поле, изменить индекс

йопта

такие базы обычно ен меняют

Кто как вносит изменения в бд с 100+ лямов записей и весом в 50гб +? подскажите как быстрее добавить поле, изменить индекс

для альтеров по живому есть 2 типичных решения

а если меняют то не на innodb

такие базы обычно ен меняют

меняют =)

есть tokudb для такого

pt schema change (от перконы. мог название попутать)

меняют =)

там же реиндекс будет целый день идти

и аналогичная тулза от facebook, гуглится элементарно

там же реиндекс будет целый день идти

ну не знаю сегодня за 40 мин добавил поле в 27 миллионую таблицу

27 лямов еще ладно

у него 100+ лямов

там ничего военного нет, скрипт поднимает копию таблы, альтерит, начинает переливать данные. старую таблу обмазывает триггерами чтобы вылавливать изменения данных во время перелива

50 гиг. значит там страшная табличка

у него 100+ лямов

ну прибавь часа 2

в обем эта задача не проблема года эдак с 2010

а как насчет индекса?)

50гиговые таблы альтерил по живому без даунтайма

ну займет пол дня, ну и хуй с ним

я помню баду рассказывали как у них индексы сутки менялись)

ну или день. главное без даунтаймов абсолютно

а как насчет индекса?)

решение выше скинули. не такая это и проблема

там ничего военного нет, скрипт поднимает копию таблы, альтерит, начинает переливать данные. старую таблу обмазывает триггерами чтобы вылавливать изменения данных во время перелива

знакомый от нечего делать свою версию даже написал.

страхи.. ладно)

на хайлоаде всегда все страшно ) можно и селектом базу повалить )

это я знаю)

сталкивались)

вснеу ясность, mariadb 10 innodb

вснеу ясность, mariadb 10 innodb

https://www.percona.com/doc/percona-toolkit/LATEST/pt-online-schema-change.html

Всем привет, пишем проект на Yii2 +mysql, есть таблица статистики, каждый день туда добавляется около 2кк записей. Из этой таблице в дальнейшем будут проводиться выборки. Думаем сделать партиционирование, и хотим реализовать это дело через PHP, после часа поисков не смог найти какого-то похожего решения, кто-то сталкивался с такой проблемой? Может есть какие-то наработки?

2кк каждый день?

Всем привет, пишем проект на Yii2 +mysql, есть таблица статистики, каждый день туда добавляется около 2кк записей. Из этой таблице в дальнейшем будут проводиться выборки. Думаем сделать партиционирование, и хотим реализовать это дело через PHP, после часа поисков не смог найти какого-то похожего решения, кто-то сталкивался с такой проблемой? Может есть какие-то наработки?

За $ могу наработать наработки, которые будут потом нарабатывать как надо

мускуль и по 2кк в день

может с одной "к" ошиблись)

2 миллиона записей

Подожди. Ты партиционирование средствами пхп хочешь сделать?