Я думал ты имеешь ввиду использование только эластика и все

Просто там где зпрос тот, который быстрее сделать в мускле - делаешь в мускле

Там же у тебя актуальные данные

плохо тем что нужно дублировать кучу данных, которые не нужны

проще выгребать с эластика айдихи и потом по ним идти к мускулю

Вообще да. Наилучший юзкейс когда Эластик возвращает только Айдишки

А если elastic возвращает 25 тысяч ID-шников на запрос — хорошо ли брать потом столько строк из mysql?. WHERE id IN (1,..n=25k).

с доктриной вообще не лучшая идея выбирать столько

и в мускуле будешь ограничен только максимальным пакетом в 1мб по-дефолту вроде

У нас сейчас так сделано. elastic выдаёт кучу ID + mysql их сортирует и лимитит. И я вот думаю, как бы это рефакторнуть.

Правда с 25к я погорячился.

11 тысяч выбирается, в максимальном случае.

ну в целом ок) у нас так монга с мускулем общаются

и эластиком

на эластике правда 5к ограничение поставили, но из-за наших кейсов, а не потому что он не тянет

ну в целом ок) у нас так монга с мускулем общаются

А как вы монгу юзаете?

Как данные структурируете?

плохо тем что нужно дублировать кучу данных, которые не нужны

и чем плох дубляж? только тем, что больше памяти требует?

и чем плох дубляж? только тем, что больше памяти требует?

ну если у тебя база на 100гб, то держать еще вторую такую же такая себе затея)

Как данные структурируете?

в плане?

в плане?

Ну что вообще там храните?

Я просто вообще не понимаю, как ее юзать, чтобы было удобно

запчасти, каким машинам подходят эти запчасти, какие дистрибьюторы продают эти запчасти. из основного

А связи как организовываете?

по айдихам

Я знаю как реляционно хранить, чтобы не дублировать.

Ну так это ж реляционная модель

В чем профит монги?

и че?)

Больше проблем только? :)

Ты читал статью про монгу?

ну на мускуле шардинг делать такая себе затея

и терабайты данных он хреново тянет

по сравнению с монгой

Я давно давно вот эту статью читал.

Еще раньше работал немного с монгой

https://habrahabr.ru/post/231213/

Но прочитал статью, и понял, что мне кажется, плюсов-то немного

А неужели нет реляционных БД, которые шардятся нормально, но при этом нормально поддерживают джойны и т.п.?

а зачем тебе джоины?)

Мы вот сейчас переносим все mysql-данные в mongo.

И хотим вообще отказаться от doctrine dbal-зависимости

Оставить только odm.

щас вообще в сторону кассандры смотрим

а зачем тебе джоины?)

Ну если есть связи по айдихам, то иногда таки нужны джойны, нет?

odm не юзай. гавно

Либо ты данные все равно связываешь в коде своем

А как юзать?

чистый mongodb экстеншн?

odm еще не поддерживает нативный новый экстеншен, только через адаптер. а из-за него производительность падает

В чем профит монги?

документы монги больше подходят для хранения объектов.

ну и плюс odm просто неудобен по сравнению с прямым экстеншеном

документы монги больше подходят для хранения объектов.

Но у тебя не один объект иерархический в системе

А сущности

Которые имеют перекрестные связи

Ну если есть связи по айдихам, то иногда таки нужны джойны, нет?

а если у тебя несколько разных баз, и вообще еще rest сервисы в придачу. как ты без джоинов жить будешь?

а если у тебя несколько разных баз, и вообще еще rest сервисы в придачу. как ты без джоинов жить будешь?

Так же как в монге, видимо :)

отож. от сложных джоинов некоторые даже в мускуле отказываются

Ну конкретно в нашей задаче документы были бы лучше, так как сейчас есть несколько god-entity, к которым прицеплено по 20-30 разных подсущностей.

особенно когда делают джоин миллионной таблицы к другой такой же. типа юзеров к логам

Ну конкретно в нашей задаче документы были бы лучше, так как сейчас есть несколько god-entity, к которым прицеплено по 20-30 разных подсущностей.

какой домен?

ну, сфера приложения какая)

https://www.medkompas.ru/doctor/599/

особенно когда делают джоин миллионной таблицы к другой такой же. типа юзеров к логам

Ну хорошо структурированная БД с индексами не должна наверно таких проблем вызывать.

По крайней мере на средних рзмерах

ERROR: S client not available

Я к сожалению не имею опыта работы с очень большим массивом данных

если нужен джоин 2х огромных таблиц, чтобы по ним сделать поиск, то тут уже надо думать не о том что без джоинов это неудобно, а о том что это ппц как тяжко будет для мускуля

когда всего одна база юзается это конечно круто, но не всегда это реально и вообще необходимо

а зачем доставать 11 тыс элементов впринципе? они все в рамках одной бизнес-транзакции как-то задействованы?

нуу юзкейс понять бы

map-reduce может для аналитики)

если нужен джоин 2х огромных таблиц, чтобы по ним сделать поиск, то тут уже надо думать не о том что без джоинов это неудобно, а о том что это ппц как тяжко будет для мускуля

Ну в таком случае я бы использовал что-то параллельное. Типа Эластика, Солра или еще чего.

и еще редис поверх)

Ну опять же, от ситуации зависит.

Может и редис для кеширования

или любой другой кэш

Доставать не достаём, но сортируем и лимитим. У нас поисковая параметрика реализована через elastic. Дефолтный поиск (без параметров) ищет по определённому городу (cityId) и с определённой сортировкой. Сначала elastic выдаёт все ID из определённого города, потом mysql сортирует их и обрубает для пагинации.

Вариантов-то масса :)

Доставать не достаём, но сортируем и лимитим. У нас поисковая параметрика реализована через elastic. Дефолтный поиск (без параметров) ищет по определённому городу (cityId) и с определённой сортировкой. Сначала elastic выдаёт все ID из определённого города, потом mysql сортирует их и обрубает для пагинации.

Так а в чем будет профит монги тут?

Здесь я уже не про монгу. А просто пояснил своё сообщение: "У нас сейчас так сделано. elastic выдаёт кучу ID + mysql их сортирует и лимитит. И я вот думаю, как бы это рефакторнуть."

у эластика достаточно данных чтобы сделать нужную сортировку?

Пока нет, после рефакторинга — будет.

И mysql можно будет отрезать.

да, будет норм можно и сразу эластиком резать

Я имел ввиду выбросить mysql из этой цепочки. Да, лимитировать эластиком.

Всем добрый день. Подскажите, а как докидывать в профайлер perfomance события? http://shot.ruzarh.ru/2017-04-26-15-42-36-l3dta.png

Всем добрый день. Подскажите, а как докидывать в профайлер perfomance события? http://shot.ruzarh.ru/2017-04-26-15-42-36-l3dta.png

из контейнера берешь stopwatch и туда пишешь

из контейнера берешь stopwatch и туда пишешь

Спасибо огромное! Я думал будет что то сложнее!

Добрый день всем! Подскажите пожалуйста, добавил в default коннект для доктрины секцию slaves со слейвом, но почему-то возникают ситуации что не все запросы которые изменяют состояния обьектов попадают на мастер, в чем может быть проблема? Ввлетает ошибка с read-only транзакциями ... как вообще это по уму реализовать master-slave?

покажи конфиг

# Doctrine Configuration doctrine: dbal: types: tsvector: Core\HelperBundle\DBAL\TsvectorType default_connection: default connections: # default Postgres connection default: driver: "%database_driver%" host: "%database_host%" port: "%database_port%" dbname: "%database_name%" user: "%database_user%" password: "%database_password%" mapping_types: tsvector: tsvector slaves: # a collection of named slave connections (e.g. slave1, slave2) slave: host: "%slave_database_host%" port: "%slave_database_port%" dbname: "%slave_database_name%" user: "%slave_database_user%" password: "%slave_database_password%"

вроде все ок. запросы случаем не вида INSERT ON SELECT?

а погодь. я не вижу тут мастера в конфиге

master: host: "%database_host%" port: "%database_port%" dbname: "%database_name%" user: "%database_user%" password: "%database_password%" slaves: ...

и еще keepSlave: true поставь, а то он после запроса на запись не будет делать выборки со слейвов

Спасибо большое, сейчас буду править .... !)

Всем привет. Скажите, а как при multyKernel чистить кеш не для основного ядра?