эластика хранит и индексит, логстеш собирает (он именно как агрегатор, как я понял), кибана визуализирует

кибана только визуализация или она и умеет реагировать на некоторые события? например, количество ошибок с одного из сервисов за минуту превысило 1000 штук.

можно алерты настроить

это к логстешу

можно алерты настроить

какие способы доставки нотификаций есть?

логстеш это если ты с файликов собирать хочешь

ну не только файлики. Input-ов много. Просто я глянул на грейлог, увидел, что он занимается сборкой логов также

http://www.elastic.co/products/x-pack/alerting

в графане я могу и в телеграм отправлять алерты

графана это как бы немного другое

графана это чуть меньше, чем кибана. Кибана даёт удобный дешборд над эластиком в бонус

но и со своими фичами

графана это метрики, кибана это логи

совсем разные вещи

понятное дело. я о алертах

графана это вообще визуализатор в основном

зачем логи визуализировать?)

их рыть надо и матюкаться

их рыть надо и матюкаться

что бы повысить эффективность матюков

https://github.com/ongr-io/ElasticsearchBundle

Сергей, скажи пожалуйста анотации для индексируемых полей нужно роставлять по моим сущьностями, или для индекса нужно создавать отдельные объекты "Document" ?

отдельные документы

так проще

ок, спасибо

https://habrahabr.ru/company/skyeng/blog/343490/

адептыж его заклюют

отдельные документы

а какая связь, между создаваемыми документами и самими таблицами/полями которые мне нужно проиндексировать?

никакой)

ты сам наполняешь это дело данными

более явный и контролируемый подход

Max с этим много страдал

наполнять, и контролировать актуальность данных, да неожиданый поворот

не только наполнять но и удалять, редактировать...

Сергей, скажи пожалуйста анотации для индексируемых полей нужно роставлять по моим сущьностями, или для индекса нужно создавать отдельные объекты "Document" ?

Мы делали отдельные документы - так как данные в эластике и базе лежат в разных формах, плюс больше контроля если отдельно. Если для пары свойств одной сущности то норм, плюс эта штука уже умеет работать с приватными свойствами. Ну и нужно подумать как ты будешь обновлять, пару раз в день реиндексировать все и не париться или обновлять асап, на каждый чих

а сколько времени занимает реиндекс?

из того, что мне понравилось, это DSL

а сколько времени занимает реиндекс?

смотря сколько у тебя данных, если тысячи то не долго, если десятки и сотни, то надолго

кэп)

не долго это минуты, долго часы

я планировал в индексе хранить "гарячими данными" по остаткам товаров, цене, ... но в силу того что эти даные могут менять много раз не день задумался как наладить механизм для синхронизации можно же делать частичный реиндекс, скажим те данные которые явно менялись их будет несколько сотен, обновлять по каждому чиху, а то что застоялось уже раз у сутки?

а зачем тебе эластика?

целесообразно ли поцепить на собития доктрины апдейт даных в индексе еластики?

для быстрого поиска, поиска похожих товаров

целесообразно ли поцепить на собития доктрины апдейт даных в индексе еластики?

можно попробовать по собитыях ложить в очередь. а дальше воркеры пусть обновляють индекс по конкретной записи/сущности

в pdfiller на митапе описывали свой подход, можно на ивенты orm завязываться и обновлять в текущем запросе, можно кидать в очередь

можно на триггерах

целесообразно ли поцепить на собития доктрины апдейт даных в индексе еластики?

да, ток есть нюанс, что лучше документы обновлять пачкой, чтобы не было конфликтов и коллизий, у эластики нет транзакционности и тп,

https://www.elastic.co/blog/found-keeping-elasticsearch-in-sync

те в идеале иметь один воркер который будет балком апдейтить документы

не обязательно

в идеале)

у нас около 8 демонов лупят в общей сложности 5-6тыс апдейтов в секунду в эластик

у нас около 8 демонов лупят в общей сложности 5-6тыс апдейтов в секунду в эластик

нет конфликтов и тп?

не, там для индексации все равно берет актуальные данные из монги

а, тогда норм

Кто знает, по какому часовому поясу и во своклько будет релиз symfony4?

хочешь быстрее всех обновиться?

а ачивку дадут?

если сделает на проде то да

посмертную, в таком случае?

зависит от ряда факторов, но в целом да.

адептыж его заклюют

Ну, если core-team dev пишет backend на symfony, а не yii2, это уже не сигнал, а сигналище

как вы цепляете результаты поиска в эластике? получив результаты из него ищете уже в доктрине записи соотвествующие?

или гидрация какая то?

Мы ищем записи

Или если агрегация - просто юзаем что эластик отдал

ERROR: S client not available

если эластик вернул 1000 найденных результатов. запрос к доктрине по 1000 айди?

Ну а у тебя есть такой кейс?

1000 элементов на странице

Ну а если даже и 1000 то что?

Если у тебя из за такого ложиться начнет - сделай так типа максимум 500 чтоб увидеть больше уточните поиск

или постраничный вывод

ну 1000 результатов и пагинация

на эластике строить пагинацию или с симфони?

Как еще вывести 1000 записей не выводя 1000 записей - не знаю)

Ну на эластике можешь сразу ограничивать, лимитом и скипом

А в бд просто по айди

ну можно видимо прямо с эластика во вьюхи выплюнуть результат еще не трогая доктрину

Можно

Если тебе не проблема все что надо для вьюхи держать в индексе

ок. спасибо

Прост у нас данных дохренища, накладно так дублировать

вопрос, почему не sphinx? сам эластик юзаю но никогда не юзал сфинкс

читай выше) эластик из за масштабируемости

а

кластер построить легко

Если этого не надо то сфинкс даже лучше будет

В чем то

Ну тут дело такое

Лучший путь тот, который знаешь

меня чота устроил прям эластик

крутая штука

https://lichess.org/8UN8sLo0

чота

создавай. скатаю с тобой

меня чота устроил прям эластик

Эластик дает возможность итемы добавлять в индекс по-нормальному или обновлять их. У сфинкса дополнительный delay-index для этого (или как там его)

У сфинкса уже давно realtime индексы есть