вешай воркера который индексирует из базы нужные поля

с подтверждением

Так а статья есть какая, или нету?

и у тебя всё будет консистентно

а мне помнится что там ванилла си, без крестов

опенждк таки на крестах

до пулов для вытягивания еще не добрались? :)

в эластик можно пихать чанками или только поточно, один за другим?

можно и bulk загрузку и один за другим

просто у меня в поиске я ещё обновляю данные в рилтайме которые изменились

обычно я перезагружаю целиком, но есть пара проектов где несколько миллионов документов которые обновляются постоянно, там с рабитом как я выше описал

статьи нет, мы с коллегой как-то самобытно к этому пути пришли

А если в pgsql сохранилось а es глюкнуло

https://github.com/Mikulas/pg-es-fdw

не пользовался, но идея интересная

не, там внизу написано что не гарантируют запись

так что либо из кода, либо асинхронно с подтверждением

Так в результате вот смотри: есть у тебя миллион документов в pg и эластике. Пришёл запрос - один изменить. Тогда из контроллера пилишь в psql и эластик. А зачем брокер?

у меня товары сгруппированы в группы и можно из поиска целую группу отключить

брокер нужен чтобы эта операция не тревожила пользователя который отключает группу

если одного обновлять конечно же не нужно никаких брокеров, в транзакцию обернул и всё будет хорошо

Да, так вот и вопрос - как сделать чтобы если в pg прошло а в elastic - нет, оно всю транзакцию завернуло

Или наоборот догнало

а ещё, кстати, брокер даёт такой эффект что если эластик не доступен по какой либо причине, то в него всё равно запишется потом

Ну короче чтоб согласованные данные были там и там

а ещё, кстати, брокер даёт такой эффект что если эластик не доступен по какой либо причине, то в него всё равно запишется потом

главное чтобы брокер не отвалился и персистед сообщения не потерялись ;)

Если такое делать в эликсире, брокер из коробки- не знаю как в рельсах

раббит это не только брокер, это также мониторинг

персистентные очереди

сложный роутинг

авторизация

Тут можно вообще впилить в psql и полгода в эластик запихивать, отдав сразу респонс

+ наличие множества клиентов под разные языки

я бы не стал сам его реализовывать, несмотря на видео что выше кидали (хорошее видео, кстати =) )

можешь писать в рабит с рельсов читать воркером на эликсире

Можно написать воркер на эликсире и сайт на эликсире и использовать ets или мнезию

проблема, почему не сделали плагин для psql, думаю в том что у ES схема есть и она немаловажна

непонятно как её описывать

мнезия, кстати, очень необычная база я не пользовался, но там куча фич уникальных по выборкам

Можно написать воркер на эликсире и сайт на эликсире и использовать ets или мнезию

конечно можно и возможно даже нужно, если весь стек у тебя предполагает один лиш эликсир - тогда еще какие-то зависимости нафиг не нужны (я про рабит сейчас)

ну наверное вы правы, при работе с эликсиром и эрлангом очень мало задач где может пригодиться раббит

Но все равно я не понимаю: вот к примеру принимаю из rabbit сигнал, что мне нужно put в эластик. А она не доступна. И как мне rabbit поможет?

Я скажу ему - забери сообщение своё обратно, пришли когда эластик будет доступен?

там есть подтверждения что задача выполнена

у раббита персистентная очередь может быть реализована с lock & delete типа если не получилось в эластик положить - не удаляй сообщ. из очереди через ретрай полиси повторишь попытку

то есть твой воркер берёт у раббита задачу и должен сообщить что обработал её

если произошла ошибка, воркер просто говорит что задача не подошла и спит

потом снова берёт и пробует поновой

Классная реализация

Я скажу ему - забери сообщение своё обратно, пришли когда эластик будет доступен?

ты сообщение "лочишь" если запихнул в эластик успешно - удаляешь его после лока из брокера если эластик недоступен - снимаешь лок и не удаляешь, сообщение лежит там себе дальше, до следующего прочтения

Меня волнует крэш в любом месте моего воркера

пока он не подтвердил что задача выполнена, сообщение останется в очереди

Тогда как я понимаю, после рестарта я заново получаю то же задание

воркер перезапустишь он его снова попробует обработать

по мониторингу видно сколько консумеров онлайн

так что если это значение меняется, значит они рестартят

А через редис такое можно? Чёт в падлу ещё один процесс в стэк пихать

если конечно чего-то посерьёзнее нету для мониторинга

с редисом всё сложно, во первых он теряет задачи при перезапуске

если я не ошибаюсь

во вторых там подтверждения нет

то есть он отдал и забыл

Теряет если не успел сбросить на диск

и тебе за этим надо следить самостоятельно

Теряет если не успел сбросить на диск

мне что то персист в редисе совсем не понравился

А в эликсире такое можно сделать интересно...

Если посылать на пид сообщение - то оно потеряется на крэше

https://www.rabbitmq.com/tutorials/tutorial-two-python.html вот тут про Message acknowledgment

Можно конечно peek и pop в ets

ERROR: S client not available

Если посылать на пид сообщение - то оно потеряется на крэше

ну его можно через ETS регистрировать..

Но ets сам не персистентный

Если нода упадёт- гуляй Вася

ну у тебя что упадет, совсем всё?

а.. нода

rabbitmq в mnesia сохраняет durable задачи

ну тогда мнезия, реплицировать её.. но кажется это не самое быстрое решение для очереди будет

По идее необходима персистентность на уровне внезапного рестарта тачки

ну тут надо выбирать между сверхнадёжностью и производительностью

Но репликация конечно решает

Две тачки за раз - я готов на такую надёжность

Дима, с другой стороны - у тебя же кейс чисто бросить задачу на то, что бы запихать новое в эластик? ну если нода крахнется, после поднятия попроси перечитать всё и обновить данные в еластике

Да, так и есть

Тоже самое хотел написать. Это же индексация, не так страшно если где то потеряется таска на индексацию

После краша ноды перемндексировать всю базу в эластике

И городить реплекацию для такой задачи смысла мало

По другому никак кстати

Если конечно у тебя не каждые два часа машина будет ребутиться

Походу надо как минимум раз в сутки с нуля переиндексировывать и так

Зачем? Можно просто дописывать туда то что нужно по мере необходимости

Да, но как понять что просрал?

Если у тебя данные не realtime то просто запускаешь по крону, если realtime вешаешь хуки. Ты можешь мониторинг настроить за тасками

Или просто забить на это)) ну не нашёл 1 товар из миллиона - хрен с ним

Не знаю как в RabbitMQ но в celery это просто все делается

Или просто забить на это)) ну не нашёл 1 товар из миллиона - хрен с ним

а если это товар на миллион? :) и ты маржи в пол миллиона лишился..

Ну, есть один на миллион шанс что я просру именно его)

Походу контакт так делает кстати. В поиске человека нету, реально - есть

ну у раббита durable сообщения же есть которые он в мнезию пишет, от рестарта тачки это спасёт

по производительности, всё субъективно

блин, сижу в чатике про эликсир, у самого проект на скале/акке открыт в идее, а на работе на шарпе пишу.. чувствую себя неуютно как-то.

Какая разница блин

Все равно обсуждаем эластик , брокеры и персистентность