тогда напиши свой exchange для rabbitmq

а через proxy это если делать - то на каждую операцию записи придется делать заход в очередь, аггрегирование и запись результата уже назад

тогда напиши свой exchange для rabbitmq

оно? https://github.com/tonyg/script-exchange

omg

оно? https://github.com/tonyg/script-exchange

А оно работает?

Тогда можно наверное

не уверен что оно подойдет

там ничего же нет про аггрегацию

там только stateless-скрипты вроде, или я невнимательно прочел

а через proxy это если делать - то на каждую операцию записи придется делать заход в очередь, аггрегирование и запись результата уже назад

Так а зачем назад записывать? Ты уже в эликсире и с данными?

Записать назад чтобы опять в том же эликсире прочитать?

Ну так я ищу решение для стриминга, т.е. real time агрегации по сути. Быстрее же вынуть уже аггрегированные данные и с ними работать, чем вынуть кучу неагрегированных записей и в памяти их потом обрабатывать

можно синтетический пример

а то не очень понятно что же именно за агрегация

Данные по статистике. Кол-во просмотров чего-либо, например

Элексир и бигдата дружат?

оконная функция какая-то? или просто счетчик накапливается?

Ну грубо говоря счетчик.

Там арифметики сложной нет

Мне кажется, если rabbitmq сервер работает на той же beam, что и твоя программа, то ничего ты быстрее не получишь. Без разницы, твой велосипед самописный для агрегации будет вызываться через сервер rabbit или через твой эликсир пап

имхо, в брокере очереди это делать overkill

А если для rabbit написать аггрегатор на руби - то ещё и медленнее

nif написать можно, я думаю

Нативно, конечно либы искать придется, но сейчас есть influxDB для time-series данных, которая сама умеет агрегирование делать

мне нужна message queue, но которая будет уметь аггрегировать данные, которые в нее кладут. чтобы я забирал уже аггрегированные данные, а не вынимал по каждой записи и аггрегировал уже потом в памяти сам. и чтобы elixir/erlang смог эти записи аггрегированные вынимать оттуда

influx активно поддерживается сейчас, написан на Go

Rethinkdb еще есть

Но чет она доверие не внушает

имхо, в брокере очереди это делать overkill

Да нет, почему. Стриминг же не зря появился. Просто когда к тебе сыпится грубо говоря 2-3к. сообщений в секунду, то одно дело вынимать 400-500 аггрегированных сообщений в секунду и перегонять эти данные дальше уже, чем все это дело в памяти вертеть постоянно. Так и памяти то может не хватить

а зачем вертеть?

Да нет, почему. Стриминг же не зря появился. Просто когда к тебе сыпится грубо говоря 2-3к. сообщений в секунду, то одно дело вынимать 400-500 аггрегированных сообщений в секунду и перегонять эти данные дальше уже, чем все это дело в памяти вертеть постоянно. Так и памяти то может не хватить

Я все ещё не могу понять, почему твой брокер написанный на эрланге лучше работает чем твой код, написанный на эрланге?

консьюмишь из rabbitmq с каким-то префетчем, агрегируешь, делаешь что еще нужно

Потому что amqp обеспечивает персистентность и гарантию доставки

Потому что amqp обеспечивает персистентность и гарантию доставки

Лучше не в смысле гарантий, а лучше в смысле перфоманса

Данные идут через локалхост - это по сути сокет, написанный на с в ядре линухи - максимально быстрая штука

Есть оверхед по размеру данных, по количеству сообщений. Но какими способами будет агрегация внутри самого брокера? Скорее всего так же данные будут либо передаваться через эрланг порт, или через сокет.

Я все ещё не могу понять, почему твой брокер написанный на эрланге лучше работает чем твой код, написанный на эрланге?

Ну как почему? Ты заменяешь данные на лету фактически. И вынимаешь из очереди в несколько раз данных меньше (уже аггрегированных). А в демоне моем на эликсире мне придется каким-то образом это дело вначале аггрегировать, держать в памяти кучу объектов и потом уже с этими данными дальше работать. Понятно?

В этом же смысл всяких rethinkdb, lua скриптов на redis и прочих решений

а когда ты внутри брокера делаешь, придется же делать тоже самое, разве нет?

Так я не знаю как это делается внутри брокера )

Есть оверхед по размеру данных, по количеству сообщений. Но какими способами будет агрегация внутри самого брокера? Скорее всего так же данные будут либо передаваться через эрланг порт, или через сокет.

Так каким же образом внутри брокера все это делается?))

В redis это делается через lua скрипты, которые как я понимаю компилируются потом во что-то. В рэббите не знаю.

Брокер находится на планете Манна, там 23 года идут один день)))

Может быть ))

Ну в InfluxDB нативная агрегация на Go, оверхеда на tcp передачу нет даже

Вообще внутри брокера нет оверхеда на трансфер данных

Смотри, тут 3 момента: 1. Когда ты это делаешь в брокере - ты не тратишь время на передачу данных по сети в твое приложение, а делаешь сразу все в памяти 2. Ты аггрегацию делаешь по одному сообщению. Т.е. прежде чем добавить - ты ищешь месседж такой же и просто соединяешь два мессаджа в один

3. Если грохнется брокер - ты данные сохранишь на диске (почти все), а если твоя приложуха, то до свидания

Возможно, но тут опять же зависит от реализации.

4. Как саму агрегацию делать то? Держать в памяти список из 50 тыс. элементов и доставая сообщение по одному каждый раз пробегаться по списку?

Ну, если ты раз в полчаса данные забираешь - то возможно это проблема

почему по одному то?

В брокере ты знаешь, что у тебя в данный момент в очереди. А в твоем демоне ты этого не знаешь - приходится пачками доставать сообщения и бегать по ним в памяти. Вот отсюда и оверхед идет

prefetch 1000 и будешь вынимать по 1000 сообщений

prefetch 1000 и будешь вынимать по 1000 сообщений

Ну я образно говорю. Но потом тебе надо будет как-то агрегацию сделать ведь все равно

На самом деле тут вопрос просто в конкретной реализации

Я например полагаю, что луа скрипты выполняются каким то интерпретатором луа, который передаёт сообщения через тот же файловый дескриптор терминала, а для локалхоста что сокет что ttl -скорость одинаковая

Другое дело если у тебя брокер и твой комп соединены через GSM модем

Да, есть разница пуша и пула, но я думаю что процесс эрланге в состоянии пулить сообщения со скоростью их появления

смотри в rabbitmq exchange это просто функция которая принимает сообщение и его header-ы и возвращает сообщение и хидеры. Внутри можно каких угодно сайд-эффектов нагородить, насколько совести хватит. Так что ничего невозможного нет, но я всё равно не вижу ощутимого профита. Но ты можешь попробовать и нам потом расскажешь =)

Просто у меня было такое - два компа соединены GSM модемом и раз в день один из компов "звонит" другому и забирает данные) вот там надо было все на месте агрегировать, гзип и всякая такая хрень

подсмотреть реализацию можно тут: https://github.com/videlalvaro/rabbitmq-recent-history-exchange-elixir

подсмотреть реализацию можно тут: https://github.com/videlalvaro/rabbitmq-recent-history-exchange-elixir

Ага, спасибо, я посмотрю?

Ни у кого на github не завалялся бот для телеграмма, хочется посмотреть как оно там (с использованием Nadia)

Ни у кого на github не завалялся бот для телеграмма, хочется посмотреть как оно там (с использованием Nadia)

У Нади нету полинга

Вроде как

ERROR: S client not available

Так что лучше пока что писать на руби)

Да хочется на Эликсире что-нибудь попробовать

У Нади нету полинга

Есть же вроде.

Ну, функция вроде есть.

Как то там хитро

Надо самому сервер мутить

Я думал запилить через стейдж для неё пул

Но пока что на вкапи залип )

Куча идей, двигается туго - работы много ))

Так что лучше пока что писать на руби)

руби боты текут

сильно

Я думал запилить через стейдж для неё пул

там элементарно в метод обернуть и зациклить со сдвигом таймстемпа

если это не уметь делать, то какой в жопу генстейдж?

эликсир бот кстати шустрее рубишного прямо в разы

вот мой небольшой бот: @MedotvetBot

Чет бот на кнопку цены не реагирует

Чет бот на кнопку цены не реагирует

на вид вроде реагирует. Цены показывает.

на инструкцию иногда не пашет, т.к там бывают километровые инструкции

в любом случае, бот был сделан как шоукейс эликсира для ppph.ru

Да, он нашел лекарство, но цены не смог отобразить))

Да, он нашел лекарство, но цены не смог отобразить))

это какое?

бот питается базой данных и возможно там что-то не так пошло )

там элементарно в метод обернуть и зациклить со сдвигом таймстемпа

Так в общем то бота телеграмм элементарно написать. Если этого не уметь, то какая в жопу обертка в метод со сдвигом таймстемпа?) А если серьезно, то либа нужна чтобы я ничего не оборачивал. Мало ли что я там могу...

Так в общем то бота телеграмм элементарно написать. Если этого не уметь, то какая в жопу обертка в метод со сдвигом таймстемпа?) А если серьезно, то либа нужна чтобы я ничего не оборачивал. Мало ли что я там могу...

ну чувак не осилил допилить лонгполлинг со сдвигом.

а либа самая продвинутая для эликсира

опять же, я просто поглядел, как в друих сделано и все )

опять же, я просто поглядел, как в друих сделано и все )

Ну в принципе в руби так и сделано... Йилдиься просто сообщения которые в цикле забираются. Но тут же эликсир, можно по крутому менять на реактив. К примеру получать месседжи на ящик пула процессов отдельных для каждого диалога, или тот же стейдж - это уже как в руби. Короче говоря допиливать надо - это то что я имел ввиду

не забывай, что поллить можно только 1 раз, остальные запросы отстреливает их сервер. И там просто стрим всего

особо не развернешься, все равно нужно пилить 1 поллер и из него уже раскидывать

у меня просто под типы крутятся процессы, которые получают на ящик их мессаги, там же и имплементация. Звучит круто, по факту какое-то говно получилось

особо не развернешься, все равно нужно пилить 1 поллер и из него уже раскидывать

Это да... Но в этом и прелесть OTP.