Таймстемпы к задачам?

Понятно что я могу хранить не в очереди

ну тебе надо векторные часы тогда, то есть не рабитом порядок считать, а рабитом просто параллельно фигачить а порядок какого-то рода отдельными счётчиками определять

Но хотелось бы, чтобы был такой "кролик" условный, который за меня все это дело роутит

очередь для каждого юзера тогда должна быть отдельная

если раббитом

Т.е. типа такого софта: У меня есть пул коннектов, я шлю первому попавшемуся незалоченному из первой попавшей незалоченной очереди

А каогда получаю ack - анлочу и очередь и коннект

Самая блять простая херня, которую только можно захотеть

Но rabbit так не умеет

зашёл пользователь, ты спавнишь одного консумера его личной очереди, по истечению какого то времени неактивности прибиваешь его

ну и следишь чтобы консумеры были по одному, не?

Rabbit походу сам прибивает

Кстати

кстати, да, но надо пробовать

Консумеры по одному - rabbit тоже умеет сам следить

Осталось понять как сделать так, чтобы не осталось очередей без консьюмеров

Если let it crash

Там же походу вообще нету никаких возможностей получить список очередей

Ну кроме http admin какого нибудь супер костыльного

http api есть

Я и говорю - костыли

Есть вариант плагин написать

Конечно

Там же походу вообще нету никаких возможностей получить список очередей

management плагин с апи

опять же мониторить супервизором и проверять пустая очередь при креше или нет

Если сервак перезагрузится

А продьюсеры уже забыли, в какие очереди писали

Крч это настолько неконсистентно

А продьюсеры уже забыли, в какие очереди писали

дык называй очереди по шаблону

перезагрузился сервак - получил список очередей

Ну тык я и называю

заспавнил консумеров и в бой

По id пользователя

Зарегистрированных миллион - активных 100

Всех не переберешь

Я бы сказал, что эта задача слишком странная, чтобы пытаться натянуть её на кролика

Я правильно понял, что ты хочешь выполнять задачи из очереди на ограниченном пуле воркеров, но хочешь их распределять по воркерам по дополнительному критерию?

Не правильно

Я хочу выполнять задачи из пула очередей на пуле воркеров так, чтобы пока задача не решена - очередь была залочена

Заложена на запись или чтение?

Залочена на чтение

Те чтобы если задача зафкйлилась - она не терялась

И чтобы вторая задача не могла быть выполнена раньше первой

В рамках одной очереди

А вот в рамках разных очередей - сколько угодно

Те чтобы если задача зафкйлилась - она не терялась

А что бы с ней происходило?

Ну ещё раз попробовала бы выполнится

Ну ещё раз попробовала бы выполнится

А если она в принципе не может быть выполнена?

Тогда все висело до бесконечности

И пыталось бы выполнится до бесконечности

Ну вернее это к делу не относится

Она будет отмечена как выполненная и так и так

Но только после того, как либо выполнится либо зафейлится

К примеру если надо послать http она может минуту ждать пока появится интернет

Я, кажется, уловил. Фактически, получается шардинг единого потока задач, консистентный, по ключу, работает по одному воркеру на шард

И все это время очередь залочена должна быть на чтение

Ну что-то типо да

Наверное это можно так назвать

Смысл в том, чтобы можно было ещё один комп доставить

И пул воркеров горизонтально увеличить

И пул воркеров горизонтально увеличить

Вот тут как раз сложность как в любом шардинге

В смысле, я пока не понял, как это ребалансировать без остановки

Ну вот я думал что в кролике можно подписаться на топик

Но походу нет

Я вообще даже не знаю, есть ли готовое решение на твои критерии

Походу придётся забить на порядок

Пихать в одну очередь и выгребать из неё все толпой

Чисто статистически порядок будет сохраняться с большой вероятностью

Походу придётся забить на порядок

Можно забить частично, при добавлении воркеров. Тогда ребаланс становится простым.

опять же можешь всё сгребать в одну очередь читать одним воркером

но учитывать им для каких пользователей обрабатывается

и по RPC мелким подворкерам делегировать

а его лочить если пришла задача для пользователя который обрабатывается

тогда у тебя для разных юзеров будет параллелиться, и порядок не нарушится

С одной стороны да

Но с другой - тачку не добавишь

Потому что я этим воркеров должен всю очередь вычитать

А вдруг там есть новый пользователь

И как узнать что на соседней тачке уже обрабатывается этот юзер - никак

Можно прокручивать очередь

Но это треш какой то

очередь -> воркер который параллелит для разных юзеров -> много мелких работающих параллельно

у тебя всегда будут обрабатываться параллельно для разных юзеров задачи

очередь -> воркер который параллелит для разных юзеров -> много мелких работающих параллельно

Вот этот воркер в центре очень сложный

а сама последовательность глобально будет сохранятся

очередь -> воркер который параллелит для разных юзеров -> много мелких работающих параллельно

Воркеров в центре должен быть на кластере

Получается

А это жопа как сложно

Если его делать то и кролик не нужен

Вот этот воркер в центре очень сложный

он хранит некоторый реестр задач в виде ключ значение + шлёт RPC запросы и подтверждает задачи

не супер сложный

если он помрёт, задачи будут не акцептнутые, он их заново сожрёт и тут логика вообще не нужна

очередь -> воркер который параллелит для разных юзеров -> много мелких работающих параллельно

Тут тоже придётся ребалансировать, только мелких воркеров

нет, просто будет в очередь-подзадач как попало кидать дадачи

а там они сами будут брать в любом порядке

а там они сами будут брать в любом порядке

Честно не понимаю о чем ты

конечно это не самая оптимальная схема, но часть нагрузки будет отпараллелена и будет 100% порядок