погоди

ты сайдкик вызывал или же эктив джоб?

и перформ лейтер начинал жрать больше памяти, так?

да

хорошо

ты сайдкик вызывал или же эктив джоб?

так, получается, что ActiveJob, но там сайдкик крутится

так, получается, что ActiveJob, но там сайдкик крутится

бля

с этого и надо было начинать

ну не удивительно что что перфом_латер жрет меньше

с этого и надо было начинать

хм, не думал, что это существенно

ну не удивительно что что перфом_латер жрет меньше

больше

хм, не думал, что это существенно

ты знаешь как AJ работает и что это такое?

1.times {[1087].each {|id| Job.perform_now(mailbox_id) }} (такая структура потому что до этого тестил с разным количеством повторений и с разным набором айдишников

чот я не пони, а зачем тут массив вообще

нет, не изучал подробно, т.к. был уверен, что проблема в сайдкике. но судя по функционалу, что-то вроде прослойки перед клиентом сайдкика (во всяком случае здесь). но возможно ошибаюсь

чот я не пони, а зачем тут массив вообще

до этого с разными наборами айдишников тестил

ну ты мерь не топом

нет, не изучал подробно, т.к. был уверен, что проблема в сайдкике. но судя по функционалу, что-то вроде прослойки перед клиентом сайдкика (во всяком случае здесь). но возможно ошибаюсь

это ты зря

а посмотри ради интереса с #perform_later vs #perform_async

и довольно странно, что размер памяти уменьшается в рантайме, ведь, как я читал, если руби берёт память у оси, обратно её не отдаёт

а посмотри ради интереса с #perform_later vs #perform_async

ну вот как бы да

а чем нить типа https://github.com/michaelherold/benchmark-memory

ну и скорее всего там беда где-то тут

https://github.com/rails/rails/blob/master/activejob/lib/active_job/enqueuing.rb#L49-L55

но я не уверен еще

и довольно странно, что размер памяти уменьшается в рантайме, ведь, как я читал, если руби берёт память у оси, обратно её не отдаёт

там не всё так просто

а не

я наврал

там все еще круче

кстати говоря, а в sidekiq используется дефолтный JSON для вставки в redis

если заменить на что-то другое - будет лучше https://github.com/mperham/sidekiq/blob/master/lib/sidekiq/client.rb#L202

и довольно странно, что размер памяти уменьшается в рантайме, ведь, как я читал, если руби берёт память у оси, обратно её не отдаёт

короче, немного истории как это работает. все твои джобы серелизуются в json, кладуться в редис

если заменить на что-то другое - будет лучше https://github.com/mperham/sidekiq/blob/master/lib/sidekiq/client.rb#L202

ну так там же в качестве параметра ток айдишник. самое весёлое походу связано с базой данных

а потом начинается адок, потому что AJ создает сам свой основной воркер (один) и через него гоняет все JA джобы https://github.com/rails/rails/blob/master/activejob/lib/active_job/queue_adapters/sidekiq_adapter.rb#L38-L44

ибо когда много записей вставлять, то личит намного сильнее

а потом начинается адок, потому что AJ создает сам свой основной воркер (один) и через него гоняет все JA джобы https://github.com/rails/rails/blob/master/activejob/lib/active_job/queue_adapters/sidekiq_adapter.rb#L38-L44

и вот тут у тебя может произойти вообще что хочешь

поэтому проверь для начала что сайдкик работает тоже так же

а потом начинается адок, потому что AJ создает сам свой основной воркер (один) и через него гоняет все JA джобы https://github.com/rails/rails/blob/master/activejob/lib/active_job/queue_adapters/sidekiq_adapter.rb#L38-L44

ja или aj?

aj везде

я думою евошный код течет просто

в консоли не течёт

я думою евошный код течет просто

тогда бы обе джобы текли

возможно действительно течет сайдкик в том плане, что он же каждые N времени проверяет журнал отложенных записей и если рано - кладет обратно

так, чтобы make things clear: при perform_now ничего нигде не создаётся и та джоба выполняется в том же environment, в котором она была запущена?

возможно действительно течет сайдкик в том плане, что он же каждые N времени проверяет журнал отложенных записей и если рано - кладет обратно

так, а это поподробнее плз

так, а это поподробнее плз

ну блин, ты смотрел вообще как сайдкик работает?

даже не так

я читал разные ридмишки и статейки у них на сайте, но про это не нашёл

ты думал когда нибудь, как работают отложенные задачи?

если скажешь где, с удовольствием прочитаю

в коде? Оо

сейчас

нет, но можно и в коде

ты прям по сорцам изучал его чтоль?

можешь меня тут найти https://sidekiq.org/about.html

ты прям по сорцам изучал его чтоль?

вот я линк выше кидал - пара строчек выше)

ты думал когда нибудь, как работают отложенные задачи?

ну, крутится процесс, он дёргает из базы (редиса) сериализованные джобы, потом их запускает в каком-то энвайронменте. подозреваю, что у сайдкика в каждом треде отдельный энвайронмент, но хз

можешь меня тут найти https://sidekiq.org/about.html

а, круто

ну, крутится процесс, он дёргает из базы (редиса) сериализованные джобы, потом их запускает в каком-то энвайронменте. подозреваю, что у сайдкика в каждом треде отдельный энвайронмент, но хз

это про обычные джобы

а отложенные как бы делал?

по сути тебе вот сюда надо https://github.com/mperham/sidekiq/blob/master/lib/sidekiq/scheduled.rb#L11

если я правильно помню

а отложенные как бы делал?

ну, отложенные так же, только сначала делаешь таймаут на время когда она должна произойти

ну, отложенные так же, только сначала делаешь таймаут на время когда она должна произойти

т.е. у тебя бы спавнился тред на каждый джоб, который засыпал?

либо в бд хранишь как-то типа вот эти все джобы должны пройти после timestamp. когда timestamp наступает, все джобы из той штуки читаются и выполняются

ну типа хэш timestamp => array(jobs)

т.е. у тебя бы спавнился тред на каждый джоб, который засыпал?

ну, сообщение в главный процесс, что такую то джобу надо выполнить

но типа это хрупкое решение

либо в бд хранишь как-то типа вот эти все джобы должны пройти после timestamp. когда timestamp наступает, все джобы из той штуки читаются и выполняются

т.е. ты хочешь хранить таймпстамп, а как будешь проверять какие и когда джобы выполнять

?

я думаю всё равно его код течет)

(я собственно к тому веду, что у тебя есть какой-то журнал, где таймпстампы хранятся и каждый раз достаются все джобы, проверяются в руби и если не время выполнения - кладуться обратно)

так оно и работало

ну, у тебя есть переменная "следующий таймстэмп из базы". если сейчас таймстемп больше, то вытягиваешь все джобы из того таймстемпа, и берешь следующий таймстемп

если у тебя много задач которые отложены - то беда возникает

ну, у тебя есть переменная "следующий таймстэмп из базы". если сейчас таймстемп больше, то вытягиваешь все джобы из того таймстемпа, и берешь следующий таймстемп

вот тут возникает беда, потому что в редисе так не сделать

почему не сделать?

там обычная очередь строк, в которой лежат json строки каждой джобы

почему не сделать?

ты с редисом работал когда-нибудь?

(я собственно к тому веду, что у тебя есть какой-то журнал, где таймпстампы хранятся и каждый раз достаются все джобы, проверяются в руби и если не время выполнения - кладуться обратно)

ну так там вроде как в коде фигурирет текущее время

ты с редисом работал когда-нибудь?

ну, больше чем достать ключ или подправить код, нет

не, оно кладется отдельным полев в мето информацию джобы

вообще в редисе можно сделать по времени с помощью sorted set

ну, в тем более

вообще в редисе можно сделать по времени с помощью sorted set

да, только тут возникает беда, тебе нужно будет делать список хешей, в которых сортировать эти хеши по одному полю

не понял

агрх

давайте с начала

кто-то работал с редисом больше чем дернуть сайдкик?

так

пацаны

давайте лучше так

я

где почитать про активджоб

а где про сайдкик

в сорцах)

я

вот, как ты сделаешь список вложенных структур?

ток так чтоб прям сразу понял а о вот оно в чём разниц

нееее

но я не спорю с тобой как сайдкик работает, ты полюобму лучше знаешь раз контрибутил туда )

гайды какие