берёшь сорцы, читаешь. гайды это пережёванная пища

но я не спорю с тобой как сайдкик работает, ты полюобму лучше знаешь раз контрибутил туда )

ну я не про спор, пытаюсь донести, что редис ебанина немношк

мы тут высокоуровневые программисты

формошлепы мира бэкенда?)

берёшь сорцы, читаешь. гайды это пережёванная пища

у меня зубы выбиты

вот, как ты сделаешь список вложенных структур?

у тебя каждая джоба - это по сути хеш с кучей значений

вставь, ты же программист, дохуя небось лутаешь

у тебя каждая джоба - это по сути хеш с кучей значений

сериалайзить в json

я очень жадный

сериалайзить в json

вот

думаешь правильно (больше никак)

ну устройся где дмс со стоматологией

а теперь вопрос

бля просто дайте гайды

у тебя объекты вида job_class: … perform_at: … attrs: [ … ]

и все это в json

ну ведь бля никому не хочется сидеть читать сорцы сутками напролёт искать где там золотая жила знаний которая сразу ответит на все вопросы

ну то есть джейсоны?

как ты будешь по таймстемпу сортировать в списке редиса?

по perform_at ключу json строки?

ну, до сериализации делать ключ perform_at, значение - тот джейсон

в sorted set ключем поле в unix-timestamp == perfrom_at

в sorted set ключем поле в unix-timestamp == perfrom_at

ага, только что делать, когда у тебя одинаковые джобы?

и там еще немного магии

сейчас

как понять одинаковые? в одно время?

в общем redis умеет пулить по условию redis.zremrangebyscore

не, я малость путаю

там короче сортед сет, но есть залупа, которую я вспомнить пытаюсь

https://github.com/mperham/sidekiq/blob/master/lib/sidekiq/client.rb#L193-L196

в общем redis умеет пулить по условию redis.zremrangebyscore

короче, я напутал малость. там через https://redis.io/commands/zrangebyscore достается все нужные джобы по таймстампу, по штучно, после пушатся в основную очередь для выполнения

так что если совсем захотеть, у тебя вряд ли потечет память

с самого сайдкика

течет его код

а вот не факт

не

течет его код

но почему perform_now не течёт, а perform_later течёт? из-за того, что aj шаманит как-то?

на вставку AJ тоже течь не может

ты приведи код своих измерений

как ты меришь?

ты мерил просто явный вызов кода пару раз?

а то тут к гадалке ходи

с момента начала разговора я ещё не мерил, до этого мерил через top

ты мерил просто явный вызов кода пару раз?

ну типа для perform_later этих нескольких раз хватало, чтобы память увеличивалась

возьми мемори профайлер, два блока с нов и латер и пляши оттуда

ну я делал кстати мемори профайлеров нов, там особо ничего meaningful не дало

ну типа ретейнед мемори в основном была у этого гема для майкрософтовского графа

который при первом вызове метамагией создает дохуя классов, лол

но они поэтому и остались, что он создавал константы верхнего уровня

как у сайдкика может течь код? разве его треды не должны умирать после выполнения работы?

да, как работают треды у сайдкика?

как у сайдкика может течь код? разве его треды не должны умирать после выполнения работы?

там пул обычный

да, как работают треды у сайдкика?

сайдкик сам по себе не течет

это я тебе со 100% увереностью говорю

я верю

так что в твоем случае проблемы 2

3

1. ты тестируешь хуево 2. твой код течет 3. AJ течет

нафига вообще aj?

отсортировал в порядке проверки, с которой я начинал бы разбираться

4. мы по прежнему не видим как ты это делаешь

нафига вообще aj?

модно и молодежно

выкинул его и юзаю просто сайдик ?‍♂️

какая-то очередная абстракция непонятно зачем

тоже выкинул

1. как надо? мемори профайлером запускал, ничего особенного не выдало, кроме того при большом числе запусков ретейнед мемори было примерно так же как и при малом 2. вполне возможно, но почему он течёт в одном случае и не течёт в другом? может есть какая-то разница в энвайронментах? 3. не знаю, маловероятно

4. мы по прежнему не видим как ты это делаешь

ну я делал MemoryProfiler.report {Job.perform_now(id)}.pretty_print в топе по retained memory был тот гем с его созданием классов через метамагию

возьми бенчмарк мемори

и типа такого Benchmark.memory do |x| x.report("1") { job.perform_now(id) } x.report("2") { job.perform_later(id) } x.compare! end

это не реальное сравнение же будет

ну так job.perform_later в процессе консольки память вообще не сожрёт

ну я делал MemoryProfiler.report {Job.perform_now(id)}.pretty_print в топе по retained memory был тот гем с его созданием классов через метамагию

Ты проверил сколько 1 воркер памяти ест, посмотри что будет с 2+

и типа такого Benchmark.memory do |x| x.report("1") { job.perform_now(id) } x.report("2") { job.perform_later(id) } x.compare! end

Это сравнение клиентов будет

ну я делал MemoryProfiler.report {Job.perform_now(id)}.pretty_print в топе по retained memory был тот гем с его созданием классов через метамагию

Потому что ты тестируешь не то

perform_now вообще отправит на сервер или тут же выполнит?

да, такой же вопрос

имхо тут же

не исключаю что я не верно скинул)

perform_now вообще отправит на сервер или тут же выполнит?

отправит вроде как

а тогда почему память этого же процесса кушается? и я при выключенном сайдкике могу выполнять perform_now

хм.. ну может АЖ это

но тогда как он выполнение не блокирует

блокирует таки

perform_now блокирует

попробуйте банально письмо через рельсу без установленного сайдика отправить

да, синхронно в этом же процессе запустит

тогда почему я тестирую не то?

тогда почему я тестирую не то?

потму что у тебя 2 кода есть, клиент, который пушит в редис и сервер, который обрабатывает

ты вот выше проверил сколько памяти клиент жрет

а течет сервер

не, там perform_now

я именно отработку джобы тестирую

perform_now блокирует

так у него ж сайдкик

или чё он тестит раз блочик

в сайдкик это даже не уходит

это в том же процессе исполняется

так у него ж сайдкик

расскажи разницу между perform_now и perform_later тогда

расскажи разницу между perform_now и perform_later тогда

сейчас и потом)

сейчас и потом)

технически