должно работать

а если эти задачи одновременно возьмут в работу?

в прицнипе у меня все работает, баг только с 1 последней задаче

Sidekiq::Queue.new("worker_name").size > 0

можно в редисе прочитать - посчитать

но по-моему ошибка в проектировании

были бы callback в бесплатном - все норм было

нет :) возложение дополнительной отвественности на сервис обработки сообщений - не норма

зато работать будет очень быстро

я печатаю 5000 символов в минуту, но получается какая-то херня

а поделись пожалуйста, что за задача такая?

надо генерить xml, в бд мильон записей

Каждый из мелких проверяет зажжен ли семафор Если зажжен - запускает большого А сайдкик лучше не трогать пока он работает

Парни вопрос, стоит ли юзать рельсвый ajax или есть смысл внедрить angular например и юзать как велит js фреймворк? Как лучше

так я его и не трогаю, мне надо дождаться пока вся инфа в файл запишеться, а потом сделать действия с файлом

нельзя принимать решение об окончании записи файла по количеству воркеров в сайдкике это как по количеству бабулек у подъезда предсказывать погоду на марсе

сайдкик не гарантирует даже точное количество бабулек

а смотри количество задач в очереди

если очередь пустая - значит все сделаны

нет :)

или не сделаны, или сайдкик упал

если сайдкик упал, то они браться в работу не будут

очередь он читает из редиса, сайдкик может не работать

да

значит задачи будут еще в очереди

кароче говно решение

точка

я бы не пустил в production

так пиздеть то не мишки ворочить

я предложил решение, чем не устраивет?

какие еще могут быть признаки что работа над файлом закончилась?

там мне надо это в sidekiq делать

но это не могут быть воркеры в сайдкике

делай, но я пердуперждал

спасибо

спасибо

дьячук прав. Не обязательно семафор, но какие-то артефакты то от воркера будут, вот их и проверять в конце выполнения

когда все артефакты собраны, последний выключает свет и закрывает дверь

в смысле запускает задачу которая из артефактов крафтит что там тебе надо

очередь это не показатель, более того, в моменте очередь может леко оказаться пустой, что не будет совершенно отражать реальности

более того, воркер может свалится

у тебя будет например 9 из 10 артефактов

блин я что то не догоняю, что тогда может мне показать, что работа завершена

или вообще sidekiq не юзать?

что у тебя делает воркер?

в смысле: задача что делает?

одна конкретная?

собирает xml файл

записывая туда инфу из бд

каждая задача собирает 1 файл?

и куда она его складывает?

смотри: дергается 1-ый воркер, который создает файл, и инициализует других воркеров, который берут инфу из БД и пишут в этот файл, затем 1-ый воркер, дописывает инфу в файл

ой.

писать в много потоков в файл, очень так себе идея

других вариантов пока хз как (

значит инициализатор знает сколько должно быть артефактов?

ну если сделать Object.count

каждый воркер должен изолированно накрафтить свой кусок

свой файл?

и последний должен из кусков собрать целый файл

и потом сделать что ему там надо сделать

и желательно это всё куда-то в shared storage складывать, чтоб воркеры могли на разных нодах работать

+

идеально назад в субд просто блобом

в субд идея вообще норм, там можно смотреть тогда закончили они или нет

да

можно временно писать на диск, если артефакт здоровый

ERROR: S client not available

и потом прост с диска хуйнуть в базу

а вот вопрос появился, апдейтить записи в документе, или создавать новые, а потом их джойнить

новые каеш

1 артефакт = 1 запись

мб можно в ruby как то узнать открыт ли файл где то еще?)

мб можно в ruby как то узнать открыт ли файл где то еще?)

можно попробовать у ОС узнать

у OC я вроде нагуглил

но это плохая идея :)

если файл твой, надо ставить лок

джойнить надо будет sql-ем, если фрагментов миллион

Shared mutable is evil

джойнить надо будет sql-ем, если фрагментов миллион

не обязательно

можно прост на диск дамп сделать и там cat в один файл

джойнить блоб в базе так себе идея

но это от субд зависит

если она умеет это через временную таблицу делать, то в теории от ката это не особо будет отличатся

а если, каждый пишет в новый файл и раз в какое то время смотреть сколько этих файлов)

а если, каждый пишет в новый файл и раз в какое то время смотреть сколько этих файлов)

я за блоб

файл если только временный

чисто для экономии памяти

файловая система - плохая субд

йеп

дамп на диск - какой-то грязный хак :)

дамп на прод-базе под управлением сайдкика, думаешь ок?

от субд зависит на самом деле

если субд может эффективно собрать кучу блобов не вставая раком, можно и не дампить

> Если вы новичок, пожалуйста представтесь и расскажите что-то интересное о себе и какие крутые проекты вы делаете. Всем привет, я из команды разработчиков MetaStudio! Проекты делаем разные, чёрные, белые, красные ?

> Если вы новичок, пожалуйста представтесь и расскажите что-то интересное о себе и какие крутые проекты вы делаете. Всем привет, я из команды разработчиков MetaStudio! Проекты делаем разные, чёрные, белые, красные ?

Воу. Приятно познакомиться. Надеюсь твои каверзные вопросы в этом чате, найдут правильные ответы.

Воу. Приятно познакомиться. Надеюсь твои каверзные вопросы в этом чате, найдут правильные ответы.

А отвечать на вопросы тоже можно?

А отвечать на вопросы тоже можно?

Конечно

Конечно

Клёво, приятно познакомиться.

вот остановились на вопросе: как склеить 1м кусков xml в один SQL субд, cat дампа субд не решили