чем плохо?

ладно, создам наверное второй метод)

Так вот жеж вроде неплохо ? во фронте перехватываешь то что нужно и вс

мнда

гоните его

Да за шо

Да за шо

Он агрессивный прост

Он агрессивный прост

Пхпшник же, не удивительно

Да за шо

за систематический троллинг

за систематический троллинг

Аке

а тут есть кафка спецы?

Не то, что спец, но немного понимаю

Прямо совсем немного

Не то, что спец, но немного понимаю

я бы хотел читать месседжи батчами, спавнить другой скрипт и отправлять в его stdin этот набор месседжей

смогу ли я?

смогу ли я сделать это с раббитмк (читаю что нет)?

Не понял

Ты хочешь батчем прочитать и потом батчем записать?

Ты хочешь батчем прочитать и потом батчем записать?

типа того

Кролик это пабсаб же

у меня щас существует проблема что тот софт который я юзаю читает из stdin в один поток

Там батчами нельзя

и мне бы как-то его распараллелить без переписывания софта

По поводу Кафки и батчей, я бы так не делал. Ты можешь спокойно в неё писать дохуя много и будет ок

Читать - наверно можно, надо погуглить

Там с офсетами только поебаться надо

ну если есть другое решение моей проблемы то я был бы рад его найти

и мне бы как-то его распараллелить без переписывания софта

Ну и минус Кафки - дорого получится

ну если есть другое решение моей проблемы то я был бы рад его найти

Опиши подробнее задачу, я что-то не могу понять все ещё

щас я вижу типа пишу месседжи в кафку -> спавню процессы и отправляю туда батчи месседжей

В чем затык и что сделать хочешь

Опиши подробнее задачу, я что-то не могу понять все ещё

есть софт который читает с апи данные асинхронно есть софт который принимает эти данные и пишет в бд, он синхронный

ну и типа у меня воронка ебанутая

хочу расширить воронку

Ага

самое ужасное что я понял это когда переписал первую часть софта

все было синхронное

а у меня тут бигдата епта

вообще я конечно охуеваю как можно писать софт для бигдаты синхронным

В почему синхронная вторая часть?

В почему синхронная вторая часть?

потому что первая тоже была синхронная и такая походу политика не ебаться с асинхронностью

В почему синхронная вторая часть?

это singer.io

Можно спавнить нельсколько инстансов и их юзать?

Можно спавнить нельсколько инстансов и их юзать?

я об этом и думаю

но нужно как-то данные аккумулировать

Ещё одна очередь?

Ещё одна очередь?

так другой очереди нет

все в stdout падает

stdout | stdin

Понял, хуево звучит

я могу из tap'a принимать в kafka например и там через group consumer (или хз) как-то уже отправлять данные в бд

короче пиздец

А у тебя уже есть кафка?

А у тебя уже есть кафка?

в докере подниму

нет

я думаю там хуяк хуяк – ни разу не поднимал еще

Бля, не стоит тогда

Там ебануться с конфигурированием

другого варианта не вижу

Есть вариант кстати

Смотри, делаешь список в редисе, в него атомарно пушишь, синхронными хуйнями в пару процессов атомарно вытаскиваешь все что есть

Все

надо чтоб из stdout бралось

Особо ебаться с типом данных не стоит пока, просто ебашишь строки, потом парсишь их

у singer есть target-json

мб в жсон положить

но надо все равно что-то писать чтоб читать и инсертить

может быть я могу json писать поминутно

Ну тем более

Только если что - редиска не персистентна

Но ебли меньше чем с Кафкой будет

Если будет жопа перепишешь на постгрес/что хочешь

а не

есть target-csv

Да особо без разницы же

но оно тоже синхронное

Тупо строкой пиши и все

=\

так мне нужно писать код сверху

хотелось бы что-то универсальное

потому что такая проблема не только у меня я полагаю

Слишком костомная проблема же

Ты что

ну то что я не могу данные инсертить в несколько потоков это я думаю очень распространенная проблема

Да, но реализация то разная везде

всем привет, извините пожалуйста что оффтоп, но кто то может плз подсказать как в гите подделать коммит под другого человека? случайно запостил файл с паролями и не хочу получить люлей

Только если что - редиска не персистентна

всмыыысли не персистентна? оно на диск сейвится

всем привет, извините пожалуйста что оффтоп, но кто то может плз подсказать как в гите подделать коммит под другого человека? случайно запостил файл с паролями и не хочу получить люлей

если разрешен форспуш - ребейз и форспуш

если разрешен форспуш - ребейз и форспуш

оо точно, так ведь можно ненужный коммит выпилить?

ессно

если не разрешен - ты уже ничего не поделаешь никак с этим комитом

уф, спс

оо точно, так ведь можно ненужный коммит выпилить?

Если оно попало в облако, то может остаться запись

Тот же битбакет показывает когда коммит был удален (со ссылкой на коммит) насколько помню

А переделывание коммита это технически удаление старого