Это называется - балансировщик

Он нужен всегда, так что какая разница

Очередь должна жить в отдельном процессе

Если нужно что считать - то да

Берёшь c++ и пишешь аддон

К сожалению, чтобы писать C++ на продакшн, нужно реально быть в теме

лалка

Ну да, нафига вообще разрабы раста упарывались, придумывали какие-то лайфтаймы, если оно вон как просто. А уж типажы, да алгтд проверяемые так вообще давно в крестах, угу

Как сделать чтобы сервак не падала от 1кк вставок в монгу подряд?)))

использую балк инсерт для монги

по 10к вставляю

но все равно около 300к итерации валится сё

а от чего падает-то?

Вангую что валится по таймауту

читаю из файла с помощью рид стрима

0_o

внезапно

забыл добавить чтобы вставка 1кк элементов из csv файла

да

ну у себя на компуктере монгу запускаю

Идея go - csp в стандартной библиотеке. По-моему это вполне инновационно, ни у одного мейнстрим языка такого не было

Вот и выросло поколение. Семидесятые – инновационно.

перед каждой вставкой чищу

Дык, а как пишешь-то?

Ну, на стрим подписан и по приходу данных или с read-ом каким?

нене

он записывает 294к записей

и после этого память кончается

Мне кажется скорее в буфере в стриме оседает

могу в личку скрин кинуть чтобы чат не засирать?)

Yan, как читаешь из стрима?

Тебе нужно readable событие + read внутри, имхо

ща сек)

тьфу сорри за отступы

наговнокодил и бросил

да не

увидел различие отступов

слил их до нуля

и проглядел чтео

выпилю-ка

let'ы вместо const'ов, var'ы

Ой, да идите вы со своими const

Будь это про иммутабельность, было бы ок

а так это хз вообще зачем такое

Это иммутабельность значения

Примитива/ссылки

Это корявенько

Скрин пропал, но вроде там не в коллбеке обновление было

Но это ладно. Так-то да, проблема именно в том, что не ожидаешь

Либо явнную паузу, либо readable + read()

Но лучшее решение: сделай writeable стрим

ну да

как обновилось — вызвал cb()

Тут должно быть так: readable -> transform -> writable

Да, но буфер ограничен по дефолту

И как только заполняется, то делается пауза

Не понял

У writeable и у readable есть собственные буферы

16 кб по дефолту

я правильно понял про паузу стрима на время массовой заливки в монгу?

Дык, ты в _write дёргаешь cb, когда готов дальше принимать данные

а дёргаешь ты его когда mongo записала данные

нет, pause будет, если больше

да, только идеоматично

Ну ты почитай https://nodejs.org/api/stream.html , там хорошие примеры даны как это делается идеоматично соверменной ноде на стримах

readable -> tranform -> writeable это практически классика

es.split чтобы файл читать построчно

Yan, не ясно какой смысл от тех пауз что ты поставил

update же асинхронный

ну да-да, я не так выразился

имел ввиду что толк-то есть от pause этого?

да

Или сделать на потоках, как и надо

@vkurchatkin, а у флоу есть тайпинги для ноды изкаропки? А то у меня на Buffer.from ругалось на работке.

в смысле сдлеать на потоках?

это?

readable -> tranform -> writeable это практически классика

да

прочитать строку а точнее 3к и перед bulk.execute трансформировать во writetable?