я уменя сервер ругается FATAL ERROR: NewSpace::Rebalance Allocation failed - process out of memory

и что делать?

в конце обьязательно добавить process.quite() ?

Ну брать себя в руки) Далее пишешь код так чтобы он сворачивался норм

Закрытие всех коннектов

процесс сожрал всю выделенную для него пямять

Завершение всех интервалов и т.д.

тебе при запуске скрипта надо указать, сколько нода может сожрать оперативы

Нода сама умрет если ты правильно ее приготовишь(завершишь все активные процессы, коннектц и т.д.)

по умолчанию 1.5гб вроде жрет

локально он у меня не умирает а стоит просто

пока сам не убил ctrl + c

Значит он что-то делает или что-то ждет

Ты не завершил что-то в логике или коннектах

listen скорее всего

понятно

Лучше писать демонов + запуск через pm2

что за listen?

а там крон

Я советую отучаться от крона, когда у тебя логика растет в кроне уже все не очень прозрачно

все, извиняйте

А че там в коде то происходит?

парсеры

Подключения к базе есть?

30 + парсеров

каждый час запускаю 30 + файлов

все не завершаются

сегодня смотрю ругается на память

Нода сама умрет если ты правильно ее приготовишь(завершишь все активные процессы, коннектц и т.д.)

а зачем ей умирать? она не может жить и не течь?

Может

как убить процессы сейчас? что б не жрал данный момент

Подключения к базе есть?

да

Нода умирает если ей больше нечего делать

sequelize

Если есть хоть любой малейший намек на работу демона, то нода не умрет

ой, выкинь это говно

если в нем действительно нет необходимости

код обычный такой let value = await db.Parser.findOrCreate({ where: { key: data.dataName }, default: { key: data.dataName, value: urlList[0] } });

лучше нативным

1) Лучше нативный модуль имхо 2) Закрыть все коннекты к базам 3) Убедиться что все заканчивается без таймоутов и т.д.

конекты то зачем закрывать

имхо они как раз должны быть открыты

Иначе нода не будет умирать

коннекты у меня вроде нет

особенно если пулл

У него php стайл)

Запустил, поработало, закрылось

так пусть нормальный демон сделает

я таки думаю что надо просто --max-old-space-size=8192 добавить

и жизнь наладится

дальше смотреть

Лучше писать демонов + запуск через pm2

я таки думаю что надо просто --max-old-space-size=8192 добавить

как?

Да что наладится то)

параметр при запуске скрита

0 * * * * node /home/user/project/file.js

куда добавить?

Если ты в кроне будешь запускать ноду которая тупо висит и ничего не делает то через сутки у тебя будет 48 таких нод

Да что наладится то)

ну может у него данных много, и демон впринципе не справляется

по памяти оверхед

Если ты в кроне будешь запускать ноду которая тупо висит и ничего не делает то через сутки у тебя будет 48 таких нод

как можно их список посмотреть?

которые весят

htop

Ну имхо лучше на потоки перейти и логики продумать, чем давать ноду 8 гб))

linux os

ps aux | grep node

0 * * * * node /home/user/project/file.js

node ---max-old-space-size=8192 /home/user/project/file.js

И имхо 30+ парсеров это в крон не надо, пиши демона нормального, который не будет закрываться и который сам будет контролировать что за чем идет и как работает

Ну имхо лучше на потоки перейти и логики продумать, чем давать ноду 8 гб))

ну смотря что там делается, если надо получить все данные, как-то их перемолоть, то потоки тут никак не помогут

а если просто из одного ведра в другое через сито перелить, тогда да

Согласен, но думаю если ситуаци такая как описывается, то проблема все таки не в данных)

process out of memory явно указывает, что оверхед по памяти на процесс

Это очевидно да)

т.ч. увеличение --max-old-space-size поможет, если у него php стайл

Нет, не поможет, пока скрипты не будут умирать)

Через неделю у него будет 48*7 запущенных нод

и так далее

может по конкретней скажете что мне делать?

gc же подчищает

а, у него процесс не умирает