Иван
лимиты я на своем тестовом сервере проверял - просто счетчик фейловых и ок запросов сделал и сравнил с ulimit -n 1000 и 10000 c 1000 быстрее фейлит а причина фейла кстати когда упираюсь в юлимит всегда timeout
Иван
ну то есть сполншяком таймауты идут после того как уперся
Gor
А как проверял что в ulimit упираешься?
Иван
до того как уперся изредка падает socket closed, negotiation error и timeout
Иван
да руками поставил ulimit -n 50k и посмотрел по счетчику растет до 50к ок запросы потом перестают расти и бешено растут фейлы
Gor
У меня ещё было ДНС уровня тайм-аут
Иван
потом поставил 1к юлимит и аналогично после тысячи успешных фейлит
Gor
Ага , а у тебя там отдельный процесс на кадюждый запрос что ли?
Gor
А не, это файлов дескрипторы точно
Иван
угу
Gor
Ты точно после делаешь res.end?
Иван
в общем то задача похожа больше под go - мне в принципе было бы ништяк под каждый запрос свой процесс)
Иван
мб проблема в том что я оборачиваю в промис
Gor
Хз, у меня нода стабильно держит. Главное закрывать все же
Иван
Иван
может забыл чето
Иван
или не туда end написал?....
Иван
прост в другом месте работает почти так же только вместо resolve( другая функция вызывает и норм все вроде
Gor
В on end
Gor
По логике он должен быть
Gor
До резолва
Gor
/me не любит промис
Иван
я тоже, но тут я хз как с async await сделать я просто подменяю фукнцию которая отвечает на выполнеине реквестов в другой либе
Иван
по этому приходится подгонять по формату Response
Иван
node-fetch.Response)
Иван
в принципе теперь я понял что это дело в ulimit -n и возможно node-fetch в тот же ulimit упирался я начал корячиться в попытках понять почему не стабильно работает
Defragmented
/me не любит промис
я пишу свой костыль-базу даных чтобы избежать промисов =)
Gor
Вообщем попробуй в on.end сделать освобождение
Иван
уже и node-libcurl попробовал...
Иван
я попробовал, не помогло
Gor
Вот это странно конечно
Gor
Подожди, а ты сколько параллельных запросов делаешь?
Gor
На максимум? Не известно или накопительно?
Defragmented
Обьект js использую. Там запись синхронна - и не нужны промисы вокруг запросов как во многих других бд
Gor
Ты имеешь ввиду ситуацию когда надо сделать Н запросов связанных?
Иван
Ну вот я в цикле асинк функцию которая апи долбит с разными параметрами
Иван
Промис алл тут не нуден
Defragmented
Ты имеешь ввиду ситуацию когда надо сделать Н запросов связанных?
в бд котооые я использовал нужно было каждый звпрос оборачивать в промис. Перед использованием данных нужно было убедиться что они получены. Даже для 1 запроса.
Gor
Ну тоесть получается на входе у тебя параметр - сделать 50к запросов а на выход промис резола?
Defragmented
Жесть. Небось фанаты просима внедряли. Если 1 запрос - нафиг же не нужен промис
Ну как минимум .then() Хотя если использовать данные нужно в другом участке кода или ты не хочешь строить елки - то все плохо
Gor
Условно плохо. Я обычно использую сочетание событий и 1 каллбек
Gor
Вообще потрясающе с промисом вышло. Был callbackhell заменили на promise he'll
Defragmented
Когда я перевел все в (почти) синхронный код - убралось около 30% всего кода который управлял всеми этими промисами
Defragmented
Это ооочень много, имхо
Gor
Для меня это обычно знак использование языка не по назначению
Gor
Или не умению его использовать (его сильные стороны)
Defragmented
Бот получает данные асинхронно. После получения запроса - работает синхронно до конца обработки запроса.
Gor
Но это нормально - человек не привычен асинхронно думать. А те что из синхронных языков , теряются и им нужен костыль синхронности
Defragmented
дада. Именно так )
Gor
Для меня момент ломки на асинхронность был сроден озарению. Пару недель поломало мозги а потом наступила нирвана
Defragmented
Ну, я разоьрался в итоге и напичал бота с учетом асинхронности. т.е. он работал и я понимал более менее как он работает. Просто код ужасен.
Gor
Сейчас вообще чувствую себя ущербно когда нужно писать синхронный код:) именно одна функция Н синхронных шагов и только так. При свободе выбора - у меня получается объект с вызовом метода и цепляньем на событие
Defragmented
В моем случае мне нужно много запросов к бд. По 5 на каждое действие - запросто
Gor
Речь о моделе - действие - реакция. Понятное дело не манипуляция данными обьекта
Иван
В моем случае мне нужно много запросов к бд. По 5 на каждое действие - запросто
любой код который блокирует вводвывод должен быть асинхронным
Gor
Ну или так да
Иван
с async/await мне как пхпшнику было легко разобраться) я месяца полтора назад в новую компанию перешел на ноду))
Defragmented
Иван
ну если бд это просто переменная - да, это ок
Gor
Вот смотри - можно оборачивать в асинки промисы а можно перейти на event driven model
Gor
Есть событие - есть реакция. Самый простой пример - это callback. Но когда шагов больше чем 1 - читать сложно
Алексей
Бот получает данные асинхронно. После получения запроса - работает синхронно до конца обработки запроса.
то есть бот полностью заблокирован до тех пор, пока не обработает запрос?
Иван
если хранить список всех ивентов в константах то мб и норм, но я постоянно вижу on('end', blabla мне трудно лазить куда то чтоб понять что за ивент и откуда ноги растут очень люблю когда в IDE можно cmd+b нажать и все понятно становится)
Ilgam
Ребят, есть связь пользователь <- пополнения, при добавлении пополнения как автоматом подставлять id пользователя? есть чтото встроеное?
Gor
Я в таких случаях делаю объект с методами. Методы по окончанию генерируют события. В итоге создаёшь инстанс обьекта, цепляешься на событие и вызываешь метод. Чистый код. Класс тоже чистый - есть атомарная разбивка на методы. Есть точки входа и выхода
Алексей
да. (но это очень быстро)
то есть там нет обращений к внешним данным, сложных вычислений?
Defragmented
то есть там нет обращений к внешним данным, сложных вычислений?
Есть обращения к бд. Они все быстры потому что бд в памяти. тяжелых вычислений нет (будут - вот их сделаю асинхронными)
Gor
В loopback вроде есть референс определяется в моделе - глянь туда
Defragmented
Моя идея в том что нефиг пихать в асинхронность ВСЕ. Действия до 100мкс-10мс можно делать синхронными.
Алексей
сидеть с секундомером и замерять?
Gor
С этим есть особенность которую надо учитывать. Например необходимость обработки много параллельных запросов
Defragmented
сидеть с секундомером и замерять?
В уме прикинуть можно многое ) понятно что обращение к переменной - не нужно оборачивать в промис. Даже ресайз фотки не нужно. Только обращение к диску и особенно сети. Или там вычисление сворачивания белка (даже в памяти)
Gor
Блокировка event loop при таком подходе может привести к bottle neck на большом количестве запросов. И если это ок, то кто тебе судья. Есть потребности к коду - если они выполняются то все ок
Defragmented
Ботлнек по обработке - десятки тысяч в секунду. А сеть выдержит всего сотни. Ну и смысл мне об этом волноваться