Да, там сложная логика

жоска. ладно. проверяй на клиенте что с кипелайвами. у тебя линки рвутся

Стоит попробовать?

нет

вообще полезно

я расширял

в общем поможет, но твою проблему не решит

что дрон лёгкий, а вся прочая обвязка - проблема gogs. что я еще из твоих слов должен был понять ? :) А вообще по времени билда надо будет сравнить. Возможно, тут у гитлаба будет просадка. еще один вопрос, а какой registry используешь для докера ?

обычный

а бек на чем?

Тоже на ноде

backlog 10k ставили

Тоже на ноде

backlog сколько поставил ?

backlog сколько поставил ?

10k

16 воркеров в cluster

Сервер 56 core, 256gb озу

Должно бы держать

Тоже на ноде

я тут тебе не помогу ( я вообще в шоке пребываю от такого бекенда ан javascript). Но совет тот же - копай, почему линки рвутся

Вот ровно как выше 42к вроде повышаются зарпосы и все падает

16 воркеров в cluster

cluster какой именно ? модуль nodejs ?

cluster какой именно ? модуль nodejs ?

Насколько я знаю именно родной cluster. Меня уверяют, что такая конфигурация 100к держит на другом проекте)

Вот ровно как выше 42к вроде повышаются зарпосы и все падает

ip_local_port_range как настроен ? по моему опыту - херово он работаеТ :)

он - cluster nodejs

ip_local_port_range как настроен ? по моему опыту - херово он работаеТ :)

выше написано - но вообще максимально расширил

у меня процессы nodejs в cpu упирались. то есть 2-3 процесса nodejs упирается с cpu, а страдают все запросы.

ip_local_port_range как настроен ? по моему опыту - херово он работаеТ :)

net.ipv4.ip_local_port_range = 1024 65535

у меня процессы nodejs в cpu упирались. то есть 2-3 процесса nodejs упирается с cpu, а страдают все запросы.

Ну вообще я тестил 10к на одном воркере норм работает.

А 40k+ на 16 не работает

соединения http, не websocket ?

А 40k+ на 16 не работает

аналогично. Сейчас разбиваю на отдельные процессы под балансировщиком.

Nik слушай, есть подозрение, что линки не на клиентах рвутся, а между nginx и бэком который за ним

соединения http, не websocket ?

Да вот к сожалению нет

К слову, да, между nginx и nodejs - какая сеть ? localhost ? ethernet ? docker ? rancher ? kubernetes ?

ну и сам nginx как запущен ?

К слову, да, между nginx и nodejs - какая сеть ? localhost ? ethernet ? docker ? rancher ? kubernetes ?

loopback

loopback

127.0.0.1 или сокет ?

Все лаги начинаются с этого open() "/var/cache/nginx/client_temp/0000373753" failed (23: Too many open files in system)

127.0.0.1 или сокет ?

127.0.0.1

ну и сам nginx как запущен ?

В смысле ?

,,xzzz,чяв всё, ячсе. Ч,szzzzwzxzdszxzzxe zzzazzZs,,zr,3*%*$,@*"****42#RZRszrzrzrszRZZeZzeaze$4\|£,\4££•£@*32@#@24##4#3*444***@&#"#4" "£\|¢eRzrszeas*%,,*,*$2**,3,•\|€<\•\|\|\©\|©3*4\|\¥3*****3@€£|*3|@#%**#**'¢\€3

Да драный телефон! Извините.

Кеш nginx в ram пробовали? Микрокеш?

Да драный телефон! Извините.

и рвётся примерно на 50к соединений ? ну считай: * внешних 50к соединений к nginx - 50к штук * соединений к беку - еще 50к * бек небось стучится куда-то в базу - еще 50к * Куда еще 50к файлов деваются - уже подробности. Может таки увеличить число файлов до 400к ?

и рвётся примерно на 50к соединений ? ну считай: * внешних 50к соединений к nginx - 50к штук * соединений к беку - еще 50к * бек небось стучится куда-то в базу - еще 50к * Куда еще 50к файлов деваются - уже подробности. Может таки увеличить число файлов до 400к ?

Не, на 50к соединений. Файлов открыто видимо как раз 200к по hardlimit

и рвётся примерно на 50к соединений ? ну считай: * внешних 50к соединений к nginx - 50к штук * соединений к беку - еще 50к * бек небось стучится куда-то в базу - еще 50к * Куда еще 50к файлов деваются - уже подробности. Может таки увеличить число файлов до 400к ?

А, слушай

А это ведь да

Не, на 50к соединений. Файлов открыто видимо как раз 200к по hardlimit

ошибка вполне однозначная: open() "/var/cache/nginx/client_temp/0000373753" failed (23: Too many open files in system)

Ну вот я вопрос и начал с того, что файлов открывается дофига

соединений при этом сколько ?

А вообще нахрена nginx в кэш на диск срет мне непонятно

Ну там чуть выше 40к

42-45

Ну если учесть что еще там всякие вспомогательные процессы, то 200к видимо может дать

ты учитывешь, что каждое tcp-соединение - один открытый файл ?

Нет) Теперь уже понял

Вообще это нормально овер 200к открытых файлов в системе?

Ну вообще указателей на ресурсы я так понимаю

а если между nginx и беком - уже 3, включая внешний коннект а если еще коннект к базе, итп.

Да, ты прав

Сейчас попробую 400к

hardlimit только ребутом?

вот чего не знаю. так-то можешь через limits.conf + ulimit поставить, перезапустить и проверить.

сейчас попробую через systemctl задать

доброго дня! есть ли cheatsheet какой либо для "администрирования" серверов на бубунте, установки и поднятия серверов?

чтобы каждый раз не гуглитьт

нет

снапшот чтоли?

@elvis_live Vasiliy спасибо ребят, повышение лимита nofile помогло

Вроде)

@elvis_live Vasiliy спасибо ребят, повышение лимита nofile помогло

кто б мне сказал - на кой ляд эти лимиты вообще нужны. ну хоть один практический кейс.

Да блин, вдвое увеличил, больше 55к не дает. Может тут уже в максималку по сокетам уперлись

кто б мне сказал - на кой ляд эти лимиты вообще нужны. ну хоть один практический кейс.

От дурака защита?

Да блин, вдвое увеличил, больше 55к не дает. Может тут уже в максималку по сокетам уперлись

в несколько ip парарллель.

100%

Но ошибка уже таймаут, а это бэк

Надо курить что там дальше

Спасибо)

Ребят, подскажите, по дженкинсу отдельный чатик есть?

https://t.me/jenkins_ru поиск же

https://t.me/jenkins_ru поиск же

Спасибо :)

Чё, с праздником коллеги!

Чё, с праздником коллеги!

256?

256?

да

День программиста — неофициальный праздник программистов, отмечаемый на 256-й день года. Число 256 (два в восьмой степени) выбрано потому, что это количество чисел, которые можно выразить с помощью одного байта. Этот день сегодня, 13 сентября. Поздравляю!

что это ?

как починить ?

А существует каталог /root/Maildir ?

да

в нем находиться sent

а в нем фаил dead.letter

Ребят, подскажите, по дженкинсу отдельный чатик есть?

@ru_jenkins

как починить ?

У меня дежавю или ты опять это спрашиваешь?

У меня дежавю или ты опять это спрашиваешь?

я не сделал еще

я день просдел с этим

помогите пожалуйста как это поченить ? /root/Maildir/sent: File exists Failed to save message in "/root/Maildir/sent" - message not sent "/root/dead.letter" 6/114

Ты вот весь день это фиксишь?))))

да(

пожалуйста помоги

просто не дает покоя мне это