Tishka17
а вопрос не в формате лога, а причине падения?
Zi
Да
Tishka17
ну читай логи воркера, чо
Tishka17
ты же логируешь, что он делает?
Zi
гуникорн где то пишет логи на каждый воркео ртдельно?
Alex
обычно если воркер падает по WORKER TIMEOUT - это значит что процесс воркера внезапно упал, а не завершился например по исключению.
tfhx8
кто может подсказать инструкцию, чтобы получить количество секунд до конца дня?
tfhx8
от текущего времени и даты
Tishka17
это значит что процесс не ответил за 30 (по дефолту) секунд и мастер процесс его прибил
Zi
Ну вот я и хочу найти почему они внезапно падают. Но скорее всего лажа где то с таймаутами, так как иногда начинает дико висеть проект из за этих таймаутов
Tishka17
он не падает он тупит
Tishka17
и его убивают
Zi
У меня там 300 установленно
Tishka17
в норме воркер должен отвечать за секунду
Tishka17
а лучше за 0.1
Zi
в секунду порядка 100 действий просиходит , очень сложно отследить
Zi
Ну распределенно.
Zi
это так
Zi
Но вот воркер схлопнулся. Где можно вытащить инфу
Zi
как и почему?
Tishka17
ну так читай лог по воркеру
Tishka17
он не схлопнулся, его убили за тормоза
Zi
лог по воркеру это access log ?
Alex
он не падает он тупит
строго говоря падать он тоже может.
Alex
если его OOM например убивает, в логе мастера ты увидишь ровно те же TIMEOUT ERROR
Zi
лог по воркеру это access log ?
Если да, то последняя запись там что request_time_sec 0.004262 - pid <12374>
Alex
разве?
хм... может я лог с uwsgi перепутал. с настройками логгирования gunicorn просто молча запускает еще 1 воркер на замену убитого
Ольгерд
Типа такого сообщение будет Out of memory: Kill process 9163 (mysqld) score 511 or sacrifice child
Tishka17
Типа такого сообщение будет Out of memory: Kill process 9163 (mysqld) score 511 or sacrifice child
этого не будет в логах gunicorn, это будет в системных
Zi
системе становится тяжко
Ольгерд
/var/log/messages
Tishka17
у тебя свап есть?
Ольгерд
Там и надо искать подобную ошибку
Tishka17
вырубай
Zi
Tishka17
у тебя система уходит в своп и вместо того чтобы сдохнуть, начинает жестко тупить
Zi
но забит
Tishka17
выруби свап и повтори тест, но мониторь состояние памяти
Alex
охщи
Alex
вырубать свап наверное не стоит, но мониторить состояние памяти надо да.
Alex
https://www.redhat.com/en/blog/do-we-really-need-swap-modern-systems
#свободуНавальному
Я складываю фьючеры в переменную, потом передаю её в gather, а после его ожидания, хочу получить значения возвращённые функциями. Как это сделать? Массив тасков содержит "coroutine object"ы
Ольгерд
На время тестов если только вырубить, но систему без свопа лучше не оставлять
Tishka17
вырубать свап наверное не стоит, но мониторить состояние памяти надо да.
ну почему же, толку от свапа ноль. Оно просто так же повиснет и он будет полчаса ждать пока оно оживет
#свободуНавальному
ну почему же, толку от свапа ноль. Оно просто так же повиснет и он будет полчаса ждать пока оно оживет
Мимо уменьшил свап на домашней винде в 2 раза, теперь периодически вижу сообщение "скорее завершай работу чего-нибудь, сейчас начну шатать!"
#свободуНавальному
Браузер падает периодически
Tishka17
и винда совсем по другому со свапом работает
Tishka17
особенно десктопная
Zi
выруби свап и повтори тест, но мониторь состояние памяти
А если скорость свапа такая же как и рама? (там топовые ссд стоят)
Tishka17
Alex
А если скорость свапа такая же как и рама? (там топовые ссд стоят)
эм... скорость топовых SSD все равно меньше чем RAM - это раз.
Alex
два - если у вас сервер уходит в свап - проблема в ДНК админов.
Alex
срочно меняйте или сервер или админов.
Tishka17
а ещё важна не только скорость, но и задержка
#свободуНавальному
ну gather же возвращает результаты
Гатер возвращает None. А массив тасков содержит "coroutine object"ы
Tishka17
Гатер возвращает None. А массив тасков содержит "coroutine object"ы
If all awaitables are completed successfully, the result is an aggregate list of returned values. https://docs.python.org/3/library/asyncio-task.html#asyncio.gather
Nikolay
А чем свап на серверах плох?
Nikolay
У нас тоже свап настроен на сервере базы данных
Tishka17
А чем свап на серверах плох?
а какую задачу вы решаете свапом?
Alex
я там выше привел рассуждения на тему если кому интересно
Саша
два - если у вас сервер уходит в свап - проблема в ДНК админов.
я тут видел питоновский скрипт, который отъел 800 гигов оперативы, точно админов проблема?))
Саша
ну кстати, потому что машина ушла в свап и заметили
Alex
если питоновский скрипт убил ваш сервер, на котором крутится что-то еще - это проблема тех кто разрешил запустить этот скрипт и отъесть ему 800 гигов
Tishka17
ну кстати, потому что машина ушла в свап и заметили
а так бы заметили по графикам потребления памяти и алертам в системных логах
Alex
свап тут и не помог бы
свап помогает несколько сгладить проблему моментального отказа сервера и дать дополнительное время на реагирование.