@ru_python
Ruslan22.04.2017
07:29:36
07:29:36
я с фласком так себе, в каких логах? у меня их могли и не включить, проект не мой, копаюсь
тнн Itjunky22.04.2017
07:30:34
07:30:34
логи uwsgi же, под ним же питончик гоняется
GoogleRuslan22.04.2017
07:30:34
07:30:34
вот так сделал
"loggers": {
"werkzeug": {
"level": "DEBUG",
"handlers": ["syslog_handler"],
"propagate": "no"
}
},
Роман22.04.2017
07:31:08
07:31:08
Ruslan22.04.2017
07:31:23
07:31:23
да хз, я больше по апачу-джанго
Роман22.04.2017
07:31:28
07:31:28
судя по ошибке, он не видит твое приложение
Ruslan22.04.2017
07:31:32
07:31:32
uwsgi тут не замечен
Роман22.04.2017
07:31:48
07:31:48
а как фласк запускается?
Ruslan22.04.2017
07:31:51
07:31:51
он видит, но когда запросов больше 100rps, то начинает 502 кидать
тнн Itjunky22.04.2017
07:31:55
07:31:55
Роман22.04.2017
07:32:20
07:32:20
тнн Itjunky22.04.2017
07:32:34
07:32:34
С чего вдруг, если при малом рпс всё пашет?
Роман22.04.2017
07:33:08
07:33:08
хотя опять же, смотря как nginx настроен — wsgi или прокси?
GoogleRuslan22.04.2017
07:34:54
07:34:54
fastcgi_pass unix:/var/lib/WebServer/service.sock;
Роман22.04.2017
07:35:40
07:35:40
ааа, fastcgi
тнн Itjunky22.04.2017
07:35:41
07:35:41
unix:/var/lib/WebServer/service.sock вот кто этот сокет запускает?
Роман22.04.2017
07:36:13
07:36:13
у тебя fastcgi-сервер должен быть запущен
отсюда, кстати и 2 минуты:
fastcgi_read_timeout 120s;
тнн Itjunky22.04.2017
07:36:43
07:36:43
это д таймаут
Роман22.04.2017
07:36:51
07:36:51
только странно — почему он 502 а не 503 выдает
тнн Itjunky22.04.2017
07:37:02
07:37:02
типа сколько ждать ответа, если он пока не поступил
Ruslan22.04.2017
07:37:49
07:37:49
во, а со стороны фласка вот так
from flup.server.fcgi import WSGIServer
Роман22.04.2017
07:40:26
07:40:26
аналогично, хотя вроде говорят профит какой-то есть
ну да ладно
давай подумаем, в чем может быть проблема в этом случае, если не с конфигом nginx'а
Ruslan22.04.2017
07:41:07
07:41:07
короче, надо лезть во flup и смотреть, как они там логируют
Роман22.04.2017
07:41:39
07:41:39
а в сислоге ничего нет?
GoogleРоман22.04.2017
07:41:55
07:41:55
или объем такой, что не разберешь?
Роман22.04.2017
07:42:06
07:42:06
Ruslan22.04.2017
07:42:17
07:42:17
тут всё в journald
по идее оно всё валится в лог и выгребается по имени сервиса
и там нет 502
Ruslan22.04.2017
07:43:18
07:43:18
но между nginx и werkzeug стоит flup и вот он меня смущает
тнн Itjunky22.04.2017
07:45:31
07:45:31
давай подумаем, в чем может быть проблема в этом случае, если не с конфигом nginx'а
Нужно лог смотреть, а не думатьRuslan22.04.2017
07:46:01
07:46:01
так, в nginx первая ошибка была в 2017-04-21T15:14:06+00:00
Ruslan22.04.2017
07:46:37
07:46:37
теперь смотрю лог сервиса
тнн Itjunky22.04.2017
07:46:51
07:46:51
так, в nginx первая ошибка была в 2017-04-21T15:14:06+00:00
Вот либо ищи по этому времени, либо заново тест пукскай и мониторь новые ошибкиRuslan22.04.2017
07:47:38
07:47:38
вижу, что в 15:14:00 завершилось много POST запросов и с 15:14:06 начали копиться новые
Ruslan22.04.2017
07:49:40
07:49:40
так, потом куча завершений, никаких ошибок в логах сервиса
GoogleРоман22.04.2017
07:52:06
07:52:06
а сервис сам работать продолжает?
Ruslan22.04.2017
07:53:17
07:53:17
да, если снять нагрузку, то приходит в норму
и видно, что запросы отрабатывает, в общем, не всё уходит в 502
Роман22.04.2017
07:57:57
07:57:57
Ruslan22.04.2017
07:58:40
07:58:40
где смотреть? nginx?
Nikolay22.04.2017
07:58:59
07:58:59
nginx и настройки uwsgi
Ruslan22.04.2017
07:59:07
07:59:07
worker_processes 24;
AdminERROR: S client not available
Роман22.04.2017
08:00:12
08:00:12
что же у тебя они там обрабатывыают, что не справляются
Ruslan22.04.2017
08:00:21
08:00:21
тогда имеет смысл переделать на uwsgi, как первый шаг
сначала надо заставить работать, остальное потомсудя по логам, основная часть запросов отрабатывает в десятую секунды, а вот небольшая часть больше 2-3 секунд и это меня смущает
Nikolay22.04.2017
08:01:34
08:01:34
судя по логам, основная часть запросов отрабатывает в десятую секунды, а вот небольшая часть больше 2-3 секунд и это меня смущает
профайлинг спасет отца русской демократииRuslan22.04.2017
08:02:13
08:02:13
data={'timeout': 2} - вот это меня смущает в логах :)
могли заложиться, что успеют за 2 секунды :)
-POST | /api/session? | (43 in progress) | (2.991720 response time) | (371 bytes response size) | (200 response status)
Nikolay22.04.2017
08:05:32
08:05:32
https://flask-debugtoolbar.readthedocs.io/en/latest/
Google
Alexandr Korotaev22.04.2017
08:05:38
08:05:38
Народ. Кто нибудь реализовывал scraping на сайте защищенного авторизацией через google?? что использовали?
Nikolay22.04.2017
08:06:16
08:06:16
+ https://pypi.python.org/pypi/Flask-DebugToolbar-LineProfilerPanel/1.0.2
Ruslan22.04.2017
08:15:33
08:15:33
+ https://pypi.python.org/pypi/Flask-DebugToolbar-LineProfilerPanel/1.0.2
чем он меня спасёт, если фласк работаетк тому же у меня не сайт, а сервис, рест такой :)
Nikolay22.04.2017
08:16:05
08:16:05
чем он меня спасёт, если фласк работает
если ты уверен, что тормоза не в коде приложения - меняй fastcgi на uwsgiесли не уверен - запрофайли и проверь
RinatRuslan22.04.2017
08:16:50
08:16:50
а где может ограничиваться количество запросов?
тнн Itjunky22.04.2017
08:20:05
08:20:05
да, если снять нагрузку, то приходит в норму
Может там в базу утыкается или ещё какая очередь возникает?Ruslan22.04.2017
08:21:15
08:21:15
да нет базы, судя по логам 50 активных запросов, среднее время отклика 2-3 секунды
в том то и полтергейст
остальные не проходят до сервиса
тнн Itjunky22.04.2017
08:23:53
08:23:53
да нет базы, судя по логам 50 активных запросов, среднее время отклика 2-3 секунды
Ну вот у nginx подозреваю два процесса и по 24 воркерных потока, и того 48 почти 50Как они заканчиваются, начинает 502 херачить
Потом, в течение какого-то времени уже отрабатывающие запросы начинают возвращать ответ
Ruslan22.04.2017
08:24:35
08:24:35
а где процессы настраиваются?
тнн Itjunky22.04.2017
08:24:58
08:24:58
Нельзя ставить больше процессов nginx чем у тебя реальних ядер в системе
Прироста не будет, а вот тормоза на переключения контекстов ты получишь
Открыть в Telegram