Может кто подскажет, как побороть uwsgi, который перманентно нагружает CPU до 100%. Конфиг стандартный supervisor+uwsgi+Django+nginx. Шампанство в конфигах uwsgi не помогает. Нужен совет, кто смог побороть проблему

а gunicorn пробовал вместо uwsgi?

И зачем в этом наборе супервизор?

Проблема именно с uwsgi. Раньше был gunicorn, но по совету старших товаришей перешёл на uwsgi.

Вассалы норм работают же.

Проблема именно с uwsgi. Раньше был gunicorn, но по совету старших товаришей перешёл на uwsgi.

Покажи конфиг uwsgi

Читал на github, что это известная проблема с uwsgi. Не kill'ит процесс, поднимая нагрузку CPU. менял несколько раз настройки, не помогает

Покажи конфиг uwsgi

Сейчас кину

[uwsgi] chdir=/home/www/ chmod-socket=664 uid = www-data gid = www-data pidfile=/var/www/site-uwsgi.pid uwsgi-socket=/var/www/site-uwsgi.sock chown-socket = www-data:www-data virtualenv=/home/vnv module=site.wsgi:application master=true workers = 2 enable-threads = true threads = 2 cheaper-algo = spare cheaper = 1 cheaper-initial = 1 cheaper-step = 1 harakiri=30 max-requests = 5000 vacuum = true thunder-lock = true pcre-jit = true close-on-exec = true buffer-size = 32768

[uwsgi] chdir=/home/www/ chmod-socket=664 uid = www-data gid = www-data pidfile=/var/www/site-uwsgi.pid uwsgi-socket=/var/www/site-uwsgi.sock chown-socket = www-data:www-data virtualenv=/home/vnv module=site.wsgi:application master=true workers = 2 enable-threads = true threads = 2 cheaper-algo = spare cheaper = 1 cheaper-initial = 1 cheaper-step = 1 harakiri=30 max-requests = 5000 vacuum = true thunder-lock = true pcre-jit = true close-on-exec = true buffer-size = 32768

За что отвечает harakiri?

увы, не подходит. мне нужно именно астом распарсить невалидный код. и на один раз, т.е. не пересобирать сам питон.

Именно астом в смысле именно питоновской стандартной библиотекой? Боюсь, не получится. А почему не сгенерировать модифицированную грамматику, как на стековерфлоу предлагают?

убивает процесс, если он весит более 30 секунд

Именно астом в смысле именно питоновской стандартной библиотекой? Боюсь, не получится. А почему не сгенерировать модифицированную грамматику, как на стековерфлоу предлагают?

потому что нужно распределенно парсить несколько невалидных сорцов, в каждом из которых свои ключевые слова переопределены.

у меня не ложатся в одну картинку "на один раз" и "распределенно"

и все еще неясно, почему не сделать общую либо несколько отдельных сборок для разных видов невалидных сорцов

ну в смысле что после одного сеанса парсинга все должно сбрасываться.

что все?

и все еще неясно, почему не сделать общую либо несколько отдельных сборок для разных видов невалидных сорцов

потому что в каждом сорце абсолютно свой набор ключевых слов, от меня не зависящиц.

что все?

все добавленное мной.

Эээм...

потому что в каждом сорце абсолютно свой набор ключевых слов, от меня не зависящиц.

не очень понял, если честно

а смысл они имеют?

нет надо просто распарсить на ноды исполнять не надо

все добавленное мной.

Опиши более подробно что ты делаешь. Ибо сложнааа, нипанятнаааа

пытался вручную парсить, но все моменты оформления кода не учтешь

А семантика этих ключевых слов определена?

то есть как бы

Опиши более подробно что ты делаешь. Ибо сложнааа, нипанятнаааа

ну вот есть сорц, в котором есть ключевое слово foo. есть другой, в нем нет foo, но есть bar. в третьем - и то и другое есть.

А семантика этих ключевых слов определена?

в принципе нет, мне ж не исполнять их, просто выдернуть в структуру. или о чем ты?

а что значит это ключевое слово, как оно должно появиться в дереве, когда код с этим ключевым словом валиден, а когда нет?

синтаксис ок

если они все ведут себя одинаково, то ты можешь их преобразовывать в какую-нибудь подобную конструкцию питона

появиться может в любом месте, валидно практически всегда, исключения вручную пропишу.

перед парсингом

если они все ведут себя одинаково, то ты можешь их преобразовывать в какую-нибудь подобную конструкцию питона

как? чем?

появиться может в любом месте, валидно практически всегда, исключения вручную пропишу.

>.<

как? чем?

регулярками лол

ну вот есть сорц, в котором есть ключевое слово foo. есть другой, в нем нет foo, но есть bar. в третьем - и то и другое есть.

Но у тебя foo в первом и foo в третьем одно и то же? Значит можно один раз делать.

не выйдет, увы.

ну ты хочешь парсить множество языков

с неопределенным заранее синтаксисом

Но у тебя foo в первом и foo в третьем одно и то же? Значит можно один раз делать.

ну набор неограничен вот я о чем и со временем скопится овер9000 их

это как бы питон, но с дополнительными теринальными символами?

ну ты хочешь парсить множество языков

нет, один

или что?

это как бы питон, но с дополнительными теринальными символами?

вроде того

нет, множество

почему?

пример покажи

ты говоришь, что ключевых слов много разных и не зависящих от тебя

и они могут вести себя по-разному

да они как переменные себя ведут но синтаксис у них не как у переменных, а как у ключевых слов и аст его не жрет

ты не очень понятно объясняешь, поэтому надо глазами смотреть

иначе ты бы просто вкорячил identifier или как его там зовут в питонограмматике

и пересобрал питон

т.е. переменная, потом пробел и дальше выражение обычное

иначе ты бы просто вкорячил identifier или как его там зовут в питонограмматике

не понимать что это

то есть вместо всех них можно вставить print и код заработает?

не понимать что это

cdvgfbdf34t34g

типа, валидное название для переменной

то есть вместо всех них можно вставить print и код заработает?

мне не надо чтобы он работал надо чтобы он распарсился а переменные в структуре важны, просто заменить их не выйдет

ну набор неограничен вот я о чем и со временем скопится овер9000 их

И? Все равно это одни и те же ключевые слова, так зачем для каждого отдельно делать? Собери все что есть и правь парсер (первая ссылка, что я кидал)

мне не надо чтобы он работал надо чтобы он распарсился а переменные в структуре важны, просто заменить их не выйдет

ответь на вопрос, не додумывай за меня

И? Все равно это одни и те же ключевые слова, так зачем для каждого отдельно делать? Собери все что есть и правь парсер (первая ссылка, что я кидал)

я тебе говорю, что их неограниченное количество я не соберу все, что есть или предлагаешь составить словарь всех сочетаний букв?

ответь на вопрос, не додумывай за меня

ну да

то есть мы можем просто поменять все custom_ident_name на print "__custom_ident_name", и код распарсится, верно?

верно но как их поменять, если ты заранее не знаешь, что будет в custom_ident_name?

ну кароч относительно простой способ это парсить текущим парсером, на экспешене заносить ключевое слово в словарь

ERROR: S client not available

и парсер регенирорвать\

ну кароч относительно простой способ это парсить текущим парсером, на экспешене заносить ключевое слово в словарь

хотел то же самое предлождить

Эй ребят. Вчера говорили про бота модератора, так что? будем делать?

ну кароч относительно простой способ это парсить текущим парсером, на экспешене заносить ключевое слово в словарь

словарь разрастется до невообразимых размеров уже через сотню файлов кода

ну разрастется

это не есть хорошо

словарь разрастется до невообразимых размеров уже через сотню файлов кода

не разрастется

почему?

у тебя сотня файлов кода невообразимого размера?

словарь не будет превышать ее объемами

Эй ребят. Вчера говорили про бота модератора, так что? будем делать?

Баттлер есть. И его моды

может воображение бедное

Эй ребят. Вчера говорили про бота модератора, так что? будем делать?

не нужен

ну это фигуральная цифра в общем, рано или поздно и что потом делать?

не нужен

почему?

не нужен

нужен

ну это фигуральная цифра в общем, рано или поздно и что потом делать?

ничего?

ну это фигуральная цифра в общем, рано или поздно и что потом делать?

когда потом? я не понимаю, когда настанет это потом

не очень разумное решение

почему?

Ибо чаще мешает, чем выполняет что то полезное.

лол

когда потом? я не понимаю, когда настанет это потом

когда-нибудь...

А админы группы, что скажут?

не очень разумное решение

ты очевидно не хочешь свой парсер писать

вот это вот супер непрактичный подход

что в общем-то было бы разумным решением

А админы группы, что скажут?

я модер, не видел ни одного модера, который высказывался бы за бота

ты очевидно не хочешь свой парсер писать

я хотел и почти написал но я вряд ли смогу учесть все тонкости оформления кода скобку на другую линию например перенесли - код останется валидным, а мне в парсер дописывать две страницы

я модер, не видел ни одного модера, который высказывался бы за бота

Вчера просто было обсуждения по этому вопросу

я хотел и почти написал но я вряд ли смогу учесть все тонкости оформления кода скобку на другую линию например перенесли - код останется валидным, а мне в парсер дописывать две страницы

ты его на регекспах что ли делал?

я хотел и почти написал но я вряд ли смогу учесть все тонкости оформления кода скобку на другую линию например перенесли - код останется валидным, а мне в парсер дописывать две страницы

ты как писал парсер?

ты его на регекспах что ли делал?

в общем-то да а на чем пишут парсеры кода?