А ртути другой тулзы для мониторинга не юзает ?

Никто*

Есть кто на pgday?

А есть ли какая-то инфраструктура счетчиков для python с бэкендом в редисе? Хочется метрики снимать в приложении.

Мы делаем это вручную.. 1) Инкрементируем счетчик в редисе из разных воркеров 2) Отдельный скрипт бегущий в фоне раз в минуту отправляет значения в https://github.com/spotify/ffwd и очищает счетчики 3) ffwd отправляет счетчики в KairosDB 4) Смотрим результаты в Grafana

Вообще не то что тебе нужно ))

А ртути другой тулзы для мониторинга не юзает ?

Ну Prometheus можно. Я как раз собирался поискать готовое под него для celery или просто amqp

Мы делаем это вручную.. 1) Инкрементируем счетчик в редисе из разных воркеров 2) Отдельный скрипт бегущий в фоне раз в минуту отправляет значения в https://github.com/spotify/ffwd и очищает счетчики 3) ffwd отправляет счетчики в KairosDB 4) Смотрим результаты в Grafana

Счетчики не обязательно каждый раз обнулять. Ну, для Prometheus как минимум:)

Мы делаем это вручную.. 1) Инкрементируем счетчик в редисе из разных воркеров 2) Отдельный скрипт бегущий в фоне раз в минуту отправляет значения в https://github.com/spotify/ffwd и очищает счетчики 3) ffwd отправляет счетчики в KairosDB 4) Смотрим результаты в Grafana

Ну и форвардить - это почва для отказа

@lig11 в нашем случае надо обновлять тк у нас все вручную. Обычно в готовых либах обнулять не нужно, да

23 Июля IT Global Meetup #8 http://www.meetup.com/spbpython/events/232311643/

http://www.meetup.com/spbpython/events/231934142/

def _currency(self, currency): if currency == u'2': return u'rur' elif currency == u'1': return u'usd' elif currency == u'3': return u'eur'

Помните этот код?

А как его можно переписать строго на лямбдах?

Не могу не поделиться шЫдевром

и как, переписали?

Да там выяснилось, что у человека цель: лямбда ради лямбды

ну нет паттернматчинга в питоне к сожалению

под паттерн-матчингом разумеешь switch-case?.. Так дикт же

под паттерн-матчингом разумеешь switch-case?.. Так дикт же

+

Но это не паттерн матчинг, а так, херня.

но лучше иф-елифов.

но лучше иф-елифов.

Не всегда, но в таких случаях да

под паттерн-матчингом разумеешь switch-case?.. Так дикт же

А вот и не дикт. Нынче модно enum

о, да? хм, не знал

а как через енам такое сделать?..

Инстанциировать enum числом и всё

аа. всё, понял вроде

прикольно. Надо не забыть.

Enum(1)

cur = CurEnum(1) assert cur == CurEnum.usd

коллеги, нужна помощь с профайлингом по памяти

есть сайт, да на джанге

запускаем, ждем, выжрал до хрена

хочется понять какой запрос к сайту увеличил потребление памяти

gevent

запросов много паралелльных, савнить потребление и ответы сложно

uwsgi вроде умеет репортить в логи потребление памяти, может кто знает тулзу чтобы это удобно копать?

вот тут пишут http://stackoverflow.com/a/12254394/396862

но блин, оно правда будет захватывать другие запросы, т.е. придется коррелировать срабатывания между собой... ну что ж

попробую сначала https://pypi.python.org/pypi/django-profiling-dashboard

попробую сначала https://pypi.python.org/pypi/django-profiling-dashboard

старое, не совместимое даже с годовалой джангой, плюс зависит от либы Кошелева (sic!) с такими же багами

завести завел, но результат не тот, что я ожидал.

в итоге логгирую через middleware

кое что накопал

а вот еще, а чем можно нарушения DRY в коде искать? pyflakes?

в целом по коду проекта - не знаю, а по модулю pylint точно показывал количество повторов

flake8

ну flake8 это же pyflakes + pep8, правильно?

народ, а что можно заюзать в качестве простой очереди для множества GET, POST запросов ? хочется чего-нибудь простого а не Celery python-rq боюсь не справится

народ, а что можно заюзать в качестве простой очереди для множества GET, POST запросов ? хочется чего-нибудь простого а не Celery python-rq боюсь не справится

nginx

varnish

varnish

Quagga

nginx в качестве очереди для питона ?)

очередь задач на отправку запросов

Мы используем RQ

Десятки миллионов запросов в день

nginx в качестве очереди для питона ?)

Да. Там есть модуль

Если речь об исходящих запросах

Десятки миллионов запросов в день

а можно поподробнее как добились ?

нет кол-ва на открытые сокеты ?

ограничения*

Десятки миллионов запросов в день

для 20 лямов - это 231,5 запрос в сек

если ответ меньше секунды, то это очень мало параллельных соединений

а можно поподробнее как добились ?

а чего там добиваться? на gevent и больше можно

ERROR: S client not available

мы вон тоже параллельно в несколько систем ходим, по 200 параллельных коннектов с каждого хоста

а чего там добиваться? на gevent и больше можно

вот, мне вот интересно и было чистый RQ или нет

Чисты rq. Но ив без gevent

На сервер несколько сотен воркеров

На сервер несколько сотен воркеров

процессов отдельных?

Да

да вы батенька жируете;)

Можно сделать иначе, не спорю

200 одновременных запросов спокойно летит с одного процесса на gevent на t2.small в aws

можно и больше, зависит от того насколько сложно результат обрабатывать

Парсить и писать на Диск

вот парсить - это может быть что угодно от маленьго json до километров xml

Знаю знаю)

Rq плохо работает с длинными очередями

Там LREM O(n) для удпления завершившейся таски

Лучше делить на несколько очередей по какому то признаку. И расплавление будет ровнее и редис тупить не будет

вернемся к DRY flake8 не ищет повторы кода

А кто-есть умеет?

Лучше делить на несколько очередей по какому то признаку. И расплавление будет ровнее и редис тупить не будет

а если для каждого юзера свою очередь заводить ? не будет ограничений на кол-во очередей ? умеет RQ поднимать очереди динамически ?

Создавать очереди динамически - да

Но каждый воркер привязан с списку очередей

Т.е. если юзеры меняются, то не вариант похоже

pylint пишет, что умеет

Ограничения на кол-во очередей я не увидел тк у меня всего ~30

мы вон тоже параллельно в несколько систем ходим, по 200 параллельных коннектов с каждого хоста

Я на gevent делал load generator: брал access.log и проигрывал его

Людям хотелось увидеть как сервис будет жить при росте нагрузки

@jetbootsmaker длинная очередь на нашем редисе это скажем > 50k

вернемся к DRY flake8 не ищет повторы кода

пайчарм умеет :)

как?

и предлагает выделить в метод

https://www.jetbrains.com/help/idea/2016.1/analyzing-duplicates.html

здорово