Всем привет! Каким пользуетесь фреймворком для тестирования?

Стандартным, unittest

robot framework

какой вопрос, такой и ответ

unittest с запуском через nose

какой вопрос, такой и ответ

А какой такой вопрос?

А какой такой вопрос?

без пояснения, о каком тестирования речь. я про функциональное, господа выше - про юнит-тесты

без пояснения, о каком тестирования речь. я про функциональное, господа выше - про юнит-тесты

Понятно, я тоже про функциональное

В Джанго форме можно для поля указать опред набор объектов. Эту логику соответствия стоит ли прописывать в модели в save? Вы вообще так делали?

добавь в env.py импорт своих моделей

Вся проблема была в импорте моделей. В файле где инициализируется база, модели импортировались в методе init, который я вызывал при инициализации приложения, поэтому метадата оказывалась пустой. Просто вынес импорт за метод и после создания engine и все заработало. Почему то нигде не прочитал этого, ну или так читал:) в общем спасибо всем кто откликнулся

Есть вопрос по оптимальной настройке django+gunicorn+nginx. Сейчас три потока при 140 подключениях в секунду валит CPU в 100% и сервер падает. Как можно настроить на большую производительность?

CPU i5 - 4 ядра, 3 Ггц.

Есть вопрос по оптимальной настройке django+gunicorn+nginx. Сейчас три потока при 140 подключениях в секунду валит CPU в 100% и сервер падает. Как можно настроить на большую производительность?

htop бы хотя бы

во вторых - это разработка или мега прод такой?

а то не так двно мега заказчик хотел на паре i5 сделать себе сайт под интернет магазин

Это локальное тестирование проекта, который скоро надо выкатывать на прод. Ожидаемая пиковая нагрузка до 500 уников единовременно.

Сейчас TOP покажу.

htop бы лучше, чем просто топ

htop бы лучше, чем просто топ

Не проблема, сделаю htop

Это тестирование близкое к перезагрузке сервера.

на работе гляну уже по нормальному, пока ток поеду на неё

100 rps и база в такой загруз ушла? покажите всё таки обычный топ. мож у вас там винты гумно и база пыжится читать все это?

Я сперва думал, что Postgresql сильно грузит, сделал кеш на Redis, чтобы нагрузку уменьшить. Не сильно помогло.

Винты говно, тут увы обычный Sata

100 rps и база в такой загруз ушла? покажите всё таки обычный топ. мож у вас там винты гумно и база пыжится читать все это?

тогда уж iotop

да у вас что-то всё работает на все деньги

Я сперва думал, что Postgresql сильно грузит, сделал кеш на Redis, чтобы нагрузку уменьшить. Не сильно помогло.

devops есть в конторе?

тогда уж iotop

можно потом и его. можно и атопом глянуть ))

devops есть в конторе?

Я за него ?

prometheus+grafana пусть настроит

без этого тесты делать тупость

о. котаны. нынче все так же sqlalchemy рулит или появилось что лучше?

Ушел настраивать prometheus+grafana

о. котаны. нынче все так же sqlalchemy рулит или появилось что лучше?

всё также

у новичков в почете peewee - минималистичный и простой вроде где-то там разрабатывается ponyorm, но в деле не видел

ну нафиг. если уж кто будет ковыряться после меня в коде - лучше оставить после себя алхимию

верно

господа, а есть ли какой-то хитрый механизм для django, который умеет генерировать фикстуры? Чтоб он сам пробежался по списку моделей, которые он получил из installed_apps и сам создал рандомный набор данных? А то я читаю доки по всяким factory_boy, и там понимаю, мне придётся какие-то фактори писать... мне это всё не надо(

чтоб что-то вроде python manage.py MAKE_FIXTURESи оно само всё сделало. Модели же есть, форенкеи там есть, и оно само это всё данными напихало

dumpdata делать нереально, база пару десятков гигов

я потом это сшивать заколебусь.

Ушел настраивать prometheus+grafana

будь аккуратен, я слышал о случаях когда графана досила прометея

умудренные пользователи SQLAlchemy, объясните когда необходимо использовать session.rollback() с отрубленных autocommit=True. try: model_a.field_1 = valuse self.session.commit() except Exception: # IntegrityError self.logger.exception(...) self.session.rollback()

будь аккуратен, я слышал о случаях когда графана досила прометея

Я ее все равно на локале разворачиваю, чтобы протестировать где возникает проблема в нагрузке. В дев переносить не планирую. Но спасибо за предупреждение, посмотрим

необходимо ли каждый commit оборачивать в try/except для отлова возможных ошибок со стороны транзакций БД/SQLAlchemy и явно дергать rollback?

дока как-то не дает однозначных ответов, либо я просто тупенький

When a flush() fails, typically for reasons like primary key, foreign key, or “not nullable” constraint violations, a rollback() is issued automatically (it’s currently not possible for a flush to continue after a partial failure). However, the flush process always uses its own transactional demarcator called a subtransaction, which is described more fully in the docstrings for Session. What it means here is that even though the database transaction has been rolled back, the end user must still issue rollback() to fully reset the state of the Session.

т.е. правильно ли я понимаю, что каждый чих либо на уровне непосредственного взаимодействия с данными, либо в каком-нибудь глобальном обработчике должен оборачивать апдейты данных в try/except и дергать rollback() в случае ошибок и алхимия по умолчанию ничего сама не разрезолвит помимо отката непосредственно транзакции на уровне СУБД?

100 rps и база в такой загруз ушла? покажите всё таки обычный топ. мож у вас там винты гумно и база пыжится читать все это?

iostat -x 1 .

да отстаньте вы от меня о_О

Бля, не тому)

Это тестирование близкое к перезагрузке сервера.

iostat -x 1 покеж во время нагрузки

Доброе утро коллеги, у нас тут вакансия появилась, кому интересно пишите мне в личку (желательно иметь резюме). https://hh.ru/vacancy/20724621

Всем спасибо за помощь. Поднял доп.сервер для тестирования, поставил туда uWSGi, перенастроил PostgreSQL для более оптимальной работы и все стало отлично. Сервер держит нагрузку более 500 в секунду спокойно. На локальной машине затуп был явно в скорости диска.

кеееек

По совету b0g3r размещаю текст вакансии ( https://hh.ru/vacancy/20724621 ) целиком: Ищем опытного, ответственного и самостоятельного Python-разработчика в действующий сервис знакомств. Предстоит улучшать существующие и разрабатывать новые REST API для мобильных приложений, совершенствовать алгоритмы поисковой выдачи, предлагать и внедрять новые крутые решения. Будет хорошим плюсом опыт в создании административных веб-интерфейсов. Что необходимо знать: Python и Django + Django REST Framework Понимание работы HTTP PostgreSQL (оптимизация запросов, транзакции) RabbitMQ, Redis Естественно Git Что пригодится: Умение администрировать UNIX (в частности Ubuntu) Опыт использования Ansible для деплоя Что будет просто отлично (но не обязательно): Уверенное владение Javascript (плагины jQuery а еще лучше понимание чего-нибудь реактивного вроде Vue или Angular но это не обязательное требование) Опыт работы с AWS Что мы используем: Amazon Web Services Celery + RabbitMQ для очереди задач Redis для кеширования Nginx + uwsgi Sentry для сбора ошибок Условия: Работа ТОЛЬКО фултайм в нашем офисе на Таганке (м. Таганская, Марксистская, Римская, Площадь Ильича) Заработная плата от 100 000 рублей по результатам собеседования

(dict[s] += 1) if s in dict else (dict[s] = 1) что не так?

пишет invalid syntax

ERROR: S client not available

(dict[s] += 1) if s in dict else (dict[s] = 1) что не так?

начнем стого

что dict это кейворд

dict[s] = 1 это не выражение

Это не кейворд

dict[s] = s in dict and dict[s]+1 or 1

(dict[s] += 1) if s in dict else (dict[s] = 1) что не так?

Тут лучше воспользоваться defaultdict

и вообще если dict[s] то s in dict какбэ

Сергей, не лучше ли сначала обьяснить, как работает if оператор, и что assignment в Пайтоне, в отличии от С++, например, не является выражением

setdefault не подойдёт?

если в нем хранить просто инты, то лучше вааще counter

вообще код странный с точки зрения логики

setdefault не подойдёт?

спасибо

я бы такой отказался интерпретировать

проверка на условие там излишня

(но это не точно)

просто dict[s] будет увеличиватся всегда

ну или пробрасывать исключение

from collections import Counter

и все

и все

+

from collections import Counter

о, похоже то что нужно, спасибо

Сергей, не лучше ли сначала обьяснить, как работает if оператор, и что assignment в Пайтоне, в отличии от С++, например, не является выражением

Уже же объяснили выше, я дополнил

?

Гайз, один интереснейший вопрос: Допустим, у нас есть предложение на английском (8 бит), русском (16) и китайском (32), написанное в UTF-8. Мы дописываем туда ещё символов, которые ничего не значат, чтобы описанное делилось на 256 (константа, может быть любой). Далее мы берём ключ длиной 256 и складываем все символы со значением ключа так, чтобы на выходе у нас получился кусок английского текста (желательно) текста. А затем — внимание! — мы посимвольно отнимаем ключ и получаем исходное сообщение. Кто не понял, зачем этот изврат — смотрим сюда: https://ru.wikipedia.org/wiki/%D0%A8%D0%B8%D1%84%D1%80_%D0%92%D0%B5%D1%80%D0%BD%D0%B0%D0%BC%D0%B0 Вопрос, уровень lite: где посмотреть про кодирование юникода и превращения двух символов в один? Вопрос, уровень max: как прибавить к каждому символу, пусть даже на русском или китайском, значение символа на английском и получить символ на английском?

Гайз, один интереснейший вопрос: Допустим, у нас есть предложение на английском (8 бит), русском (16) и китайском (32), написанное в UTF-8. Мы дописываем туда ещё символов, которые ничего не значат, чтобы описанное делилось на 256 (константа, может быть любой). Далее мы берём ключ длиной 256 и складываем все символы со значением ключа так, чтобы на выходе у нас получился кусок английского текста (желательно) текста. А затем — внимание! — мы посимвольно отнимаем ключ и получаем исходное сообщение. Кто не понял, зачем этот изврат — смотрим сюда: https://ru.wikipedia.org/wiki/%D0%A8%D0%B8%D1%84%D1%80_%D0%92%D0%B5%D1%80%D0%BD%D0%B0%D0%BC%D0%B0 Вопрос, уровень lite: где посмотреть про кодирование юникода и превращения двух символов в один? Вопрос, уровень max: как прибавить к каждому символу, пусть даже на русском или китайском, значение символа на английском и получить символ на английском?

ord()?

чтобы получить из произвольной бинарной каши символ на английском достаточно применить base64

вопрос в другом - зачем нужны именно символы на английском, почему нельзя просто оставить бинарную кашу?

Ну... Можно, но пересылать символы на английском, ИМХО, удобнее и короче в 8 раз.