переписывай на го

или поднимай несколько серверов

питон никогда не позиционировался как выдерживающий дикую нагрузку, это как рельсы — быстро поднял, все зашибись, потом переписываешь на чем-то пошустрее и поустойчивее

Да вроде питон и не загибается от пары-другой сотен запросов

И больше должен выдерживать

всем привет

Подскажите, хочу раскурить socket, многопоточность, django в python, гугл по крупицам инфу выдает, может книжка какая есть. Мне нужно чат написать

Зачем тебе многопоточность? Есть asyncio

Всем привет. Такая ситуация, написал скриптик (asyncio, uvloop, asyncpg, pandas) - запускаю на локалке, отрабатывает объем данных за секунду. Залил на сервак - там в 10 раз хуже.. На локалке Fedora 25, на серваке Debian 8 .. также для теста запускали на Ubuntu 15) Может кто-то уже сталкивался с такой проблемой?

подскажите куда копать, это база так работает на разных kernel или сам python или ещё что-то ?

У в aiohttp некоторые модули если не смогли скомпилироваться используют чистопитонячую имплементацию. Посмотри повнимательнее на вывод pip. Проверь что установлены python3-devel и build-essentials

aiohttp один раз только использую для загрузки фида в цикле событий

может ли производительность зависеть от компилятора gcc, использовавшегося при сборке python ?

может ли производительность зависеть от компилятора gcc, использовавшегося при сборке python ?

теоретически да...

попробую пересобрать, на локалке стоит GCC 6.2.1 а на серваке GCC 4.9.2

ну или на край наверное установлю fedora server ) но хотелось бы понять в чем причина такой разницы в скорости ..

попробую пересобрать, на локалке стоит GCC 6.2.1 а на серваке GCC 4.9.2

Не думаю что поможет

Хрен знает может постгрес педалит.

Если на машине высокий iowait постгрес знатно так педалит.

Привет,кто может сейчас помочь с базами данных(1 курс)?

Привет,кто может сейчас помочь с базами данных(1 курс)?

Питон и базы данных?

sqlalchemy + jupyter

https://learnpythonthehardway.org/python3/

Ребят, срочно нужна помощь. Кто хорошо знает криптографию?

https://www.ims-expertservices.com/keywords/c/cryptography/

А что именно с криптографией?

Есть хэш-функция, она не надёжная и её нужно поломать. Есть 2 файла. Hasher и его so-файл. С криптографией у меня не очень, а сломать очень нужно.

Всем привет. Собрал в одном месте все чаты для программистов - @Chats_Developers, пользуйтесь на здоровье. Ваш чат у нас тоже есть, не удаляйте это сообщение.

Всем привет. Собрал в одном месте все чаты для программистов - @Chats_Developers, пользуйтесь на здоровье. Ваш чат у нас тоже есть, не удаляйте это сообщение.

Глядите! Это велосепедист!

Всем привет. Собрал в одном месте все чаты для программистов - @Chats_Developers, пользуйтесь на здоровье. Ваш чат у нас тоже есть, не удаляйте это сообщение.

Ты и сюда припёрся?

Senior Python Developer (backend) Задача: переписать backend виджета ПраймПасс ( пример: https://primepass.ru/widget/v1/spot/109/event/2287/schedules) Нужен человек умеющий писать хороший код с документированием (вики/конфлюенс) с возможностью переиспользования в др проектах Плюсом будет: - понимать происходящего в фронтовой часть (JS конкретнее AngularJS ) Интересные задачи в перспективе: - Разработка новой билетной системы - Задачи ML прилагаются на горизонте 6 мес (после того как все встанет на рельсы) - Разработка ПО для терминалов по продаже билетов Требуется: - 2 года как Python разработчик и отличное знание Django и принципы Tornado - знание SQL (опыт работы с PostgreSQL) - Опыт создания и работы с Веб Сервисами RESTFul API - Построение многопоточных / асинхронных системных приложений на Python под Unix - Проектирование архитектуры системы (Шаблоны проектирования, Сопроводительная документация) Стек технологий: python, django, tornado, redis, rabbitmq, celery, git, postgresql Условия: Офис на ул Мосфильмовская, остальные условия обсуждаются в зависимости от уровня кандидата, полный рабочий день, гибкий график зп от 80к контакт: v.azmanov@primepass.ru - Владимир СТО сорри, если не в тему

Друзья, собрал в одном месте 132 чата для программистов - @Chats_Developers. Пользуйтесь на здоровье.

Друзья, собрал в одном месте 132 чата для программистов - @Chats_Developers. Пользуйтесь на здоровье.

Съеби с чата, пожалуйста.

Проапгрейдил базу, пересобрал интерпретатор с gcc 6, результатов никаких, по-прежнему на fedora 25 скрипт выполняет работу по парсингу и записи данных в базу в 10 раз быстрее, чем на ubuntu 15 и debian 8 (

asyncio+asyncpg

Возможно ли это из-за kernel версии операционки?

Может у кого-то был подобный опыт..

сейчас в меня опять тряпки полетят, но я когда-то лет 8 назад попробовал убунту сервер. увидел как все тормозит и ушел на centos на всегда

никакого убунту на сервере никогда

если хочется свежих пакетов то fedora если еще свежее то arch

Поддерживаю, сам сторонник centos, но тут ситуация в которой замена операционки не приветствуется начальством(

Ну и ко всему хотелось бы точно разобраться в проблеме, и понять в чем причина..

а что за железо?

может в ядро что-то недокомпилили на бубунте?

в dmesg поглядеть там?

в логи

Сервак с базой, 8 ГБ, xeon серверный, а вторая машинка копия моей с fedora..

Завтра попробую еще вариант на второй комп поставить fedora

Но занавес тайны это не откроет..

может быть какие-нибудь ограничения типа nice'a?

ulimits глянь так же

Спасибо, любая информация пригодится, буду проверять..

у меня один раз был подобный баг. я искал неделями. правда на винде. так вот оказалось что винда очень плохо дружила с dns сервером. запросы уходили ооочень долго

если это парсер так же стоит глянуть сколько сокетов можно открывать системе

Я использую pool соединений с базой. И вся информация к моменту записи уже находится в оперативке

Интересная теория с сокетами, что-то я не подумал, проверю в первую очередь..

это не теория ) перебираю все глупые варианты

ulimits проверь обязательно

)

Ок, просто тоже много пробелов, возможно поэтому еще не разобрался, ну собственно и пишу сюда, т.к. идей других нет, google ничего на эту тему не знает..

Я был бы очень признателен если бы кто-нибудь еще поделился своим мнением!

Тимофей, профайлер тебе в помощь.

Зачем гадать, если можно профайлером глянуть.

Если эти ОС в разных местах расположены, то в одном из местможет быть тормозной DNS-сервер.

Спасибо, сейчас вот буду проверять.

https://telegram.me/vr_developers

https://telegram.me/vr_developers

Спамишь?