Tishka17
Перенести их в другие процессы не?
а смысл? ядер больше не станет
Evgeniy
а смысл? ядер больше не станет
Мультипроцессинг лучше подходит для cpu-bound
Evgeniy
Вычисления параллельные
Tishka17
там cpu-bound в сишной либе
Evgeniy
А
Evgeniy
:(
Tom
там cpu-bound в сишной либе
А там точно либа нужна? Может можно сами расчёты напрямую реализовать т получится оптимальное?
Evgeniy
я вообще без понятия что она там считает
Кстати, мб имеет смысл вынести вызовы либы в отдельный процесс, и общаться с ним асинхронно, чтобы хотя бы продолжать пинговаться извне, пока она там считает
Tishka17
я нашел косяк, у меня заклилилась одна вещь из-за таймаута
Evgeniy
зачем?
ну типа, таймаута не будет, просто ответ сервера, что таска пока не выполнена
Tishka17
эм
Evgeniy
какого сервера?
Сорян, не увидел, что на клиенте нагрузка
Tishka17
у меня две проблемы: 1. клиент загружен и не справляется с обработкой своих же запросов 2. клиент читает из очереди и не успевает за 15 минут удалить сообщение, брокер думает что он сдох и отдает другому клиенту
Evgeniy
Брокер ориениируется на чекины, а не на давность тасок
Evgeniy
зависит от брокера
Ты его не контролируешь?
Tom
надо подумать как это делается, да
Я б на твоём месте все таки попытался выяснить, что делает либа. Может она это делает неэффективно?
Tom
И переписать неэффективную сишную либу на питоне потом?
Нет. Выкинуть либу и написать нужную логику без абстракций и ненужных шагов. На си
Tishka17
С помощью другой либы
Evgeniy
Нет. Выкинуть либу и написать нужную логику без абстракций и ненужных шагов. На си
Звучит как отличный совет для питониста, никаких велосипедов на неосновном языке
Evgeniy
С помощью другой либы
А что в 70 потоках без вызовов этой либы делается?
Ruslan
камрады, как замокать метод в классе, экземпляр которого прилетает в каждом запросе aiohttp и доступен через request.app?
Tishka17
А что в 70 потоках без вызовов этой либы делается?
50 потоков - пул для выгрузки картинок на внешний сервис (уменьшил до 20 сейчас) 20 - разные очереди с небольшой логикой и походами во внешние системы
Tishka17
А разбить на две аппки не вариант?
Да хоть на 10, ядер процессора больше не станет
Evgeniy
Да
Можно срезать косты, перейдя на чет более низкоуровневое
Evgeniy
Через сокеты слать
Evgeniy
Это как?
Сокеты
Tishka17
Через сокеты слать
1. Как я через сокеты буду слать, если принимающая сторона ждёт хттп 2. Что это даст?
Evgeniy
У тебя цпу нагрузка ща на то чтоб сконструировать реквест
Tom
Звучит как отличный совет для питониста, никаких велосипедов на неосновном языке
Ну да, костыли в виде чекин системы куда лучше, чем устранение причины отжирания ресурсов
Tishka17
Переделать принимающую сторону
Принимающая сторона обслуживает весь Яндекс с лимитом 100rps на клиента, а клиентов у нее сотня. Как думаешь, меня пустят туда переписывать?
Evgeniy
А количество машин у тебя лимитировано, 1 и точка?
Tishka17
у меня сейчас 6 тачек по 0.7 CPU
Tishka17
кажется, я все ресурсы сожрал и больше нет
Tishka17
В общем, главную проблему я нашел и исправил.
Evgeniy
Еее, красава
Evgeniy
Уменьшил число потоков? Исправил цикл на таймауте?
Nichita
Всем привет 🙂 перед до мной стоит такая задача. У меня есть спиоск фотографий и label к какой категории они относится . Мне надо определять по новым фотографиям к какой категории их надо отнести. Я решил задачу так : прошелся по фотографиям готовой моделью и достал что там есть на фотке ( типо фотография с машиной : car ) , потом получился массив текстов, например : ([car wheel brake window], ‘cars’,) . заэнкодил это tfIdf и сделал кластеризацию через kmeans. У меня получились класстеры, но вопрос в том что когда я пишу какой-то треш типо как label, например abracadabra то он кидает во второй кластер , а я бы хотел чтобы он подсказал мне что он типо аномалия. Подскажите если я вообще в правильно направлении иду?
Tishka17
и удалил руками из очереди мешающее сообщение
Tishka17
пойду гуглить как в процессе обработки скрывать брокеру говорить что я ещё жив
Mariana
#офис #москва #python #middle #senior Приветствую! 👩🏼‍🦰Меня зовут Марьяна, и я ищу Python-разработчика в компанию Национальный Цифровой Агрегатор. 🎵 Компания работает с 2015 года; специализируется на агрегации прав на музыкальный и видео контент, и размещении контента на всех ключевых интернет и мобильных витринах. Мы работаем с крупнейшими лейблами и интернет-сервисами, предоставляющими доступ к музыке и видео, а также операторами сотовой связи "Большой четвёрки". Среди наших иностранных партнёров такие известные музыкальные сервисы, как Apple iTunes, Google Play, Spotify, Deezer, Shazam, Amazon, Pandora. Наши отечественные партнёры по дистрибуции музыкального контента: Zvooq, Яндекс.Музыка, ВКонтакте. Видео контент представлен на ведущих сервисах - YouTube, IVI, Tvigle, RUTUBE. Сейчас ребята расширяют штат. 🧑🏻‍💻Если ты: ▪️Пишешь на Python более 3-х лет ▪️Имеешь опыт разработки и поддержки web и enterprise-приложений ▪️Работал с SQL (PostgreSQL), Memcached, Redis. ▪️Разбираешься в чужом коде, как рыба в воде ▪️Имел опыт с Unix-like системами ▪️Любишь чистый и качественный код ▪️Имел опыт работы с системами контроля версий (GIT) Напиши мне! Чем будешь заниматься? ✔️Разработкой и поддержкой Python-приложений, серверной части высоко-нагруженной и распределённой системы ✔️Разработкой API и интерфейсов ✔️Документированием кода Огромным жирным плюсом будет: Знание Perl, так как сейчас часть кода на нем, все новое на python 🍪 А теперь о плюшках: ТК РФ Денежка от 150 000 по итогам собеседования Классный офис в паре минут ходьбы от метро Технопарк ДМС Классная команда и понимающее руководство Заинтересовало? Мои контакты: @reanimatsiya +79151474789
Evgeniy
Oleg
а кто в python мире самый популярный в рф, укр, белоруси? Ну вот например в жаве есть ребята которые на конфах часто выступают, работали в Oracle/Sun, саму жаву (код JVM) писали. в Python есть такие?
Oleg
а кинь ссылку плз на него
Oleg
и почему он кстати, чем крут?
Поважна
Oleg
Андрей Светлов?
Oleg
круто, спасибо.
Anonymous
Мир питона
Igor
Гвидо
Почетный гражданин Украины
Jamik
Добрый день. Если ли в python аналог метода application.closing(). Мне нужно запустить свой скрипт заново если пользователь закрыл его процесс.
Aragaer
atexit
Егор
Привет. Хотел написать небольшой бэкенд. Есть функция, которая слушает очередь Rabbit и получает в виде сообщения каталог, с файлами. Дальше она должна запустить экзешник стороннего софта и передать параметры. При этом продолжать слушать очередь и запускать подобные процесса, а не ждать завершения работы сторонего софта. Скажите пжл, правильно ли всё написал
Егор
троян сочиняешь?
нет, у нас свой софт для обработки данных, они приходят в формате csv или sav, а нам надо их переконвертить в свой формат, с которыми работает ПО
Tigran
окич