Tishka17
при том что я хочу добиться красивого результата ответа апи, как у других сервисов
Чтобы ответ был красивый, он должен соответствовать спецификации. Там там swagger спеку сделал?
Rostislav
https://prnt.sc/plfhoh
twisted.sonnet
Знаешь как это влияет? Порядок становится вообще неизвестный
вроде он отображается так же как я его отправляю... если ретёрн такой return jsonify({'status': True, 'data': data}) то и в дебагере будет такой же порядок
Tishka17
https://prnt.sc/plfhoh
И правда функции внутри функций
Tishka17
И отступы по 2 пробела всего. Ух
Tishka17
Ладно, попробую понять
maxp.dev
И правда функции внутри функций
но собирать результат где-то в разных местах вложенной функции - это так себе идея
Tishka17
https://prnt.sc/plfhoh
Так. Без семафора загрузка процессора сколько?
maxp.dev
брать семафор в одном месте, а релизить фиг где- тоже не очень.
Tishka17
ensure_future бы заменить на create_task как дока рекомендует, но не суть
Rostislav
это sublime text так отражает) в pycharm все норм) просто там другой код, а сейчас просто тестирую этот.
Tishka17
брать семафор в одном месте, а релизить фиг где- тоже не очень.
Да вообще зачем эти низкоуровневые паттерны
maxp.dev
особо интересно, а зечем тут вообще семафоры в принципе?
Tishka17
https://prnt.sc/plfhoh
Что такое data? Чёт не вижу в коде
Rostislav
data = [ { "URL": "http://printchicagonw.com/resources/marketing-insider/", "ID": 0 }, ... ]
maxp.dev
а еще людям, присылающим скриншоты вместо ссылки на код надо высказать дружное неодобрение.
Rostislav
data - список со ссылками
maxp.dev
Это прямо болезнь какая-то - скриншотики кидать по чатикам.
Tishka17
data = [ { "URL": "http://printchicagonw.com/resources/marketing-insider/", "ID": 0 }, ... ]
То есть, фиксированный список, не генератор какой-нибудь?
Tishka17
Это прямо болезнь какая-то - скриншотики кидать по чатикам.
А я уже привык. Хотя бы на телефоне не едет все нафиг
Rostislav
он приходит из другого микросервиса
Tishka17
https://prnt.sc/plfhoh
Я бы предложил ещё создать коннектор и тайм-аут один раз, а не на каждый запрос. И может даже сессию
Rostislav
я так делал, результат тот же)
Tishka17
Прям секунда в секунду и процент в процент?
Tishka17
Не верю
Rostislav
Сделать без семафора, одну сессию и сбросить результат?
Rostislav
ок)
Tishka17
Загрузку cpu в процентах от ядра бы
Rostislav
1000 ссылок - 9.346261739730835 но много 500 кодов - 223, а их должно быть до 100 5000 ссылок - 12.39269733428955 но много 500 кодов - 4386, а их должно быть до 500
Tishka17
Тут некуда тюнить
Rostislav
500? У тебя сервер не держит
да нет, это обрывается, потому что ClientTimeout (total = 8)
Tishka17
Так 500 или что?
maxp.dev
А я уже привык. Хотя бы на телефоне не едет все нафиг
ну вот только это... но ни посмотреть код, ни попробовать. да хоть тот де gist в телефончике вополне нормально видно, но зато есть все прочие программистские плюшки. А скриншотики это для тех, кто не в курсе почему код пишут буквами.
maxp.dev
а можете пояснить в двух словах, что вы пытаетесь всеми этими способами добиться?
maxp.dev
то есть ищем решение для какой задачи?
maxp.dev
ага
Rostislav
Всем привет! Как можно увеличить скорость http head запросов? Нужно за 10-15 секунд проверить 10000-15000 ссылок) я делал варианты на trio + asks, curio + asks и asyncio + aiohttp, но к сожалению во всех одинаковый результат, максимум это 1000 ссылок за 9 секунд. Я увеличил ulimit и sysctl, но ничего не поменялось, на сервере сеть 3Gb. Возможно нужно еще что-то поменять, или это какое-то ограничение python или ubuntu?
maxp.dev
"максимум 1000" сразу наводит на мысль о ulimit
maxp.dev
вобще, делать много сокетов сразу это не очень просто, даже на Питоне.
maxp.dev
и на питоне это точно делать не лучший вариант.
maxp.dev
то есть там ulimit'ом не ограничится
maxp.dev
причем, как на клиентской стороне, так и на серверной.
Rostislav
open files (-n) 1616963
maxp.dev
я сходу не помню, но вообще там есть о во что уткнуться
Tishka17
таймауты
Так. А с загрузкой cpu что?
maxp.dev
с cpu у него скорее всего ничего - не в это упирается.
Rostislav
максимум 30%
maxp.dev
вот и я о чем.
maxp.dev
ошибка-то какая приходит?
Rostislav
таймауты
Tishka17
таймауты
Точно?
Tishka17
Моё исходное предложение сделать несколько процессов все ещё в силе
maxp.dev
начнем с того, а ab -n 1000 -c 10 как отрабатывает?
Rostislav
raise asyncio.TimeoutError
maxp.dev
raise asyncio.TimeoutError
то есть оно не успевает отработать за 10 сек, вполне ожидаемо.
maxp.dev
так что там начет ab ?
Tishka17
raise asyncio.TimeoutError
Там один сервер или много?
maxp.dev
Если ab как-то справляется, то можно пробовать на Питоне, при учете, что перформанс может просесть в разы. и на это ориентироваться.
maxp.dev
Зависит от сети и сервера, конечно.
Rostislav
Если ab как-то справляется, то можно пробовать на Питоне, при учете, что перформанс может просесть в разы. и на это ориентироваться.
ab -c 1000 -n 10000 http://google.com/ Concurrency Level: 1000 Time taken for tests: 0.763 seconds Complete requests: 10000 Failed requests: 0 Non-2xx responses: 10000 Total transferred: 5280000 bytes HTML transferred: 2190000 bytes Requests per second: 13098.73 [#/sec] (mean) Time per request: 76.343 [ms] (mean) Time per request: 0.076 [ms] (mean, across all concurrent requests) Transfer rate: 6754.03 [Kbytes/sec] received
Tishka17
Из своего кода ты тоже в Гугл лезешь?
maxp.dev
он там тупо редирект шлет?
maxp.dev
Non-2xx responses: 10000
Rostislav
а как передать список ссылок?
Tishka17
а как передать список ссылок?
Да попробуй из кода в Гугл. )
Tishka17
И follow_redirects отключи пока
Anonymous
Qq all
Rostislav
Эм. Гугл
нет, там разные ссылки)