Tishka17
Rostislav
https://prnt.sc/plfhoh
Tishka17
Tishka17
И отступы по 2 пробела всего. Ух
Tishka17
Ладно, попробую понять
maxp.dev
брать семафор в одном месте, а релизить фиг где- тоже не очень.
Tishka17
ensure_future бы заменить на create_task как дока рекомендует, но не суть
Rostislav
это sublime text так отражает) в pycharm все норм) просто там другой код, а сейчас просто тестирую этот.
Tishka17
maxp.dev
особо интересно, а зечем тут вообще семафоры в принципе?
Tishka17
Rostislav
data = [
{
"URL": "http://printchicagonw.com/resources/marketing-insider/",
"ID": 0
},
...
]
maxp.dev
а еще людям, присылающим скриншоты вместо ссылки на код надо высказать дружное неодобрение.
Rostislav
data - список со ссылками
maxp.dev
Это прямо болезнь какая-то - скриншотики кидать по чатикам.
Tishka17
Tishka17
Rostislav
он приходит из другого микросервиса
Tishka17
https://prnt.sc/plfhoh
Я бы предложил ещё создать коннектор и тайм-аут один раз, а не на каждый запрос. И может даже сессию
Tishka17
Rostislav
я так делал, результат тот же)
Tishka17
Tishka17
Прям секунда в секунду и процент в процент?
Tishka17
Не верю
Rostislav
Сделать без семафора, одну сессию и сбросить результат?
Rostislav
ок)
Tishka17
Загрузку cpu в процентах от ядра бы
Rostislav
1000 ссылок - 9.346261739730835
но много 500 кодов - 223, а их должно быть до 100
5000 ссылок - 12.39269733428955
но много 500 кодов - 4386, а их должно быть до 500
Tishka17
Tishka17
Тут некуда тюнить
Tishka17
Так 500 или что?
maxp.dev
А я уже привык. Хотя бы на телефоне не едет все нафиг
ну вот только это...
но ни посмотреть код, ни попробовать.
да хоть тот де gist в телефончике вополне нормально видно, но зато есть все прочие программистские плюшки.
А скриншотики это для тех, кто не в курсе почему код пишут буквами.
maxp.dev
а можете пояснить в двух словах, что вы пытаетесь всеми этими способами добиться?
Tishka17
maxp.dev
то есть ищем решение для какой задачи?
Tishka17
maxp.dev
ага
Tishka17
Rostislav
Всем привет! Как можно увеличить скорость http head запросов? Нужно за 10-15 секунд проверить 10000-15000 ссылок) я делал варианты на trio + asks, curio + asks и asyncio + aiohttp, но к сожалению во всех одинаковый результат, максимум это 1000 ссылок за 9 секунд. Я увеличил ulimit и sysctl, но ничего не поменялось, на сервере сеть 3Gb. Возможно нужно еще что-то поменять, или это какое-то ограничение python или ubuntu?
maxp.dev
"максимум 1000" сразу наводит на мысль о ulimit
Rostislav
maxp.dev
вобще, делать много сокетов сразу это не очень просто, даже на Питоне.
maxp.dev
и на питоне это точно делать не лучший вариант.
maxp.dev
то есть там ulimit'ом не ограничится
maxp.dev
причем, как на клиентской стороне, так и на серверной.
Rostislav
open files (-n) 1616963
maxp.dev
я сходу не помню, но вообще там есть о во что уткнуться
Tishka17
таймауты
Так. А с загрузкой cpu что?
maxp.dev
с cpu у него скорее всего ничего - не в это упирается.
Rostislav
максимум 30%
maxp.dev
вот и я о чем.
maxp.dev
ошибка-то какая приходит?
Rostislav
таймауты
Tishka17
Tishka17
Моё исходное предложение сделать несколько процессов все ещё в силе
maxp.dev
начнем с того, а ab -n 1000 -c 10 как отрабатывает?
Rostislav
raise asyncio.TimeoutError
maxp.dev
так что там начет ab ?
maxp.dev
Если ab как-то справляется, то можно пробовать на Питоне, при учете, что перформанс может просесть в разы. и на это ориентироваться.
maxp.dev
Зависит от сети и сервера, конечно.
Tishka17
Tishka17
Из своего кода ты тоже в Гугл лезешь?
maxp.dev
он там тупо редирект шлет?
maxp.dev
Non-2xx responses: 10000
Tishka17
Rostislav
а как передать список ссылок?
Tishka17
И follow_redirects отключи пока
Anonymous
Qq all
Rostislav
Эм. Гугл
нет, там разные ссылки)