Друзья, стоит задача сделать пинговалку, которая раз в 5 секунд будет посылать echo ping пакет к определенному адресу на протяжении длительного времени (1-5 суток). Адресов N шт. Явно нужно делать асинхронно. Сам вопрос: как лучше реализовать, через N потоков, либо через N процессов?

самый эффективный способ это открыть асинхронный raw-сокет и делать там что угодно. можно хоть 100000 адресов одновременно пинговать

я изначально ориентировался на запуск процесса ping из коробки.

ну это очень неудобно и совсем неэффективно, плюс ты не можешь управлять гибко параметрами пакетов которые отправляются, хотя если хорошее решение не обязательно то можно и так

я как раз таки и искал хорошее решение, просто узко мыслил. Спасибо! пошел разбираться

ну и спецификацию icmp, он довольно простой

Какой смысл с асинхронным asyncio использовать синхронный urllib?

штоэта

Друзья в aiohttp сколько ставить таймаут, чтобы можно было скачивать архи большой файл и скрипт не упал из-за таймаута?

кстати, мы тут с коллегами нашли адскую хрень в aiohttp

в клиенте?

потому что таймаут на сокет целиком, а не на отдельный дескриптор

если кроулить по порядку кучу урлов на разные сайты и хоть один урл упадет по таймауту - по таймауту падает вся пачка

потому что таймаут на сокет целиком, а не на отдельный дескриптор

а ты как на один сокет создаешь несколько дескрипторов? сокет описывает всегда только один fd

Там какой-то баг был, это поправляется

epoll у тебя каждый раз возвращает дескриптор, когда событие происходит

а ты как на один сокет создаешь несколько дескрипторов? сокет описывает всегда только один fd

но он не новый же, он того у кого событие было

дык вроде бай дизайн

Есть dup, так что один сокет может быть за несколькими дескрипторами

он возвращает новый fd

Ну да, я и говорю — несколько fd на один сокет

Ну да, я и говорю — несколько fd на один сокет

не просто несколько, их может вообще дохрена быть

это ж не select, где ограничение 255 вроде

кто и зачем их создает?

epoll создает, чтобы соединение обработать

ты же копию создаешь, почему один-то?

зачем он плодит fd больше чем количество сокетов?

чтобы больше соединений обрабатывать

у тебя сто клиентов пришло, ты с ними работаешь, зачем тебе больше 100 fd?

сокет - это всего лишь дырка, а дескрипторов для мультиплексирования на ней может быть много

ты слушающий сокет наверное имеешь ввиду

да, но с клиентским разница не особо большая

большая, там в один сокет пишет только один клиент как правило

ты в корутинах делаешь сотни запросов в секунду, на каждую корутину свой дескриптор

ты сейчас про какой протокол? про http/1?

причем тут http?

речь про aiohttp вообще была

ээ? и? из-за этого L7 внезапно стал L6?

сокет - это всего лишь дырка, а дескрипторов для мультиплексирования на ней может быть много

tcp это L4

Так зачем один сокет добавлять 100 раз в epoll, если просто можно помнить, что на этом сокете 100 соединений?

я сейчас про TCP и вызов epoll

как можно с одного сокета работать в 100 клиентов? назови хоть один протокол который так умеет? любого уровня выше 4-го

каждый пришедший клиент это +1 сокет клиентский

как можно с одного сокета работать в 100 клиентов? назови хоть один протокол который так умеет? любого уровня выше 4-го

ты можешь делать параллельно 100 запросов через корутины на одном и том же сокете

"запомнить, что на сокете 100 соединений" = "создать 100 дескрипторов по числу обработчиков этих соединений", разве нет?

Нет. Создавать fd — это дорого. Добавлять в epoll — дорого. Да и потом. Если ты хочешь закрыть сокет и удалить его из еполла, то тебе нужно будет закрыть все ассоциированные с ним fd — это тоже дорого

Нет. Создавать fd — это дорого. Добавлять в epoll — дорого. Да и потом. Если ты хочешь закрыть сокет и удалить его из еполла, то тебе нужно будет закрыть все ассоциированные с ним fd — это тоже дорого

можешь, какой протокол такое поддерживает? http/1? нет (только если с паплайнингом)

Потому работаем с hugepages, в которых операции дешевле

это TCP умеет

ну копировать имеет смысл только чтобы шарить сокет между воркерами, nginx так умеет например если ему сказать SO_REUSEPORT

tcp для http дает транспорт, логика http/1 не предполагает что в одно соединение пишет 100 клиентов, только один

Но он не шарит клиентские сокеты, только слушающие

логика http тут вообще ни при чем. Ты можешь с одного TCP-сокета в асинхронном режиме держать 100 http-сессий одновременно, хоть на сервере, хоть на клиенте

это один клиент, то что ты шлешь туда разные запросы и не отпускаешь соединение никак не влияет на то что там один fd и один сокет

там не один fd

если кроулить по порядку кучу урлов на разные сайты и хоть один урл упадет по таймауту - по таймауту падает вся пачка

один, зачем там больше?

Оно падает по Event loop is closed как тут? https://github.com/aio-libs/aiohttp/issues/441

могу ошибаться но вроде шарит, на более свободные воркеры, то есть принять может один а отдать другой