switchfiber + iocp + apc

blocking, nonblocking, asynchronous?

последнего в linux/freebsd нет для сокетов.

если swtichfiber не нравится пишется свой аналог ucontext_t и get\swap

на ассемблере в 30 строчек

но файберов виндовых хватает

и оверлапд IO

но файберов виндовых хватает

ну винды у многих практически нет, а для некоторых платформ её вообще не существует.

Мы говорим про сервера.

еще пару лет назад серверная винда была повсеместно, сейчас поровну между линуксом, виндой и бсд

Мы говорим про сервера.

arm/mips

я писал просто можно сказать аналог libev

только плюсовый

только плюсовый

а чем не понравился какой-нибудь boost::asio ?

>boost во-первых

во-вторых медленее

switchfiber + iocp + apc

>apc

чем то, что написал

Нужны были корутины

и асинхронное ио

Нужны были корутины

ну так сейчас для этого дичайше крут golang.

Всё равно медленнее, чем собственный код.

Там было всё вылизано по максимуму.

и асинхронное ио

увы, в *nix оно есть долько для обычных файлов.

Интересовала больше сеть, нежели чем файловое aio

Ну и на самом деле гарантий на AIO нет никаких на файловое

система все равно может блочить read\write

ну и опять же, если цель - максимальная производительность, то тут на сцену выходят всякие dpdk/netmap

Интересно стелишь. Сам реализовывал? А задача какая была?

ну и опять же, если цель - максимальная производительность, то тут на сцену выходят всякие dpdk/netmap

угу.

а при определённом железе - onload

Но это уже был оверкилл, в итоге остановился на связках ucontext_t +epoll

свой асм на маке + kqeue

ну и fiber+iocp на винде

Но это уже был оверкилл, в итоге остановился на связках ucontext_t +epoll

ну а как ты решал вопрос с переключением короутин?

swapcontext

swapcontext

ну да, это всё уже есть в uwsgi :)

обычный юзер мод свитч

по замерам около 20 нс на переключение контекста.

если FPU preserve то еще 10 нс

но тут вопрос в другом: вот у тебя операция чтения из сокета, тебе прилетает EAGAIN - тебе надо добавить сокет с epoll с маской POLLIN

если была запись - то с маской POLLOUT

Ооо, ладно, щас, ты читал libev девблог? как они там охуевали с дермового дизайна epoll-а?

Ну вот, я тоже.

https://www.facebook.com/julia.ploskonosova.9/posts/589628884547058

вопрос в том, что тебе надо трекать последнюю io-операцию в короутине, на которой прилетел EAGAIN

Ща-ща-ща

Когда в еполл кладется эвент

его user-data

это указатель на структуру с прерванной корутиной

когда оно вытягивается из epoll_wait

следующей же инструкцией мы идёт в корутину

его user-data

а, всё. понял.

соотв любая операция read\write на соединении это на самом деле укладка указателя на текущую корутину в еполл

соотв любая операция read\write на соединении это на самом деле укладка указателя на текущую корутину в еполл

да, круто.

туда же легко цепляются таймеры

я просто смотрю на ту дичь что творится в питоновском eventlet

и мне грустно

Я плюсер, если честно, про питон ничего не знаю почти, а сюда зашел, потому что мне разрекламировали, что тут за хаскелль разговоры :D

Я плюсер, если честно, про питон ничего не знаю почти, а сюда зашел, потому что мне разрекламировали, что тут за хаскелль разговоры :D

хехе... ну если кратко, в eventlet много буккипинга: храним хештаблицу fd => короутина и при событии бежим смотреть куда нам прыгнуть.

Понял.

Жесть.

Да, очень плохо.

и вроде только недавно добавили модификацию флагов epoll. раньше было CTL_DEL + CTL_ADD

Хотя я понимаю почему им так захотелось.

никаких ONESHOT итп

Из-за поганого epoll-а который вешает в одино событие и read и write

ERROR: S client not available

Хотя я понимаю почему им так захотелось.

btw, а есть плюсы у ET vs LT?

Считается, что edge_trigerred быстрее

Я не проверял, сразу писал на oneshot-ах всё

Но оно интуитивно и понятно.

gevent + c-ares.

спасибо, похоже это то что нужно

спасибо, похоже это то что нужно

ну тебе надо бы сначала делать gethostbyname/getaddrinfo

оно быстрее, чем если делать честный connect

О, кстати, это весело, но не существует неблокирующих версий gethostbyname

на винде приходится заводить отдельный тред.

только для резолвера.

О, кстати, это весело, но не существует неблокирующих версий gethostbyname

c-ares ;)

чтобы не заблокироваться надо проявлять чудеса изобретательности

open/stat - пиу-пиу.

На винде есть решение какое-то через нейтив апи, но оно очень страшное.

запросто могут занять от десятков ms до бесконечности ))

Я не помнюуже. Но да, там очень странно всё равно это с раскладкой по времени.

скажем так, есть один скриптик, кем-то написаный. который достаёт открытий json и делает красиво в gtk. не суть. реализовано ужасно криво, и самое главное, при автозапуске (а данные полезные, годные) эта софтина может подняться (если wifi поднялся раньше) или не подняться. решил перереализовать, а там вообще странное: класс, а внутри два метода всего. и второй делает вообще всё. я понимаю что люди не парились, и сделали просто чтоб было. но это не тру, т.к. надо же чтобы исключения обрабатывались, да и вообще

Там есть якобы Wsaasyncgethostbyname но на самом деле он не async

лол.

в общем ваши идеи мне пришлись по душе, тем более что это то, с чем я хотел бы разобраться подробнее ?

Я не помнюуже. Но да, там очень странно всё равно это с раскладкой по времени.

ну я мерил для linux. там четкая корелляция для /sys/block/{blockdev}/stat

точнее, с выхлопом iostat в полях r_await/w_await

Вот что нашёл: https://github.com/gwik/geventhttpclient

хорошая годная вещь?

Вот что нашёл: https://github.com/gwik/geventhttpclient

Но зачем?

я боюсь что не смогу ответить на этот вопрос...

потому что я как минимум дважды довольно подробно описал что хочу ?

а тут я ищу реальные практики из жизни подобных примеров. кто как решал такие задачи

ясно. к чёрту питон. забыли. кто как реализовывал многопоточные парсеры на хаскеле за последний месяц? ))

Как я понял, Haskell - это не широко распространенный ЯП?

он широко распространен в срачиках, но не в продакшене

за c-ares Рома отдельное спасибо )