надо мерять

надо мерять

абсолютно согласен

в общем случае lock-free будут медленнее в случае contention

это ж не бесплатно

а как я понимаю, если под локом reserve() вызывать, то хоть 10 раз можно, он просто проверит,что уже выделено и пойдет дальше?

да, он не переаллоцирует если нужное количество памяти уже доступно

спасибо всем)

то есть смотри, допустим у меня 2 потока работают с одной таблицей, не понятно,какой из них будет раньше работать с таблицей, я делаю reserve() у обоих потоков

reserve не потокобезопасная операция. ты не можешь её выполнить из потокв без синхронизации

ну пусть выбирает мб lock-free контейнеры

lock-free синхронизация в общем случае медленее, чем locking

да, со стандартными контейнерами беда насчет локов. надо делать свои таблички, мапы и тд, которые влезают в кеш-линию

Это вообще не так работает, как вы думаете. Если что-то помещается в кеш линию, но работаете вы с этим не через атомарные операции - у вас ошибка в коде. Именно ошибка! И да, при работе приложения это проявится P.S.: Я стёр 7 предыдущих своих ответов, 5 из которых были матерные

lock-free это не про скорость. lock-free это про гарантии

Что принято использовать если нужен семафор, которого можно ждать в epoll/poll/select? Я пока умею только писать свою реализацию через eventfd.

а чем eventfd не устраивает?

я тоже его использую для этих целей

Так не хочется свой семафор писать. И совсем не хочется в fast path пользоваться eventfd. То есть хочется пользоваться eventfd только если действительно нужно ждать.

Вообще в результате нужна MPSC очередь, которую можно добавить в epoll И это как будто совершенно не распространенная структура данных.

Вообще в результате нужна MPSC очередь, которую можно добавить в epoll И это как будто совершенно не распространенная структура данных.

Делал подобное на Boost.Asio. Для этого заводил атомарную переменную под флаг, который использовался для проверки события. Каждый кто с флагом работал, при изменения/чтении смотрел, надо ли запускать подзадачу. Есть немного кода вот тут http://apolukhin.github.io/Boost-Cookbook/second_edition.html#Chapter06-recipe6-part1 но боюсь без обяснений он не очень поможет.

Сейчас попробую по быстрому рассказать идею: ` void set_new_value(T value) { static std::atomic i = 120; if (i.swap(value) == required_value) { io_service_instance.post(task_that_must_be_executed_on_condition); } }

Ребята, такой вопрос. Есть приложуха, которая берёт инфу с N mysql серверов (в среднем на каждом сервере несколько миллионов записей в бд), копирует данные в целевую БД, заполняет дополнительные таблицы на основе этих данных. Задачи такие: 1) выполнить копирование и перехуячиывание данных в адекватное время 2) поддерживать актуальность данных, т.е если на одной из сорс БД какая-то запись {удалилилась, обновилась, добавилась}, то она должна {удалиться, обновиться, добавиться} и на таргет БД. Я уверен, что это достаточно распостранённая задача. Как её решать, куда думать, какие есть паттерны?

Делал подобное на Boost.Asio. Для этого заводил атомарную переменную под флаг, который использовался для проверки события. Каждый кто с флагом работал, при изменения/чтении смотрел, надо ли запускать подзадачу. Есть немного кода вот тут http://apolukhin.github.io/Boost-Cookbook/second_edition.html#Chapter06-recipe6-part1 но боюсь без обяснений он не очень поможет.

В общем один из поиковиков выдаёт ссылку прям на книгу в pdf формате. Там можно прочесть нужную главу с объяснениями. Но не уверен что такой подход на 100% вам подойдёт

В общем один из поиковиков выдаёт ссылку прям на книгу в pdf формате. Там можно прочесть нужную главу с объяснениями. Но не уверен что такой подход на 100% вам подойдёт

первое издание пиратится спокойно по 3-5 ссылке в гугле Второе издание пока что не нашёл, где спиратить - жду

Надо купить и залить в интернеты.

кекекек

а мне не хочется покупать ?

первое издание пиратится спокойно по 3-5 ссылке в гугле Второе издание пока что не нашёл, где спиратить - жду

Еще не вышло :) Сейчас второе чтение - надо исправить недочёты, найденные ревьюерами.

Еще не вышло :) Сейчас второе чтение - надо исправить недочёты, найденные ревьюерами.

а, вот оно что. Будем ждать ?

а, вот оно что. Будем ждать ?

Надо как Ъ пираты спиратить до выхода!

Надо как Ъ пираты спиратить до выхода!

взломать Антона??

Надо как Ъ пираты спиратить до выхода!

Свое написать?

?

первое издание пиратится спокойно по 3-5 ссылке в гугле Второе издание пока что не нашёл, где спиратить - жду

а зачем ждешь? :)

а зачем ждешь? :)

чтобы спиратить и почитать. Годная книга же

Там кстати Glen Fernandes годные замечания сыпет :)

чтобы спиратить и почитать. Годная книга же

а тьфу, думал Антон пишет ?

В общем один из поиковиков выдаёт ссылку прям на книгу в pdf формате. Там можно прочесть нужную главу с объяснениями. Но не уверен что такой подход на 100% вам подойдёт

Вроде по коду более-менее понятно что происходит. Но у меня несколько другого плана проблема. Есть тьма реализаций разнообразных concurrent queue, но я не видел ни одной, которую можно добавить в poll. Что-то похожее наверняка есть во внутренностях всяких asio и libev, но самостоятельных реализаций я не видел и не очень понимаю почему.

Хотя видел, например, такое: https://github.com/facebook/folly/blob/master/folly/io/async/NotificationQueue.h

Вроде по коду более-менее понятно что происходит. Но у меня несколько другого плана проблема. Есть тьма реализаций разнообразных concurrent queue, но я не видел ни одной, которую можно добавить в poll. Что-то похожее наверняка есть во внутренностях всяких asio и libev, но самостоятельных реализаций я не видел и не очень понимаю почему.

Дорого. std::conditional_variable работает как правило быстрее, чем epoll+что-то ещё

Дорого. std::conditional_variable работает как правило быстрее, чем epoll+что-то ещё

А какая альтернатива если нужно общаться с потоком в котором epoll крутится?

таймеры?

расскажите поподробнее про проблему

постараюсь через пару часов ответить :)

А какая альтернатива если нужно общаться с потоком в котором epoll крутится?

Блокироваться на epoll-е, но сперва заводить таймер. Если из epoll_wait вышли с дескриптором таймера — опрашиваем какой-нибудь blocking_queue на том же СV.

Либо если не хочется таймер — пошарить между потоками дескриптор и из продьюсера при записи чего-нибудь в очередь пробуждать epoll по этом дескриптору.

eventfd например.

Либо если не хочется таймер — пошарить между потоками дескриптор и из продьюсера при записи чего-нибудь в очередь пробуждать epoll по этом дескриптору.

Не хочется так часто будить поток просто так. Да, это как раз через eventfd сейчас и реализовано. Но не хочется и не нужно писать что-то в eventfd на каждое добавление в очередь. В оптимальном случае, когда оба потока достаточно загружены в очереди всегда что-то есть и eventfd вообще не должен использоваться. Как и нормальный семафор, который если не нужно ждать просто одну переменную атомарно меняет и не вызывает системные функции.

Парни, а серваки на gpu есть?

Парни, а серваки на gpu есть?

шта

Ну коннекты обрабатывать гпц

а смысл?

и что ты имеешь в виду под обработкой коннектов? парсинг пакетов?

Не знаю

Ну да

Я просто спросил

CPU с этим справляется вполне хорошо

Ну ок

@arseny Вернее я имел в виду, в чём проблема с eventfd? Мы обработали из epoll-а весь io, и прежде чем уснуть проверили очередь, и только если там пусто, пошли в epoll_wait, затем первый же продьюсер, который обнаружил, что очередь пустая, зафайрил eventfd

Парни, а серваки на gpu есть?

ты имеешь с виду графические станции?

Не, вэб север

Если продьюсеры заполняют очередь со скоростью потребления консьюмером, то мы и спать-то собсна на epoll-е не будем.

У гпу нет доступа до туда.

На этом всё.

Если продьюсеры заполняют очередь со скоростью потребления консьюмером, то мы и спать-то собсна на epoll-е не будем.

И что в этом плохого? Зачем обязательно спать на поллинге?

Можно еще сигнал послать :) Это тоже epoll прервёт.

И что в этом плохого? Зачем обязательно спать на поллинге?

Спать на поллинге — это хорошо. Но вопрос был в том, как лишний раз write не делать в eventfd

ERROR: S client not available

У гпу нет доступа до туда.

Ну можно делать на GPU дешифрацию трафика, например. Но это не нужно и на CPU вполне быстро

Я вот ничего плохого в записи в eventfd не вижу. Один фиг консьюмера КАК-ТО надо разбудить.

Ну можно делать на GPU дешифрацию трафика, например. Но это не нужно и на CPU вполне быстро

тебе просто хочется пообщаться?

Ну можно делать на GPU дешифрацию трафика, например. Но это не нужно и на CPU вполне быстро

Это уже не веб сервак)

Особенно, если epoll в ET режиме.

тебе просто хочется пообщаться?

Нет. Терпеть не могу общаться. Я чёртов социофоб

фаще это оффтоп

Хороший, сознательный гражданин!

Если продьюсеры заполняют очередь со скоростью потребления консьюмером, то мы и спать-то собсна на epoll-е не будем.

Ну так да. Если хочется делать write только тогда когда консьюмер действительно ждет, то получается что-то вроде семафора, но внутри не futex, а eventfd. Меня удивляет, что такой абстракции в библиотеках обычно нет. Более того, если речь идет о крутой mpsc queue, то интуитивно кажется, что защищать ее снаружи семафором (на futex или eventfd) = терять большую часть ее крутости. Эффективнее должно быть как-то встроить eventfd внутрь очереди. Таких очередей тоже как будто нету.

А, стоп, там снаружи локфри mpsc?

Тогда грустно довольно, не уверен, что это вообще принципиально возможно скрестить без потерь с epoll-ом.

расскажите поподробнее про проблему

Опишу еще раз всю ситуацию TLDR Откуда брать mpsc queue, которую можно ждать в epoll или почему таких нигде нету? Есть несколько потоков, в каждом из них крутится epoll. Потокам нужно слать друг другу сообщения. Когда потоку приходит сообщение он должен пробуждаться из epoll-а. Разбудить поток можно разными способами: eventfd, pthread_signal, pipe наконец. Пробуждаться каждые x миллисекунд и проверять очередь так себе вариант. Как именно будить имхо не очень важно, системный вызов и пробуждение потока это уже относительно долго. Но допустим используется eventfd, как будто созданный именно для этого. Для отправки сообщений хочется использовать mpsc queue. При этом ее нужно как-то скрестить с eventfd, чтобы fast path в eventfd не писал вообще. То есть хочется хочет делать write в eventfd только когда consumer действительно спит в epoll. Это можно сделать обернув очередь в семафор внутри которого не futex, а eventfd. Но нигде не видел реализации такого семафора. Более того интуитивно кажется что оборачивать очередь в семафор не оптимально, оптимальней встроить eventfd в саму очередь. Но таких очередей тоже что-то не видно.

у кого-нибудь на работе стояла задача из разряда "Найти дистанцию редактирования между двумя последовательностями" ?

или просто найти расстояние между двумя последовательностями?

Тогда грустно довольно, не уверен, что это вообще принципиально возможно скрестить без потерь с epoll-ом.

lockfree spsc queue я как-то с eventfd скрестил, вроде сносно вышло. Интересно чужие реализации посмотреть, но где они?

у кого-нибудь на работе стояла задача из разряда "Найти дистанцию редактирования между двумя последовательностями" ?

levenshtein?

у кого-нибудь на работе стояла задача из разряда "Найти дистанцию редактирования между двумя последовательностями" ?

Именно по работе?

любой дифф возьми - это оно

или OT

levenshtein?

и он тоже

Именно по работе?

не только прод - домашние задачи тоже считаются

Извраты собеседований, не?

Извраты собеседований, не?

а почему извраты?

Потому что давно всё написано.

не только прод - домашние задачи тоже считаются

Я как-то вот это реализовывал http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.11.3463

классическая задача по ДП, извратиться там можно вопросами "а как уменьшить память?"

Я как-то вот это реализовывал http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.11.3463

Реализация есть? Можешь скинуть?

Потому что давно всё написано.

где это написано?

В гугле, разумеется.

классическая задача по ДП, извратиться там можно вопросами "а как уменьшить память?"

Нет. Там можно сильно ускорить все.

В гугле, разумеется.

а я думал, ты кинешь мне ссылку из стандартной крестовой либы