@ProCxx - страница 1877 - Telegram web archive

Fedir

😂

Vlad

Всем привет Есть некоторый пул потоков, реализованный на основе вектора из thread Есть некоторая очередь с задачами Взаимодействие между ними налажено, всё более-менее работает На текущий момент поток ждёт notify_one, после чего хватает очередь, блокирует её, берёт задачу и разблокирует для дальшейших потоков, которые так же в состоянии ожидания Стоит задача: Нужно модернизировать систему так, чтобы число потоков было ограниченным (допустим, сделаю 4 потока, по ядру на каждый) и сделать балансировку задач, которые лежат в очереди, между потоками Мысли: Разделить количество задач между потоками (допустим, есть 12 задач, на каждый поток будет отводится по 3, соответственно). Для этого нужно либо завести на каждый поток свою очередь, куда закинуть задачи только для данного потока, либо как-то ещё. Отчего-то эта идея кажется плохой, но в голову другой не идёт. Помогите, пожалуйста, как это лучше спланировать. Вопрос: Как лучше поступить?

Fedir

concurent queue реализуй

Fedir

Когда один из потоков выполнил задачу, то сразу выхватывает следующую из очереди

Ostap ꑭ

Всем привет Есть некоторый пул потоков, реализованный на основе вектора из thread Есть некоторая очередь с задачами Взаимодействие между ними налажено, всё более-менее работает На текущий момент поток ждёт notify_one, после чего хватает очередь, блокирует её, берёт задачу и разблокирует для дальшейших потоков, которые так же в состоянии ожидания Стоит задача: Нужно модернизировать систему так, чтобы число потоков было ограниченным (допустим, сделаю 4 потока, по ядру на каждый) и сделать балансировку задач, которые лежат в очереди, между потоками Мысли: Разделить количество задач между потоками (допустим, есть 12 задач, на каждый поток будет отводится по 3, соответственно). Для этого нужно либо завести на каждый поток свою очередь, куда закинуть задачи только для данного потока, либо как-то ещё. Отчего-то эта идея кажется плохой, но в голову другой не идёт. Помогите, пожалуйста, как это лучше спланировать. Вопрос: Как лучше поступить?

https://github.com/cameron314/concurrentqueue

Ostap ꑭ

Вместо тысячи слов

Fedir

таки да

Vlad

Открыл заголовочник, стало страшно Я буду честен, хотя тут таких не любят - это задание, которое будет проверять преподаватель Система уже готова, нужно только в неё внести правки Т.е. реализовывать что-то с нуля - нет времени, хотя сейчас понимаю, что так было бы лучше Если вам не сложно, подскажите, пожалуйста, в какую сторону решения копать Если вдруг кто-то с таким сталкивался

Ostap ꑭ

Открыл заголовочник, стало страшно Я буду честен, хотя тут таких не любят - это задание, которое будет проверять преподаватель Система уже готова, нужно только в неё внести правки Т.е. реализовывать что-то с нуля - нет времени, хотя сейчас понимаю, что так было бы лучше Если вам не сложно, подскажите, пожалуйста, в какую сторону решения копать Если вдруг кто-то с таким сталкивался

https://github.com/progschj/ThreadPool здесь просто идеальный код, смотри как работает конд_вар

Chebyrash

https://github.com/progschj/ThreadPool здесь просто идеальный код, смотри как работает конд_вар

Я правильно понимаю, что треды в С++ работают параллельно?

Ostap ꑭ

Как запрограммируешь

Ostap ꑭ

Но такого, как ГИЛ в питоне нету

Vlad

У меня реализация по этому же примеру, по нему делал свой пул. Переменные состояния тоже заюзал, т.е. поток, что ожидает - получает уведомление, что можно брать задачу, если ссылается на очередь (а на очередь этот сукин сын точно ссылается) Получается, нагрузка у меня и так балансируется?

Vlad

Чего же тогда преподу не понравилось)

Ostap ꑭ

Потому-что, очевидно, что большинство считает, что эффективно - это когда равное количество задач на каждый поток

Ostap ꑭ

Но это заблуждение

Ostap ꑭ

Как только поток освобождается - он захватывает новую задачу

Vlad

Я очень надеюсь завтра (ух ты ж ё, уже сегодня) ему это доказать. Спасибо, допилю пока отчёт, разжую все моменты.

Ostap ꑭ

Чтобы доказать, сделай элементарную функцию с числами Фибоначчи

Ostap ꑭ

И сделай замеры по времени

Ostap ꑭ

Нагружая очередь

Vlad

У меня умножение матрицы на матрицу, по блокам разбивал. Но на фибоначчи - да, проще будет. Так и сделаю.

Constantine

https://github.com/progschj/ThreadPool здесь просто идеальный код, смотри как работает конд_вар

а если task() исключение бросит?)

Vlad

У меня обработка в очереди стоит на это дело. Тут в коде всё прозрачно, но само собой это только пул. Очередь отдельно пилил.

Ostap ꑭ

а если task() исключение бросит?)

Передать исключение в другой поток через move(), что мешает

Constantine

Передать исключение в другой поток через move(), что мешает

Я криво читаю, уже понял, там таска оборачивается

Constantine

Передать исключение в другой поток через move(), что мешает

Еще мне не нравится, что вот здесь не перемещение, но вроде-как-не-сломается https://github.com/progschj/ThreadPool/blob/master/ThreadPool.h#L80

Ostap ꑭ

Еще мне не нравится, что вот здесь не перемещение, но вроде-как-не-сломается https://github.com/progschj/ThreadPool/blob/master/ThreadPool.h#L80

Энивей, мы можем грамотно обработать исключение

Constantine

Там конкретно не нравится, что по сути лишний shared_ptr остается в enqueue

blow

Ну что, спокойной ночи

Constantine

Там конкретно не нравится, что по сути лишний shared_ptr остается в enqueue

Это делает возможным очень странные случаи, когда enqueue оказывается последним владельцем для std::packaged_task

Stanislav

хм, господа, такой вопрос

Stanislav

а кто нибудь gitlab ci плотно юзает?

Stanislav

вопрос вот в чем, я его юзал и это было ок, но там были разные проекты и каждый под свою ос собирался, и тут задумался как единиым .gitlab-ci.yml собирать проект под винду и линукс