без кондишнов это делать как-то очень геморно, с кондишнами решение очевидно

можно на двух мьютексах

гонка будет

можно на двух мьютексах

Дедлок будет

гонка будет

поэтому на двух

можно на двух мьютексах

все примитивы синхронизации можно сделать через мютекс

и как же?

Очередь проще делать на семафорах, а семафоры через кондвар

все примитивы синхронизации можно сделать через мютекс

Через фьютекс

Через фьютекс

по апи это одно и то же. фютекс просто иногда быстрее

по апи это одно и то же. фютекс просто иногда быстрее

Совсем не одно и то же

Очередь проще делать на семафорах, а семафоры через кондвар

это как на семафорах?

Совсем не одно и то же

в чем разница?

в чем разница?

Мьютекс защищает критическую секцию, а фьютекс блокируется и ждет пробуждения

Мьютекс защищает критическую секцию, а фьютекс блокируется и ждет пробуждения

чушь какая-то

Если мьютекс захвачен, его может отпустить только тот же поток, который его захватил

футекс - это fast mutex

Глянь man futex

он сначала делает спин-лок, а если спин лок не срабатывает - уходит в полноценный мютекс

к критической секции это не имеет никакого отношения

На нем можно реализовать мьютекс, да

Кондвар тоже можно, а вот кондвар на мьютексе уже нет

Если мьютекс захвачен, его может отпустить только тот же поток, который его захватил

это не имеет отношения к мютексу, это просто доп апи для надстроек над мютексами

это не имеет отношения к мютексу, это просто доп апи для надстроек над мютексами

Покажешь, как эффективный кондвар через мьютекс сделать?

кондвар делается на мьютексе, но для работы кондвара нужен еще один мьютекс

Кондвар тоже можно, а вот кондвар на мьютексе уже нет

https://stackoverflow.com/questions/11000725/implementation-of-condition-variables

https://stackoverflow.com/questions/11000725/implementation-of-condition-variables

Тут семафор

https://en.wikipedia.org/wiki/Futex

а семафор нельзя сделать через мютекс?

семафор это мютекс и счетчик

Ну покажи, как его через мьютекс сделать

ты серьезно? мне все погуглить за тебя?

Да, погугли, пожалуйста

семафор на одном мьютексе опять же не делается

вот тебе сверху описание того, что такое futex

ну или счетчик атомарный

это спинлок+мютекс

Я не про устройство фьютекса спрашиваю

а впрочем я не знаю

А про то, как сделать семафор только на мьютексах

А про то, как сделать семафор только на мьютексах

2 мьютекса + счетчик.

2 мьютекса + счетчик.

Можно код?

Хотя бы псевдо

захватываешь блокировку, смотришь на значение счетчика, если с ним все ок - меняешься его (вверх или вниз, в зависимости от операции), если уменьшил - смотришь на счетчик ожидающих. Если он не ноль - анлокаешь второй мютекс. Освобождаешь основной мютекс. Если захватить не удалось - увеличиваешь счетчик ожидаюзиз и захватываешь (возможно два раза) второй мютекс и висишь на нем

захватываешь блокировку, смотришь на значение счетчика, если с ним все ок - меняешься его (вверх или вниз, в зависимости от операции), если уменьшил - смотришь на счетчик ожидающих. Если он не ноль - анлокаешь второй мютекс. Освобождаешь основной мютекс. Если захватить не удалось - увеличиваешь счетчик ожидаюзиз и захватываешь (возможно два раза) второй мютекс и висишь на нем

Анлокать мьютекс, который захватил не ты, это UB

Анлокать мьютекс, который захватил не ты, это UB

эээээ? это в каким апи? в питоне и посиксе это совершнно законно

Анлокать мьютекс, который захватил не ты, это UB

это где вообще такое написано?

https://linux.die.net/man/3/pthread_mutex_unlock If a thread attempts to unlock a mutex that it has not locked or a mutex which is unlocked, undefined behavior results.

это какие-то быстрые посиксовые локи - PTHREAD_MUTEX_DEFAULT. Стандартные линуксовые можно и локать два раза и анлокать откуда угодно

вот futex https://eli.thegreenplace.net/2018/basics-of-futexes/

atomic + спинлок + mutex

Это futex, а не mutex

У него семантика другая

И питоновские локи таки сделаны на семафорах https://github.com/python/cpython/blob/d0eeb936d8daf05d7d89f6935e3f4c0dee49c5be/Python/thread_pthread.h#L422

а в чем проблема? графана умеет делать любые запросы в инфлюкс

Разобрался, просто логически прикинул Select с импользование OR и там надо было найти функцию суммы value

Всем привет, кто может подсказать, ставлю тулзу ей нужно подключение к mysql Я установил кучу разных пакетов для этого, но ничто не помогает rpm -qa | grep MySQL MySQL-python-1.2.5-1.el7.x86_64 python2-PyMySQL-0.9.2-2.el7.noarch python27-MySQL-python-1.2.3-11.el7.x86_64 pip list | grep mysql mysql-connector-python 8.0.16 Использую python 2.7 и CentOS 7 Ошибка: https://pastebin.com/mnAjKip0

И питоновские локи таки сделаны на семафорах https://github.com/python/cpython/blob/d0eeb936d8daf05d7d89f6935e3f4c0dee49c5be/Python/thread_pthread.h#L422

еще раз - все примитивы сонхронизации можно сделать на мютексах. Семафоры над ними расширители апи, значит все можно сделать, при желании, и на семафорах. Но мы не обсуждали на чем оно конкретно сделанно - мы обсуждали как его можно сделать. Питоновский кондишенал можно сделать на питоновских мютексах. По поводу футекс - ты говорил, что это совсем не мютекс, у него другое апи. Это совершенно неверно. Вверху ссылка. Футекс имеет то же самое апи что и мютекс (имена функций ессно другие), только иногда он быстрее

Всем привет, кто может подсказать, ставлю тулзу ей нужно подключение к mysql Я установил кучу разных пакетов для этого, но ничто не помогает rpm -qa | grep MySQL MySQL-python-1.2.5-1.el7.x86_64 python2-PyMySQL-0.9.2-2.el7.noarch python27-MySQL-python-1.2.3-11.el7.x86_64 pip list | grep mysql mysql-connector-python 8.0.16 Использую python 2.7 и CentOS 7 Ошибка: https://pastebin.com/mnAjKip0

явно какую-то дичь накатываешь. Вот что от тебя требуется: https://pypi.org/project/mysqlclient/

еще раз - все примитивы сонхронизации можно сделать на мютексах. Семафоры над ними расширители апи, значит все можно сделать, при желании, и на семафорах. Но мы не обсуждали на чем оно конкретно сделанно - мы обсуждали как его можно сделать. Питоновский кондишенал можно сделать на питоновских мютексах. По поводу футекс - ты говорил, что это совсем не мютекс, у него другое апи. Это совершенно неверно. Вверху ссылка. Футекс имеет то же самое апи что и мютекс (имена функций ессно другие), только иногда он быстрее

Если брать классический мьютекс, который, например, в стандартной библиотеке С++, то на нем (эффективный) семафор сделать нельзя. Если питоновский, у которого внутри семафор и который работает медленнее, то можно, да. И wait+wake это по смыслу совсем не то же, что acquire+release

явно какую-то дичь накатываешь. Вот что от тебя требуется: https://pypi.org/project/mysqlclient/

дичь, это ещё мягко сказано) спасибо попробую

Если брать классический мьютекс, который, например, в стандартной библиотеке С++, то на нем (эффективный) семафор сделать нельзя. Если питоновский, у которого внутри семафор и который работает медленнее, то можно, да. И wait+wake это по смыслу совсем не то же, что acquire+release

сори, моя логика кончилась, мы ходим по кругу. "эффективность" ни раз не обсуждалось, это вообще другой и очень сложный вопрос

Эффективностью я тут называю отсутствие бесконечного спинвейта

С ним, конечно, в юзерспейсе все можно сделать

#работа #москва #удаленка Выбрать оптимальный микрокомпьютер и написать на него софт на Python/С Оплата обсуждаема Нужен СТО в команду Kidsy (https://kidsy.tech), который сможет подобрать микрокомпьютер для реализации всех нужных нам функций в игрушке. Потом придумать, как все будет взаимодействовать на уровне софта И написать софт на микрокомпьютер (это может быть софт под Unix ядро или Unix ядро с софтом на уровне ядра или просто Linux скрипты или BareMetal или ещё что-то, нужно обсуждать) Кого заинтресует, здесь более подробное описание: https://docs.google.com/document/d/1gq0MM-VFiRfBGux8qLIJBkGEw6fCWzlW_Z03ZJIJ9ng/edit

Товарищи, направьте пожалуйста на правильный путь. Есть сервис с кучей задач, всё это управляется через cron (сами задачи - management-комманды Django). Чем дальше, тем сложнее и неуклюжей становится система. Понял что нужно делать через Celery, но встал вопрос выбора брокера - по факту выбираю между Reddis и RabbitMQ. Пытаюсь по обзорам понять разницу и выбрать, но уверенности нет. Судя по всему нужно брать RabbitMQ, т.к. возможности намного шире. Но есть опасение что он куда сложнее в настройке. Подскажите, какой вариант потимальный? От чего должен зависеть выбор?

<капитан мод>reddis и rabit довольно сильно отличаются по АПИ. Запише требования к мессежденгу, которые у вас есть и сравните с возможностами обоих </капитан мод>

Различаются по сложности или просто по разному организованы?

на редисе лучше делать очередь заданий, которые можно потом если что перегенерировать

Комрады, а есть какой-то тул для проверки валидности docstring? Что описанные аргументы на самом деле обьвлены у функции например?

на редисе лучше делать очередь заданий, которые можно потом если что перегенерировать

И он проще рэббита? А зачем тогда вообще рэббит? Для каких-о других задач?

в смысле, редис бери если меньше требования к надежности

ок, понял, спасибо

я бы взял реббит

очрееди на редисе - это все таки не очень стандартное применение его

Блин, похоже я с начала не так понял. Т.е. для брокера лучше реббит? Это не будет overkill?

overkill - это если бы кафку взял

были такие мысли поначалу))

выглядит как будто реббит ставить ну очень просто

Блин, похоже я с начала не так понял. Т.е. для брокера лучше реббит? Это не будет overkill?

https://en.wikipedia.org/wiki/Category:Message-oriented_middleware выбирай. хотя это далеко не полный список

не хочешь rabbitmq - можешь посмотреть на crossbar.io (WAMP)

Не, дело не в том, что не хочу

У меня опыта в этом вопросе ровно 0, пытаюсь понять что мне нужно.

в общем, софта такого очень много. просто RabbitMQ(AMQP) долгое время был "решением по умолчанию", хотя сейчас постепенно теряет позиции

из твоих сообщений вообще говоря не очень понятно, какие у тебя критерии выбора

в общем, софта такого очень много. просто RabbitMQ(AMQP) долгое время был "решением по умолчанию", хотя сейчас постепенно теряет позиции

Понял.

из твоих сообщений вообще говоря не очень понятно, какие у тебя критерии выбора

Так в том и проблема, что я не знаю из чего исходить, выбирая брокера.

Так в том и проблема, что я не знаю из чего исходить, выбирая брокера.

хм. а как тогда ты вообще пришёл к мысли о том, что он тебе нужен?

хм. а как тогда ты вообще пришёл к мысли о том, что он тебе нужен?

Понял что Cron не устраивает, т.е. нужен celery, начал читать про celery, везде пишут что нужен брокер. В половине гайдов - рэббит, в половине - редис. И встал вопрос

Вообще, крон - это выполнение по расписание. А брокеры сообщений - это доставка событий

я что-то не очень понял, как ты от крона к сельдерею (не к ночи будь помянут) пришёл?

ты видимо гуглил что то в духе "taskrunner"?

Вообще, крон - это выполнение по расписание. А брокеры сообщений - это доставка событий

Ну да, это я понимаю. Крон я меняю на сельдерей, вопрос что с ним в пару брать.

если ты берёшь сельдерей, то бери редис