Andrey T.
Господа, подскажите плиз. Задача общего буфера данных для асинхронных потоков, + некой очереди, чтобы избежать ситуации одновременной записи/чтения. Есть же библиотеки, типовые решения?
Andrey T.
В какую сторону покопать?
Tishka17
асинхронные потоки - это что?
Ольгерд
Может проще selectors
Richard
asyncio
Может корутины в горутинах?
Richard
чего
Асину блоки в тредах
Oleg
https://docs.python.org/3/library/asyncio-queue.html вероятно
судя по чтобы избежать ситуации одновременной записи/чтения ему асинхронные локи нужны
Tishka17
ну и да, что за ситуации такие в асинке
Oleg
хз, он просил очередь
думаю он сам до конца не понимает что ему нужно
Andrey T.
хз, он просил очередь
Я предполагаю, что должна быть очередь. Или что-то ещё.
Tishka17
Я предполагаю, что должна быть очередь. Или что-то ещё.
давай задачу целиком. Что есть, что за проблему путаешься решить
Richard
ну и да, что за ситуации такие в асинке
В asyncio loop'a однапоточная же?
Andrey T.
думаю он сам до конца не понимает что ему нужно
Главное - я не понимаю как. Вот ищу решения
Richard
https://t.me/ru_python/1032874 тогда как это связано?
Oleg
Главное - я не понимаю как. Вот ищу решения
пока не расскажешь какую именно проблему ты решаешь мы тебе не сможем предложить решение
Andrey T.
да
Вероятно в будущем мне потребуются несколько ивент лупов, а это уже гемор
Oleg
напиши просто что ты пытаешься сделать
Richard
напиши просто что ты пытаешься сделать
Похоже на ассинхроный многопоточный серв/парсер
Andrey T.
пока не расскажешь какую именно проблему ты решаешь мы тебе не сможем предложить решение
Есть множество процессов, которые живут своей жизнью, выполняют свои задачи. Есть общий буфер данных, из которого они получают инфу, так же добавляют, изменяют. Нужно чтобы это всё работало стабильно и без ошибок.
Oleg
Похоже на ассинхроный многопоточный серв/парсер
с чего ты взял про многопоточность?
Richard
с чего ты взял про многопоточность?
Несколько луп , можно тока в потоках/форках , но не в рамках программы
Andrey T.
Тебе нужны общие данные между процессами?
Между потоками хотя бы. Нужна скорость
Oleg
Между потоками хотя бы. Нужна скорость
а что будет в этих потоках?
Oleg
как бы потоки и процессы это немного разные вещи
Richard
Потому ищу простое решение)
Самое простое, не блок - генераторы
Oleg
и соответственно решения тоже разные будут
Andrey T.
Всё что угодно, часть дёргают данные, часть - обрабатывают, выводят и т.д.
Oleg
Всё что угодно, часть дёргают данные, часть - обрабатывают, выводят и т.д.
обработка данных, если это cpu-bound задачи не очень хорошо ложится в thread'ы
Andrey T.
как бы потоки и процессы это немного разные вещи
Процессы я имел ввиду "воркеров", корутины, и т.д.
Oleg
во всяком случае в python'е
Oleg
Процессы я имел ввиду "воркеров", корутины, и т.д.
фак, ты все в кашу смешал треды, процессы, корутины
Oleg
выражайся, плз, яснее
Andrey T.
фак, ты все в кашу смешал треды, процессы, корутины
Потому что не знаю, что лучше подойдёт. Пока асинхронные потоки рабочий вариант. Потом может и процессы будут
Oleg
я правильно понял, что у тебя есть однопоточное приложение с asyncio loop'ом внутри?
Oleg
что ты имеешь в виду под этим?
Andrey T.
async def
Oleg
это не поток
Oleg
это корутина
Andrey T.
Ок
Oleg
у тебя есть однопоточная программа с asyncio-лупом?
Andrey T.
Нет
Tishka17
Есть множество процессов, которые живут своей жизнью, выполняют свои задачи. Есть общий буфер данных, из которого они получают инфу, так же добавляют, изменяют. Нужно чтобы это всё работало стабильно и без ошибок.
1. Что делают процессы? 2. Как ты уже сделал буфер данных? 3. А что если процессы будут на разных серверах? 4. Какого рода операции с буфером? Сколько их и какого объема данные? 5. Поему ты решил что asyncio тебе поможет?
Oleg
Процессы я имел ввиду "воркеров", корутины, и т.д.
Oleg
@Tishka17 у вас разное понимание процессов )
Tishka17
вообще уже есть код какой-то?
Tishka17
@Tishka17 у вас разное понимание процессов )
видимо речь о процессах обработки, а не процессах ОС
Oleg
видимо речь о процессах обработки, а не процессах ОС
остается только догадываться, т.к. сам он внятно не может ничего ответить
Andrey T.
вообще уже есть код какой-то?
Есть наброски, но они бесполезны. Пока не пойму как решить проблему одновременного доступа к данным, что и как писать не знаю
Tishka17
2 вопрос отпадает тогда
Ruslan
камрады, кто asyncapi спецификации писал? как там описать NATS: request-reply шаблон?
Andrey T.
1. Что делают процессы? 2. Как ты уже сделал буфер данных? 3. А что если процессы будут на разных серверах? 4. Какого рода операции с буфером? Сколько их и какого объема данные? 5. Поему ты решил что asyncio тебе поможет?
1. Получают инфу извне(например, веб, сокеты), так же добавляют, изменяют. 2. - 3. Тогда вероятно сокеты. Но пока речь не идёт об этом. Нужна скорость. 4. Пока до 1к операций в сек, длина от 10б до 10кб. 5. Хз)
Tishka17
3. то есть ты пока не знаешь, хватит тебе одного сервера или нет? Ты уврене вообще что тебе нужен "общий буфер" между ними? 4. КАКИЕ операции?
Tishka17
например, "поиск Списка людей по ФИО или возрасту" или "обновление данных одного продукта" или "добалвение данных". Надо понять какие варианты бывают
Tishka17
1к в секунду - это много. Ты уверен что будет столько?
Andrey T.
1к в секунду - это много. Ты уверен что будет столько?
С запасом взял. Ну десятки точно, до 100.
Andrey T.
В общем, хватит.
Tishka17
ну если десятки - в чем проблема просто взять любую БД?
Andrey T.
ну если десятки - в чем проблема просто взять любую БД?
Как резервный вариант - да. Пока ищу способы проще и быстрее.
Tishka17
в смысле "резервный"?
Tishka17
в смысле "прощше"?
Tishka17
ещё раз: КАКИЕ операции будут?
Tishka17
ты не ответил на самый главный вопрос
Andrey T.
Например, читаем весь буфер, читаем значения temp, выбираем наибольшее, передаём на вывод
Tishka17
так, стоп.
Andrey T.
Из разных источников дёргаем значения temp и пишем в разные части буфера