Кажется, добавить запись в базу - намного более простая задача, чем найти мяч в воротах на фото

Так проблема как раз и найти мяч в воротах

Так проблема как раз и найти мяч в воротах

https://paperswithcode.com/sota/image-classification-on-imagenet

А как у тебя flask_socketio получает вообще сообщения на отправку?

внутри стрима, до попадания в цикл, создается экземпляр класса для подключения к бд и для SDK к дата коллектору

при каждой итерации дата коллектор опрашивается, забирается N последних значений, и отдается по вебсокетам

внутри стрима, до попадания в цикл, создается экземпляр класса для подключения к бд и для SDK к дата коллектору

Дата коллектор - это что?

Дата коллектор - это что?

https://github.com/splunk/splunk-sdk-python

https://paperswithcode.com/sota/image-classification-on-imagenet

Да, я это либу юзаю, но там нету такого датасета мяч в воротах, но можно обучить правда

Оу

короче юзаю splunk python sdk для того чтобы работать с результатами поиска

не совсем дата коллектор, но и оно тоже:)

Да, я это либу юзаю, но там нету такого датасета мяч в воротах, но можно обучить правда

Какую либу?

Так, а как ты гарантируешь, что у тебя два воркера не получат одно и то же сообщение?

Какую либу?

ImageAi

короче юзаю splunk python sdk для того чтобы работать с результатами поиска

Или у тебя выборка по условиям?

ImageAi

Похоже, там керас под капотом

Надо искать датасеты с мячами в воротах и дообучать, либо искать одновременно мяч и ворота

Или у тебя выборка по условиям?

при запуске приложения запускается поток, внутри которого определяется список id задач, + запускается стрим из rethinkdb - когда задача добавляется с фронта, sid падает в список. Для каждого из этих id запускается таска. То есть уже на старте у них разных sid. Даже если поисковый запрос одинаковый. соответственно внутри стрима опрос по sdk идет относительно униикального id, по вебсокетам шлется в уникальный неймспейс (тоже по id)

Надо искать датасеты с мячами в воротах и дообучать, либо искать одновременно мяч и ворота

Так вот, в этом и вопрос, что проще,я все-таки склоняюсь, что лучше сделать новый датасет мяч в воротах

на данный момент совсем не понимаю почему для одной и той же таски, которая по ходу выполнения кода точно должна запуститься только 1 раз, выделяется ForkPoolWorker-1 и ForkPoolWorker-2

Я не понимаю, а зачем тут селери

а для остальных таких же только по одному (воркеру?)

У тебя несколько процессов, которые обслуживают свои таск ид

Я не понимаю, а зачем тут селери

flask_socketio не будет работать с мультипроцессингом

flask_socketio не будет работать с мультипроцессингом

Эээ. В смысле?

У тебя несколько процессов, которые обслуживают свои таск ид

процессы только благодаря celery

Так вот, в этом и вопрос, что проще,я все-таки склоняюсь, что лучше сделать новый датасет мяч в воротах

а ещё нога вратаря в воротах

и другие части других футболистов

Эээ. В смысле?

для того чтобы flask_socketio юзать из-пот Тредов, эти треды в принципе должны быть отравлены гевентом, или гринлетом. То есть родные питонопотоки уже по умолчанию в пролете

собственно gunicorn с гевент воркером нужно запускать, или прописывать манки патчинг

иначе сообщения не шлются

так вот, все это ограничено лишь потоками. Если инкапсулировать функцию в процесс, из нее эмиты так же не будут работать

как в консоль питона выводить одно постоянно обновлюющееся число? когда ставлю библиотеку или обучаю tensorflow - появляется прогрессбар в строке я хочу так же

import tqdm

Ну как минимум, всегда можно через nginx балансировать

так вот, все это ограничено лишь потоками. Если инкапсулировать функцию в процесс, из нее эмиты так же не будут работать

Какие ещё эмиты?

Какие ещё эмиты?

socketio.emit - отправка сообщения по вебсокетам

Ять

У тебя сообщения внутри одного процесса что ли только?

У тебя сообщения внутри одного процесса что ли только?

ну вот да, а я хочу каждый стрим запускать в своем процессе

То есть нельзя запустить 10 фласковых процессов на 2 серверах и ещё 10 сокетио на третьем сервере и отправлять сообщения?

То есть нельзя запустить 10 фласковых процессов на 2 серверах и ещё 10 сокетио на третьем сервере и отправлять сообщения?

звучит пугающе

теоретически возможно все

А что тогда за тема со стримами rethinkdb?

но я не вижу смысла юзать 2 сервера если у меня в одном из 8 ядер юзается только одно на 90%)

но я не вижу смысла юзать 2 сервера если у меня в одном из 8 ядер юзается только одно на 90%)

дак речь не идет про физический сервер

А что тогда за тема со стримами rethinkdb?

а это немного другое. это поток в котором генерируется список изменений в таблице

дак речь не идет про физический сервер

даже виртуалки

но я не вижу смысла юзать 2 сервера если у меня в одном из 8 ядер юзается только одно на 90%)

Ну без разницы же, это два процесса на одном сервере или на разных

у меня вот есть виртуалка с 8 ядрами под это дело

да и даже про виртуалки

и через селери кстати нагрузка таки размазывается

А зачем тут гевент, можно же на асинке и веб, и сокеты

ну естественно

только работает оно как-то не совсем очевидно

Суть в том, что процессы должны быть связаны через какое-то апи

Например, очередь сообщений

Например, очередь сообщений

ну celery + redis юзается

Я просто не знаю что такое стрим rethinkdb, поэтому и думал что это очередь

ну celery + redis юзается

Да не нужен тебе селери

только работает оно как-то не совсем очевидно

возьми вместо целери асинхронный сокетио и запускай пул процессов - воркеров

по идее их сельдерей через редис внутри себя и связывает

Возьми просто очередь сообщегий

возьми вместо целери асинхронный сокетио и запускай пул процессов - воркеров

подскажи плз конкретную библиотеку

попробую от нее уже плясать

Я ж уже вчера говорил python-socketio

умеет в асинхронный режим

ну так flask_socketio тоже работает асинхронно

за счет gevent

за счет gevent

ну у тебя ж именно с ним и проблема да?

там под капотом все тот же python-socketio

я предлагаю взять asyncio

хотя я вообще не уверен что тебе нужна асинхронность, если у тебя каждый клиент запускает стрим.

я предлагаю взять asyncio

Как это позволит ему заюзать несколько ядер?

Как это позволит ему заюзать несколько ядер?

заюзать процесс пул

у gevent действительно проблема с мультипроцессингом из-за агрессивного манкипатчинга

хотя я вообще не уверен что тебе нужна асинхронность, если у тебя каждый клиент запускает стрим.

у меня не клиент их запускает, а сервер, но в зависимости от количества задач существующих в спланке

Так, а сколько у тебя клиентов?

у меня не клиент их запускает, а сервер, но в зависимости от количества задач существующих в спланке

под клиентом я имел ввиду подключение.

Чем мы вообще пытаемся cpu занять?

Рассылкой до клиентов?

Их там тысячи?