а почему один стрим не может опрашивать несколько поисков?

придется писать сложную логику в стриме, и не факт что это оптимизирует нагрузку

и второй вопрос - почему вообще надо несколько стримов для опроса? Почему нельзя из одного опрашивать все поиски?

придется писать сложную логику в стриме, и не факт что это оптимизирует нагрузку

в смысле логику?

откуда там логика, ты же просто результат получаешь

или ты что-то ещё с ним делаешь?

го в личку?

я думаю алексу тоже интересно

можем сообразить на троих

ахахха

Так ты что-то ещё считашеь что ли после получения из спланка?

Так ты что-то ещё считашеь что ли после получения из спланка?

понимаешь в чем дело, теоретически вопрос хороший. я могу передавать в один стрим список ID спланковских задач, и будет только одна запущенная функция watch_events() (стрим), внутри которого будет отправка сразу многих socketio сообщений в разные неймспейсы. но зачем это делать, если достаточно просто для каждого существующего id задачи запускать стрим в процессе. другой вопрос что это ломает сокетио

а если запускать таску в celery то не ломает

да забудь про celery. Он расчитан на такски, а у тебя не таск, а процесс долгоживущий

понимаешь в чем дело, теоретически вопрос хороший. я могу передавать в один стрим список ID спланковских задач, и будет только одна запущенная функция watch_events() (стрим), внутри которого будет отправка сразу многих socketio сообщений в разные неймспейсы. но зачем это делать, если достаточно просто для каждого существующего id задачи запускать стрим в процессе. другой вопрос что это ломает сокетио

так, давай вернемся. А почему это ломает socketio? Вот ты запустил несколько socketio процессов. Перед ними nginx. Клиент подключился к какому-то и сказал какой таск он слушает, ты запустил стрим и обслуживаешь его

а остальные процессы не в курсе ничгео об этом таске

так, давай вернемся. А почему это ломает socketio? Вот ты запустил несколько socketio процессов. Перед ними nginx. Клиент подключился к какому-то и сказал какой таск он слушает, ты запустил стрим и обслуживаешь его

все верно, давай тогда определим такую вещь. На данный момент в __init__.py сокетио иницилизизируется вот так: socketio = SocketIO(app) Как я понимаю, в принципе мою задачу можно решить, инициализируя его внутри моей функции watch_events()

все верно, давай тогда определим такую вещь. На данный момент в __init__.py сокетио иницилизизируется вот так: socketio = SocketIO(app) Как я понимаю, в принципе мою задачу можно решить, инициализируя его внутри моей функции watch_events()

да пусть так и инициализируется

то есть вместо app должен быть другой оъект

нет

просто запусти несколько копий на разных портах и через nginx балансируй

просто запусти несколько копий на разных портах и через nginx балансируй

тогда речь уже идет об использовании микросервисов же

это не микросервисы, это масштабирование =)

микросервисы про другое

несколько копий процесса - это не микросервисы. =)

хм

как-то дрочно все это на самом деле

по логике должен быть мультипроцессинг

он прямо ложится на логику

но зараза вебсокеты подкидывают собаку

Я все ещё не вижу собаку

видимо тут не попробуешь не увидишь

flask_socketio просто берешь, поднимаешь сначала в обычном фласке, затем суешь отправку сообщения в некий модуль с функцией, под которую выделяется полток - и оказывается, что без gevent или greenlet работать не будет вообще

а из multiprocessing.Process уже сам gevent и greenlet не работает

итого процесс то сам запустится, принты отпринтятся, действия выполнятся, а сообщения по socketio не отправятся, как будто их и не было

я с этой ебалайкой полгода назад возился месяц не меньше, и сейчас уже почти неделю

почему zip data.zip /content/data/ создает врхив с пустыми папками content и data? там около 2гб данных во вложенных файлах должно быть

итого процесс то сам запустится, принты отпринтятся, действия выполнятся, а сообщения по socketio не отправятся, как будто их и не было

Почему не запустятся? У тебя разные коннекты от клиента приедут на разные сервера. И каждый пусть отсылает что хочет

Или ты хочешь один Коннект с клиентом и много стримов?

Почему не запустятся? У тебя разные коннекты от клиента приедут на разные сервера. И каждый пусть отсылает что хочет

не запустится потому что gevent не будет работать с процессом, и задача на отправку сообщения с точки зрения синтаксиса ошибку не выдаст, но работать не будет. просто будет делать ничего.

при этом если создавать не в процессе а в треде - все работает

Блин, просто две абсолютно одинаковые копии процесса отдельно запустить

Не из кода

Просто отдельно

И каждый пусть держит Коннект с какими-то клиентом

Блин, просто две абсолютно одинаковые копии процесса отдельно запустить

тогда работать будет, но я считаю что это какой-то костыль. да и что будет отвечать за запуск этих процессов, ведь количество Клиентов будет все время разным

от 0 до 30 например

И под каждый Коннект с клиентом - стрим

Никто. Число процессов по числу ядер

Фиксированное

А внутри каждого уже твой гевент

а что будет раскидывать "стримы" по этим процессам?

а что будет раскидывать "стримы" по этим процессам?

nginx

Клиент лезет с указанием стрима и попадает на какой-то сервер.

А там при коннекте клиента стрим и запускается

Но если у тебя будут сотни клиентов, это все выглядит все ещё стрёмно

тишка

Потому что ты так и не объяснил, почему поллинг у тебя жрет так многл

тогда еще уточню, на фронте используется Vue.js с клиент-сайд рендерингом. Положим что страница открыта в браузере у одного клиента. На странице дашборд с 13 окошками - каждое из них это экземпляр компонента vue.js в котором открывается socketio.on (сокетио сервер, который ловит сообщения)

вопрос

это сколько клиентов?)

1 или 13?)

не думаю что в данном случае нджинкс что-то поймет

у него есть location для сокетио, и все

ну и число 13 здесь условное, их может быть 0 а может быть 20

и эту страницу одновременно может так-то открыть несколько человек

ERROR: S client not available

1 или 13?)

13

и эту страницу одновременно может так-то открыть несколько человек

Много?

Много?

допустим раз 10

Ну ещё вариант - разделить поллинг спланка (раз он медленный) и отправку клиенту

Но имхо, надо чтобы поллинг больше одного таска брал

Ну ещё вариант - разделить поллинг спланка (раз он медленный) и отправку клиенту

так что пришли к варианту нескольких инстансов фласка?

так что пришли к варианту нескольких инстансов фласка?

да вроде

правда я так и не понял что у него CPU ест

я правда немного не понимаю зачем там фласк ко всему этому ну да ладно

как мне в typing указать что параметр - датакласс?

ну у него же есть тип

какой?

такой, который у него есть

не

у меня функция сейчас имеет вид def some(class_: Type): f = dataclass.fields(class_) ...

https://stackoverflow.com/questions/54668000/type-hint-for-an-instance-of-a-non-specific-dataclass чекни, не оно?

вот надо не Type а именно что датакалсс

https://stackoverflow.com/questions/54668000/type-hint-for-an-instance-of-a-non-specific-dataclass чекни, не оно?

хм. typing_extensions

ну понятно, протокол

ладно, тогда пофиг

ееее

PEP 544 приняли!

я не сильно шарю, что там нового?

тишкаааа

я не сильно шарю, что там нового?

https://www.python.org/dev/peps/pep-0544/

https://www.python.org/dev/peps/pep-0544/

та я хотел summary)) читаю уже

тишкаааа

чо?

чо?

пивееет☺️

#вакансия #работа #офис #Питер #СПб #fulltime #python Всем привет! Разбавлю обсуждение интересной вакансией: Ищу кандидата на позицию Senior python dev (так же подойдет сильный Middle) Это международная продуктовая компания "Quest Software" из Калифорнии. В компании очень высокий уровень разработки. Работать предстоит над облачным SaaS сервисом бэкапа и восстановления данных: это новый проект, ему 2-3 года. Кстати, они очень плотно работают с Microsoft и получают новинки раньше других. Требования: -Опыт разработки веб-приложений не менее 6 лет; -Уверенные знания Python -Опыт администрирования Linux -Разговорный и письменный английский (средний или более высокий уровень) -Знание виртуализации и контейнеризации (Docker, Kubernetes) -Amazon Web Services/Azure/Google cloud services experience -Асинхронное программирование Asune, Asuncio, aiohttp и другие -Опыт работы с базами данных NoSQL (Cassandra, Redis, MongoDB) и связанными с ними технологиями Предлагаем: -Официальное оформление. Полностью “белая” з/п + есть годовая премия в размере 8% от годового дохода. -Зарплатная вилка 145 000 – 195 000 -Отпуск 36 дней. -Кабинетная система, тихая уютная, без шумных опенспейсов. При этом есть общая зона, где можно пообщаться, кухня. Если есть вопросы по вакансии, да и не только, пишите в личку

#вакансия #работа #офис #Питер #СПб #fulltime #python Всем привет! Разбавлю обсуждение интересной вакансией: Ищу кандидата на позицию Senior python dev (так же подойдет сильный Middle) Это международная продуктовая компания "Quest Software" из Калифорнии. В компании очень высокий уровень разработки. Работать предстоит над облачным SaaS сервисом бэкапа и восстановления данных: это новый проект, ему 2-3 года. Кстати, они очень плотно работают с Microsoft и получают новинки раньше других. Требования: -Опыт разработки веб-приложений не менее 6 лет; -Уверенные знания Python -Опыт администрирования Linux -Разговорный и письменный английский (средний или более высокий уровень) -Знание виртуализации и контейнеризации (Docker, Kubernetes) -Amazon Web Services/Azure/Google cloud services experience -Асинхронное программирование Asune, Asuncio, aiohttp и другие -Опыт работы с базами данных NoSQL (Cassandra, Redis, MongoDB) и связанными с ними технологиями Предлагаем: -Официальное оформление. Полностью “белая” з/п + есть годовая премия в размере 8% от годового дохода. -Зарплатная вилка 145 000 – 195 000 -Отпуск 36 дней. -Кабинетная система, тихая уютная, без шумных опенспейсов. При этом есть общая зона, где можно пообщаться, кухня. Если есть вопросы по вакансии, да и не только, пишите в личку

>более 6 лет опыта Такие монстры существуют в природе? Мне кажется после 6 лет уже не будешь код писать. Ну или мне кажется.

>более 6 лет опыта Такие монстры существуют в природе? Мне кажется после 6 лет уже не будешь код писать. Ну или мне кажется.

Встречаются. И не такие уж они и монстры)