но там, скорее всего, так же

в очередь я помещаю запросы приходящие на сервер по http

до сих пор не очень понятно, зачем, но ок

в celery тебе об этом вообще думать не надо

я уж на низком уровне почти все сделал, но celery беру на вооружение для следующих проектов

Спасибо, все за ответы!

зачем celery? это всё можно в одном потоке

зачем celery? это всё можно в одном потоке

он сказал, что у него задача такая. Какая именно - не уточнил

случаев, когда реально надо прокидывать запросы в очередь, я навскидку даже толком не знаю, ну максимум один-два экзотических

да, задача такая как я ее описал, приходят запросы по http, каждый запрос помещается в очередь, которую слушают N количество процессов, и соответвенно обрабатывают эту очередь.

почему бы не обрабатывать это одним потоком?

после обработки каждый процессор кладет результат в выходную очередь, из которой один поток возращает ответ по http.

после обработки каждый процессор кладет результат в выходную очередь, из которой один поток возращает ответ по http.

извини, но это очень хреновая архитектура

оооо,дайте советов, что почитать по архитектуре

почему бы не обрабатывать это одним потоком?

потому что запросов очень, очень много, на обработку каждого запроса уходит по 5 сек.

очень надо )

потому что запросов очень, очень много, на обработку каждого запроса уходит по 5 сек.

тогда тем более решение очень хреновое

ну то есть как

тогда тем более решение очень хреновое

какой может быть ваш вариант?

какой может быть ваш вариант?

ТМО знаешь?)

какой может быть ваш вариант?

нужен быстрый асинхронный фронтенд, который принимает запросы и возвращает клиенту айдишник таски

ТМО знаешь?)

нет :/ но уже жалею об этом

как эти таски обрабатываются на бэкенде - дело десятое, может, и очередь с воркерами

но по окончании обработки таске выставляется статус ready, клиенты ее поллят по айдишнику и забирают результат, когда он готов

как эти таски обрабатываются на бэкенде - дело десятое, может, и очередь с воркерами

уже, но фрон ждет ответ на запрос (в среднем до 1 минуты готов ждать)

уже, но фрон ждет ответ на запрос (в среднем до 1 минуты готов ждать)

ждет в смысле "занимает соединение" или ждет в смысле "поллит урл периодически"?

как эти таски обрабатываются на бэкенде - дело десятое, может, и очередь с воркерами

да, вариант хорош. но мне не позволят так сделать.

или там вебсокеты?

или там вебсокеты?

да, веб сокеты.

да, вариант хорош. но мне не позволят так сделать.

в каком смысле "не позволят"? это ты им объясни, как надо делать

да, веб сокеты.

а, ну тогда, наверное, немного проще должно быть

в каком смысле "не позволят"? это ты им объясни, как надо делать

это уже не по теме :/

ТМО знаешь?)

так что такое ТМО?

теория массового обслуживания )

как раз прям каноничная задача :D

а еще такие штуки хорошо пишутся на го, если минимум бизнес-логики

теория массового обслуживания )

ясно

и там вся эта катавасия с очередями и процессами вообще будет не нужна

а еще такие штуки хорошо пишутся на го, если минимум бизнес-логики

как раз логики много

как раз логики много

на чистом питоне написанной?

ага

уверен, что эту логику нельзя никак ускорить?

ага

звучит хреново

уверен, что эту логику нельзя никак ускорить?

точно нет

точно нет

если на чистом питоне - то точно да

например, сишные либы использовать

только параллелить, единственный путь

О_О

или, если там работа с базой - то максимум вещей на уровне базы делать

например, сишные либы использовать

этого не умею

только параллелить, единственный путь

это утверждение неверно

этого не умею

тогда что ж у тебя там за логика такая?

надо в первую очередь пытаться оптимизировать самое узкое место

это утверждение неверно

корпоративный код, не могу это обсуждать.

если логика медленно работает - надо оптимизировать ее, а не сервер

корпоративный код, не могу это обсуждать.

деталей я у тебя и не прошу :) а технологически пайплайны везде одни и те же

в общем, попробуй concurrent.ProcessPoolExecutor, но что-то мне подсказывает, что ничего тебе это не даст

в общем, попробуй concurrent.ProcessPoolExecutor, но что-то мне подсказывает, что ничего тебе это не даст

Сапсибо, буду пробывать!

Очень странный диалог, нахрена делать свой целери?

Ну ладно, наслаждайтесь, я просто мимокрокодил

Очень странный диалог, нахрена делать свой целери?

человек уверен, что отца русской демократии спасет только пул процессов

но если учесть, что это http-сервер, то вся затея выглядит довольно сомнительно

а почему вы так пул процессов хейтите?)

почему так плохо это решение то?

почему так плохо это решение то?

так это не решение

а селлери решение?

почему так плохо это решение то?

Потому что ты вместо готового решения сделанного ну вот прям под таск пишешь свою хрень из говна и палок

у него сейчас питонокод исполняется для каждого запроса пять минут, теперь он его выкинет в соседний процесс, но он там все равно будет исполняться пять минут

а клиент будет висеть и ждать ответа на сокете

ERROR: S client not available

Потому что ты вместо готового решения сделанного ну вот прям под таск пишешь свою хрень из говна и палок

это стандартная либа, там 3 строчки кода

5с же, не?

и проблема была в очередях, т.к. одни процесс был

то есть, по сути, ничего не изменится. Если он таким способом хочет обойти GIL - то ок, но тогда сразу же логичный вопрос, что это за наркоманская логика такая, которую написали на чистом питоне и она работает пять минут

или каждый понял что хотел?)

это стандартная либа, там 3 строчки кода

Да я что, против что ли?

Наслаждайтесь, я бы взял целери

то есть, по сути, ничего не изменится. Если он таким способом хочет обойти GIL - то ок, но тогда сразу же логичный вопрос, что это за наркоманская логика такая, которую написали на чистом питоне и она работает пять минут

хочу смеяться 5 минут

и проблема была в очередях, т.к. одни процесс был

проблема, имхо, в том, что логика пять минут работает на запрос

то есть, по сути, ничего не изменится. Если он таким способом хочет обойти GIL - то ок, но тогда сразу же логичный вопрос, что это за наркоманская логика такая, которую написали на чистом питоне и она работает пять минут

ну некому на си писать если

если бы это конвертация видео была или что-то такое - я бы понял, но он говорит, она на чистом питоне...

ну некому на си писать если

так причем тут си, есть же куча питоновых оберток для сишных либ, которые отпускают gil

5 сек запрос

ну логику мы все равно не узнаем

5 сек запрос

долго, надо логику улучшать

если нагрузка большая такая, что понадобилось масштабировать - то любое улучшение производительности этой логики кардинально поможет улучшить картину

Впорос про web сокеты, если он открыт и работает, то невозожно одновременно посылать в него сообщение от клиента к серверу и от сервера к клиенты, так?

почему?

и что значит "одновременно"?

т.е. веб-сокет работает в симплексном режим?

и что значит "одновременно"?

в один и тот же момент времени, это очевидно!

типа и сервер и клиент в течении нескольких едениц времени пишут туда большой файл?

допустим да

сокет это провод, по нему сигналы могут идти в обе стороны, но не одновременно.

не претендую на истину в последней инстанции, но, кажется, сам процесс возможен, только результат придет по очереди

а стриминг, кажется, не поддерживается

https://github.com/maxogden/websocket-stream

во

не знаю, что там в кишках, но пишут, что сделали дуплексный стриминг

подозреваю, что все-равно шлют данные пачками

В питоне из коробке как сделано ?

в питоне из коробки вебсокетов нет вообще