Каким образом не используя сторонних библиотек() можно запустить функцию как бекграунд таску?

трединг, мультипроцессинг

а через async это никак?

asyncio.create_task()

async def worker_queue(): while True: print(que.get()) time.sleep(1) loop = asyncio.new_event_loop() loop.create_task(worker_queue()) Если я так делаю, то функция даже не исполняется, а если добавить loop.run_forever() то на этом тред блокируется

у тебя должен быть основной поток, который исполняется. и в этом потоке ты можешь сделать create_task

А можно как-нибудь сделать запуск но такой чтобы он не блокировал текущий тред?

как ты себе это представляешь? чтобы так работало, надо или чтоб ивентлуп был в отдельном треде, или чтоб весь код был асинъронным (с asyncio.sleep вместо time.sleep)

В примере выше я так и сделал

async def worker_queue(): while True: print(que.get()) time.sleep(1) loop = asyncio.new_event_loop() loop.create_task(worker_queue()) Если я так делаю, то функция даже не исполняется, а если добавить loop.run_forever() то на этом тред блокируется

async def worker_queue(): while True: print(que.get()) time.sleep(1) loop = asyncio.new_event_loop() loop.create_task(worker_queue()) Если я так делаю, то функция даже не исполняется, а если добавить loop.run_forever() то на этом тред блокируется

Почему бы не складировать свои задачки куда-то отдельно от очереди, и как только их там станет 10 - посылать их в очередь все в виде одного сообщения

ну сделай вотчдог, который смотрит в очередь и на таймер

а как быть если у тебя несколько воркеров?

Raft прикрути

вот смотрю на картинку рафта. А оно будет работать когда половина воркеров упадет?

и да, у меня воркеры в разных ДЦ, между ними связи нет кроме как через очередь и БД

но там еще такая тема, если проходит больше 3хсек после захода каждой из задачи - тоже отправлять независимо орт размера батча

да мне в целом не нужно синхронизировать воркеров. Просто желательно батчи иметь, а не по одной записи таскать

Задачки складируешь в базу, а в очередь раз в 3 секунды кидаешь месадж. Воркер ловит месадж и выгребает из базы все задачки, старше 3-ёх секунд и начинает выполнять их. Без распределённых локов конечно не получится, т.к. надо предотвратить возможность параллельной обработки одних и тех же задачек в разных воркерах.

да мне в целом не нужно синхронизировать воркеров. Просто желательно батчи иметь, а не по одной записи таскать

Задачки складируешь в базу, а в очередь раз в 3 секунды кидаешь месадж. Воркер ловит месадж и выгребает из базы все задачки, старше 3-ёх секунд и начинает выполнять их. Без распределённых локов конечно не получится, т.к. надо предотвратить возможность параллельной обработки одних и тех же задачек в разных воркерах.

а в очередь нет возможности кидать сразу батч?

jinja сама по себе хорошо работает

а в очередь нет возможности кидать сразу батч?

Ну он же может собираться долго или разными сервисами, из разных источников

долго точно нет, раз в 3 сек будет отправляться независимо от наполнености батча

dataclass_factory от @Tishka17 — быстрая и простая в использовании библиотека для сериализации и десериализации объектов. Не требует конфигурирования при работе с датаклассами, а для более сложных случаев есть гибко настраиваемые схемы и пользовательские хуки на разных этапах обработки данных. Лицензия: Apache License 2.0 Репозиторий: https://github.com/tishka17/dataclass_factory PyPI: pip install dataclass-factory

Кем отправляться?

всмысле воркер будет загребать батч раз в 3 сек либо же когда в батче будет 10 задач)

Тебе же сказали, что воркер не один

ну значит лочить нужно =\

Питон учить лучше или ноду?

долго точно нет, раз в 3 сек будет отправляться независимо от наполнености батча

Питон учить лучше или ноду?

Питон учить лучше или ноду?

asm

asmr

Под надёжностью очереди я имел ввиду, что она не просрёт задачу если воркер неожиданно упадёт, и "засунет" эту задачу в другой живой воркер Не знаю как с этим дела в очередях на базе Redis

а шина какая?

SQS

А кто работал или работает с jinja где можно посмотреть примеры схем с квадратиками там и тд А не примеры генирации конфигов и страниц :)

С какими квадратиками?

зачем тебе схема?

если очень по простому, отобразить замену двух свичей одним и порты показать какие куда

Джинджа просто хтмл рисует из твоих данных