День добрый, возникла необходимость сгенирировать много однотипных схем и предложили сделать это с помощью jinja2. Стал разбираться, но что-то не пойму, для того чтобы все нормально рисовалось надо еще веб фреймворт ставить в комплект или только либы jinja хватит. Подскажите пожалуйста, а никогда с этим не сталкивался.

День добрый, возникла необходимость сгенирировать много однотипных схем и предложили сделать это с помощью jinja2. Стал разбираться, но что-то не пойму, для того чтобы все нормально рисовалось надо еще веб фреймворт ставить в комплект или только либы jinja хватит. Подскажите пожалуйста, а никогда с этим не сталкивался.

Как подключить во Flask другие файлы содержащие функции с роутами?

только через blueprint можно ?

не работает

и как надо запустить?

Каким образом не используя сторонних библиотек() можно запустить функцию как бекграунд таску?

трединг, мультипроцессинг

а через async это никак?

asyncio.create_task()

async def worker_queue(): while True: print(que.get()) time.sleep(1) loop = asyncio.new_event_loop() loop.create_task(worker_queue()) Если я так делаю, то функция даже не исполняется, а если добавить loop.run_forever() то на этом тред блокируется

у тебя должен быть основной поток, который исполняется. и в этом потоке ты можешь сделать create_task

А можно как-нибудь сделать запуск но такой чтобы он не блокировал текущий тред?

как ты себе это представляешь? чтобы так работало, надо или чтоб ивентлуп был в отдельном треде, или чтоб весь код был асинъронным (с asyncio.sleep вместо time.sleep)

В примере выше я так и сделал

async def worker_queue(): while True: print(que.get()) time.sleep(1) loop = asyncio.new_event_loop() loop.create_task(worker_queue()) Если я так делаю, то функция даже не исполняется, а если добавить loop.run_forever() то на этом тред блокируется

async def worker_queue(): while True: print(que.get()) time.sleep(1) loop = asyncio.new_event_loop() loop.create_task(worker_queue()) Если я так делаю, то функция даже не исполняется, а если добавить loop.run_forever() то на этом тред блокируется

Почему бы не складировать свои задачки куда-то отдельно от очереди, и как только их там станет 10 - посылать их в очередь все в виде одного сообщения

ну сделай вотчдог, который смотрит в очередь и на таймер

а как быть если у тебя несколько воркеров?

Raft прикрути

вот смотрю на картинку рафта. А оно будет работать когда половина воркеров упадет?

и да, у меня воркеры в разных ДЦ, между ними связи нет кроме как через очередь и БД

но там еще такая тема, если проходит больше 3хсек после захода каждой из задачи - тоже отправлять независимо орт размера батча

да мне в целом не нужно синхронизировать воркеров. Просто желательно батчи иметь, а не по одной записи таскать

Задачки складируешь в базу, а в очередь раз в 3 секунды кидаешь месадж. Воркер ловит месадж и выгребает из базы все задачки, старше 3-ёх секунд и начинает выполнять их. Без распределённых локов конечно не получится, т.к. надо предотвратить возможность параллельной обработки одних и тех же задачек в разных воркерах.

да мне в целом не нужно синхронизировать воркеров. Просто желательно батчи иметь, а не по одной записи таскать

Задачки складируешь в базу, а в очередь раз в 3 секунды кидаешь месадж. Воркер ловит месадж и выгребает из базы все задачки, старше 3-ёх секунд и начинает выполнять их. Без распределённых локов конечно не получится, т.к. надо предотвратить возможность параллельной обработки одних и тех же задачек в разных воркерах.

а в очередь нет возможности кидать сразу батч?

jinja сама по себе хорошо работает

а в очередь нет возможности кидать сразу батч?

Ну он же может собираться долго или разными сервисами, из разных источников

долго точно нет, раз в 3 сек будет отправляться независимо от наполнености батча

dataclass_factory от @Tishka17 — быстрая и простая в использовании библиотека для сериализации и десериализации объектов. Не требует конфигурирования при работе с датаклассами, а для более сложных случаев есть гибко настраиваемые схемы и пользовательские хуки на разных этапах обработки данных. Лицензия: Apache License 2.0 Репозиторий: https://github.com/tishka17/dataclass_factory PyPI: pip install dataclass-factory

Кем отправляться?

всмысле воркер будет загребать батч раз в 3 сек либо же когда в батче будет 10 задач)

Тебе же сказали, что воркер не один

ну значит лочить нужно =\

Питон учить лучше или ноду?

долго точно нет, раз в 3 сек будет отправляться независимо от наполнености батча

Питон учить лучше или ноду?

Питон учить лучше или ноду?

asm