Есть вариант переписать сам таск, чтобы он понимал что ffmpeg запущен, но мне кажется есть способ получше

Почитай про распределение задач по воркерам.

ну можно покопаться и разные таски в разные воркеры

Redis пробовал, но он ускоряет только повторные запросу, первый раз запрос можно по минуте ждать, пока шаблон наполнит

и он эту минуту точно именно в питоне проводит?

блин, не успел)

Мне кажется проще таск переписать немного)

да ну хз

зачем костылить если из под коробки можно

http://docs.celeryproject.org/en/latest/userguide/routing.html

Там все на уровне настроек.

У меня есть поле status, если есть хотябы одна запись со статусом processing, то ничего не делаем

можно и так конечно, а можно и стильненько маршрутизировать по разным очередям

заодно потом будешь шарить как это делать и тут остальным подсказывать))

и он эту минуту точно именно в питоне проводит?

SQL чистый отдается за +/- 20 секунд, дальше результат обрабатывается в python различными библиотеками и раскидывает все по нужным блокам в шаблоне.

Доку я читал и пробовал вчера, поэтому здесь и спрашиваю, может кто уже сталкивался на практике

ну дело твоё конечно, но я бы с роутингом разобрался

SQL чистый отдается за +/- 20 секунд, дальше результат обрабатывается в python различными библиотеками и раскидывает все по нужным блокам в шаблоне.

ну, 20 секунд - все равно много. Тут сложно сказать, что пробовать, не смотря в код

я бы попробовал добавить кэш и запросы пооптимизировать

возможно, что и структуру базы

индексов досыпать, например

Код писать нужно, если оно не очевидное даже с докой, значит роутинг не так уж и хорош

возможно, что и структуру базы

Или использовать для храненния "быструю" бд ориентированную как раз для работы с "большими" данными, а в постгре хранить только аггрегированные данные.

Думал про быструю БД. Сейчас смотрю Yandex Clickhouse, возможно это решит часть проблем.

Посмотри видео с митапов HighLoad+

Думал про быструю БД. Сейчас смотрю Yandex Clickhouse, возможно это решит часть проблем.

да, кстати, он неплох

по нему чат тг есть

могу скинуть

https://t.me/clickhouse_ru

https://t.me/clickhouse_ru

Спасибо

Логичней продублировать это сообщение в Data science chat

А какоц адрес у него?

https://t.me/bigdata_ru

Народ, почему в Linux Mint os.path.ismount(media/myname/somedvd) == False или я что-то не знаю про автомонтирование?

а там что-то примонтировано?

кавычки забыл?

['/dev/sr0', '/media/myname/somedvd', 'iso9660', 'ro,nosuid,nodev,relatime,uid=1000,gid=1000,iocharset=utf8,mode=0400,dmode=0500', '0', '0'] False

всем привет!!!

кавычки забыл?

Я перебираю /proc/mounts - остальные директории определяются как True

['/dev/sda6', '/', 'ext4', 'rw,relatime,errors=remount-ro,data=ordered', '0', '0'] True ['/dev/sdb1', '/home', 'ext4', 'rw,relatime,data=ordered', '0', '0'] True

On POSIX, the function checks whether path‘s parent, path/.., is on a different device than path, or whether path/.. and path point to the same i-node on the same device — this should detect mount points for all Unix and POSIX variants.

Я перебираю /proc/mounts - остальные директории определяются как True

если путь правильный то странно конечно, мне не на чем проверить)

выглядит как будто норм должно быть все

мб кто нибудь знает, а в хероку есть запуск скрипта по времени?

мб кто нибудь знает, а в хероку есть запуск скрипта по времени?

https://devcenter.heroku.com/articles/scheduler ?

https://devcenter.heroku.com/articles/scheduler ?

а не подскажешь как им пользоваться? То есть какую команду ставить если мне надо просто запускать скрипт parse.py ?

python parse.py

а не подскажешь как им пользоваться? То есть какую команду ставить если мне надо просто запускать скрипт parse.py ?

https://devcenter.heroku.com/articles/clock-processes-python

python parse.py

Спасибочки

Подскажите пожалуйста, как перезапускать программу. Например если боту написать рестарт, то он перезапустится

Подскажите пожалуйста, как перезапускать программу. Например если боту написать рестарт, то он перезапустится

Извращение какое-то, зачем тебе это?

Надо)

т.е. необходим интерфейс для перезапуска бота?

Надо)

Все так говорят, а потом вдруг говорят, что можно более адекватно реализовать

Все так говорят, а потом вдруг говорят, что можно более адекватно реализовать

Может, история похоже на epsilonGC у джавистов

У меня есть прога и она на хероку 24/7, и чтобы заказчику не парится рестарт в бота вставить хочу.

У меня есть прога и она на хероку 24/7, и чтобы заказчику не парится рестарт в бота вставить хочу.

А заказчик не даст денег на нормальную vps?

Или ты за еду работаешь?

Ага)

У меня есть прога и она на хероку 24/7, и чтобы заказчику не парится рестарт в бота вставить хочу.

юзай вебхуки

народ, есть кто с ffmpeg плотно работал? или может подскажет чем еще можно видео перекодировать когда файлов около 1000 и больше

народ, есть кто с ffmpeg плотно работал? или может подскажет чем еще можно видео перекодировать когда файлов около 1000 и больше

а что надо конкретно?

ERROR: S client not available

и что куда кодировать?

Подскажите пожалуйста, как перезапускать программу. Например если боту написать рестарт, то он перезапустится

Обработчик запускает скрипт, который перезапускает первый скрипт

Но так не надо

А как?

вебхук

А как?

Взять нормальную впс и зафигачить на вебхуках

на хероку можно вебхуки настроить

а что надо конкретно?

при перекодировании в mp4 не во всех браузерах работает перемотка видео открывается в браузере через plyr (обертка над стандартным html player)

при перекодировании в mp4 не во всех браузерах работает перемотка видео открывается в браузере через plyr (обертка над стандартным html player)

а если напрямую mp4 через браузер открыть без плееров?

а если напрямую mp4 через браузер открыть без плееров?

тоже самое

могу дать команду для перекодирования, но она стандартная как по мне

хм. так а что по ffmpeg надо в принципе?

хм. так а что по ffmpeg надо в принципе?

заставить этот кусок **** работать

задача перекодировать видео для просмотра через сайт в браузере, определились с тем что надо 2 формата, mp4 + webm

народ, есть кто с ffmpeg плотно работал? или может подскажет чем еще можно видео перекодировать когда файлов около 1000 и больше

opencv

можно поробовать переместить метаданные в начало файла для h264

можно поробовать переместить метаданные в начало файла для h264

с этого места подробнее

webm по умолчанию должен норм работать

с этого места подробнее

ща скину

opencv

он умеет видео кодировать? видео уже есть в виде файлов, надо сконвертить для просмотра на сайте

он умеет видео кодировать? видео уже есть в виде файлов, надо сконвертить для просмотра на сайте

Небольшой скрипт на python и он тебе все перекодирует но в систему надо не забыть кодеки поставить

с этого места подробнее

https://www.ffmpeg.org/ffmpeg-bitstream-filters.html#h264_005fmp4toannexb

Небольшой скрипт на python и он тебе все перекодирует но в систему надо не забыть кодеки поставить

ffmpeg тоже через неблошой скрипт кодирует, только результат не соответствует ожиданиям :(

у меня сайт ffmpeg не открывается изза проблем с ssl не могу точно проверить, но вроде оно

http://prntscr.com/fsronn

opencv

это же для машин вижн либа

это же для машин вижн либа

Да но при этом она прекрасно работает с видео в том числе и пережимает

@stream_consciousness

весь мой опыт с ffmpeg можно описать одним предложением -> убить кучу времени что-бы заставить работать)