Это один сервис делает?

один

Готовый бфгс есть в scipy

не могу понять как его применить(

один

Ну тогда у тебя одна очередь - список видео на обработку

И то, очередь ли

Тебе важен порядок?

А зачем тут вообще очереди

нужна гарантия того что действия выполнятся

Так, тут небольшое уточнение

f=open('port.txt') port=f.read() f.close() port=int(port)

Вылезает ошибка

Готовый бфгс есть в scipy

и еще это алгоритм с хабра, так что он вроде ок

Как можно переделать?

Вылезает ошибка

Какая?

Какая?

ValueError: invalid literal for int() with base 10:

ValueError: invalid literal for int() with base 10:

Предлагаю содержимое файла исправить

где есть сишники?

тут есть?

Предлагаю содержимое файла исправить

там цифры

там цифры

переносы строк и пустые строки...

не могу понять как его применить(

Там примеры есть в доке

нужна гарантия того что действия выполнятся

Очередь не дает такой гарантии

переносы строк и пустые строки...

пробовал

пробовал

print(port)

Что показывает?

Правильно настроенная кафка может дать гарантию, что задача выполнится хотя бы один раз, но это другая история

print(port)

9011

?

там цифры

Ну попробуй file.read().strip()

9011

ну вот и ответ..

9011

Лол

Это не цифры

спс)

Это не цифры

а вписывал цифры

Какой-то мудак сделал текстовый редактор, который BOM вставляет по дефолту, похоже

Так, тут небольшое уточнение

Обычно идет сразу несколько файлов. Они конвертируются в 360 / 480 / 720. Порядок не важен, но приоритет должен быть у менее затратной операции (соответсвенно сжатие в 360). То есть если в процессе конвертации подъехал новый файл, то его сжатие в 360 должно быть в приортитете. Ну думаю вы поняли.

разве это ни одно и то же?

нужна гарантия того что действия выполнятся

Правильно настроенная кафка может дать гарантию, что задача выполнится хотя бы один раз, но это другая история

нужна гарантия того что действия выполнятся

так можно и в редис писать какой-нить ключ типа success:<id задачи>, а сами задачи в списке хранить, нее?

Хорошо. Вот смотри. Например конвертация файла. Ну пусть будет видео. Что бы это была долгая операция. Нам нужно сделать 3 вещи: 1. Валидация файла. 2. Собственно сама конвертация. 3. Складываем его в хранилище/CDN или куда-то еще. То есть у нас должно быть 3 очереди так?

посмотри celery, там легко такие цепочки делать

Обычно идет сразу несколько файлов. Они конвертируются в 360 / 480 / 720. Порядок не важен, но приоритет должен быть у менее затратной операции (соответсвенно сжатие в 360). То есть если в процессе конвертации подъехал новый файл, то его сжатие в 360 должно быть в приортитете. Ну думаю вы поняли.

Это вообще похоже на Prioity Queue. Кролик вроде такое не умеет, но хз

Это вообще похоже на Prioity Queue. Кролик вроде такое не умеет, но хз

вроде умеет

Обычно идет сразу несколько файлов. Они конвертируются в 360 / 480 / 720. Порядок не важен, но приоритет должен быть у менее затратной операции (соответсвенно сжатие в 360). То есть если в процессе конвертации подъехал новый файл, то его сжатие в 360 должно быть в приортитете. Ну думаю вы поняли.

С твоей нагрузкой проще в БД положить в одну таблицу и правильно сортировать её

разве это ни одно и то же?

Но у тебя не кафка

разве это ни одно и то же?

Exactly once vs at least once vs maximum once

И вряд ли ты потеряешь миллион долларов, если что-то не отработает

С твоей нагрузкой проще в БД положить в одну таблицу и правильно сортировать её

что не дает нам pipeline

что не дает нам pipeline

Почему? Поле с текущей фазой

И вряд ли ты потеряешь миллион долларов, если что-то не отработает

я не потеряю никаких данных, я просто повешу дастаточно долгую и тяжелую операцию, чего бы хотелось избежать

Можно просто одно за другим делать в одном сервисе

помнишь про приоритеты?

что не дает нам pipeline

Даёт

я не потеряю никаких данных, я просто повешу дастаточно долгую и тяжелую операцию, чего бы хотелось избежать

Если это происходит раз в три года, проще забить, чем тратить время на предотвращение

помнишь про приоритеты?

Так тредпул и сортировка

Почему? Поле с текущей фазой

+

А вот с партиционированием могут быть трудности

6 запросов в день

Ну как я понимаю например в тех же очередях я могу из консюмера сделать новго паблишера. И как по мне это практически идеальный pipeline. Неужели очереди это так сложно что лучше заморочиться с базой данных?

Если у тебя уже есть база, зачем заводить лишнюю сущность

Ну как я понимаю например в тех же очередях я могу из консюмера сделать новго паблишера. И как по мне это практически идеальный pipeline. Неужели очереди это так сложно что лучше заморочиться с базой данных?

ну как минимум, это еще 1 зависимая в проекте, ляжет очередь, что тогда?

почему она ляжет?

Есть те кто выучил джанго и даже в доки не смотрит?

почему она ляжет?

разные ситуации бывают на серверах, закончится место на диске, оператива сожрется и т.п., но от этого, правда, ни один сервис не защищен

разные ситуации бывают на серверах, закончится место на диске, оператива сожрется и т.п., но от этого, правда, ни один сервис не защищен

ты все еще помнишь про 6 запросов в день? Если кончится оперативка, то вопросы будут не к очереди.

Есть те кто выучил джанго и даже в доки не смотрит?

Бессмысленно

Бессмысленно

Почему? У меня спор с коллегой, говорит что знать надо от и до. бгг

ты все еще помнишь про 6 запросов в день? Если кончится оперативка, то вопросы будут не к очереди.

нее, упустил этот момент) на 6 запросов в день проще с бд работать

Я регулярно смотру доки по базовой библиотеке, а ты про джангу

Почему? У меня спор с коллегой, говорит что знать надо от и до. бгг

Знать надо как работает. А сигнатуру всегда можно посмотреть

Или там точное название метода

Есть те кто выучил джанго и даже в доки не смотрит?

Я думаю если человек работает только с джанго 5+ лет - то дока ему уже почти не нужна

Я регулярно смотру доки по базовой библиотеке, а ты про джангу

? Я тоже самое пытаюсь пояснить челу..

Я думаю если человек работает только с джанго 5+ лет - то дока ему уже почти не нужна

Джанго как бы тоже развивается

Джанго как бы тоже развивается

Окей, с одной версией джанго

Джанга большая, все не запомнишь

Окей, с одной версией джанго

Я ж говорю, бессмысленно

Я думаю если человек работает только с джанго 5+ лет - то дока ему уже почти не нужна

Он меняется. Даже не знаю..

Я ж говорю, бессмысленно

Ну работать только с джанго - уже бессмыслено

кто создавал екземпляры вм на гугл клауд?

Мне бы гарантии не потери, а не скорость)

7 лет развиваю проект где используется кластер реббитов. И слово "гарантия" в этом контексте я уже давно не использую (хотя конечно есть подозрение что это косячит Celery + haproxy для балансировки нод реббитов)

def rosen_der(x): xm = x[1: -1] xm_m1 = x[: - 2] xm_p1 = x[2:] der = np.zeros_like(x) der[1: -1] = 200 * (xm - xm_m1 2) - 400 * (xm_p1 - xm 2) * xm - 2 * (1 - xm) der[0] = -400 * x[0] * (x[1] - x[0] ** 2) - 2 * (1 - x[0]) der[-1] = 200 * (x[-1] - x[-2] ** 2) return der как мне вставить нужную мне туда функцию?

Ну работать только с джанго - уже бессмыслено

react native

def rosen_der(x): xm = x[1: -1] xm_m1 = x[: - 2] xm_p1 = x[2:] der = np.zeros_like(x) der[1: -1] = 200 * (xm - xm_m1 2) - 400 * (xm_p1 - xm 2) * xm - 2 * (1 - xm) der[0] = -400 * x[0] * (x[1] - x[0] ** 2) - 2 * (1 - x[0]) der[-1] = 200 * (x[-1] - x[-2] ** 2) return der как мне вставить нужную мне туда функцию?

https://habr.com/ru/post/439288/

react native

ИМХО, для REST джанго вообще не надо использовать, слишком массивная, да и не для этого делалась

ИМХО, для REST джанго вообще не надо использовать, слишком массивная, да и не для этого делалась

очень холиварное мнение

7 лет развиваю проект где используется кластер реббитов. И слово "гарантия" в этом контексте я уже давно не использую (хотя конечно есть подозрение что это косячит Celery + haproxy для балансировки нод реббитов)

А как у него с кросс-датацентровой репликацией?

Есть там такая, но слава-богу мы не доросли до таких масштабов

А то меня тут на работе пугают этим словом

Правда у нас нет рэббита насколько знаю

Поэтому ничего про неё сказать не могу

В контексте "кластер реббитов + haproxy + celery" - очень легко словить ситуацию когда таска тупо не ушла в реббит, т.к. конект до него уже отвалился, а celery про это ничего не знает. Помогает включение режима подтверждения доставки, но это в 100-1000 раз увеличивает время отправки таски в реббит

кстати раз ты с ней работал что за либа?

ну всмысле для связки кролика с питоном

Я через Celery работаю, а она юзает по сути свою же либу (автор тот же) amqp

стоп celery стучится в rabbit?