потеря задач не обязательно может быть связана с celery, у тебя например воркер может упасть в процессе работы. если ты пишешь высоконадежное приложение, этот сценарий нужно обрабатывать
с утечками памяти тоже “слышал”, но лично не сталкивался. у нас celery стабильно работает в проде и вот с конкретно этой подсистемой проблем не было \ меньше всего.
Ну если воркер упал, задача не помечена готовой и ее возьмёт следующий
Tishka17
Alex
Ну если воркер упал, задача не помечена готовой и ее возьмёт следующий
celery по-умолчанию выставляет ack когда забирает задачу из очереди
Tishka17
Хотя у меня тут попался код одного из коллег, который сначала удалял задачу, а потом только выполнял
Alex
а не когда задача выполнена
Alex
Использую для скачивания большого файла requests с stream, записываю кусками в файл. Можно ли как-то ускорить процесс? Например многопоточная загрузка одного файл. Интернет около 600 мбит/с
можно, но для этого сервер должен поддерживать заголовок Range
Alex
и ЕМНИП в requests ничего готового нет, придется тебе логику многопоточной закачки писать руками.
Alex
более того сервер запросто может тебе обрезать скорость и затея гиблая.
️Skill
более того сервер запросто может тебе обрезать скорость и затея гиблая.
Ну сомневаюсь, что большие сервера будут ограничивать скорость
Alex
можешь попробовать
Tishka17
О. Были когда-то популярны проги для параллельной закачки файла
Tishka17
Tishka17
И зачем его часто качать?
Tishka17
Может торрент лучше
Mikhail
Использую для скачивания большого файла requests с stream, записываю кусками в файл. Можно ли как-то ускорить процесс? Например многопоточная загрузка одного файл. Интернет около 600 мбит/с
Зависит от куда качаешь, не все серваки поддерживают эту фичу
Tishka17
О_о
Tishka17
Боюсь спросить что это
Tishka17
Ты уверен, что надо целиком все качать?
Kop
Попробуй в торрент
Максим
а он точно разный каждый раз? можно там какой нибудь ETAG чекать перед загрузкой
️Skill
Tishka17
Вообще при таки объемах актуально выкладывать только изменения
️Skill
а он точно разный каждый раз? можно там какой нибудь ETAG чекать перед загрузкой
Нет, как оказалось, это один файл
Максим
Вообще при таки объемах актуально выкладывать только изменения
бывает так, что не скажешь , к сожалению
Bogdan (SirEdvin)
Пока просто планируем как строить, на celery часто ругались из-за утечек памяти и потерь задач
Потери задач легко избегаются, если внимательно прочитать доку селери и хренакнуть ack_late + правильно написать задачу
Kop
Потери задач легко избегаются, если внимательно прочитать доку селери и хренакнуть ack_late + правильно написать задачу
с селери можно сказать полноценно буду работат ьпервый раз, до этого ограничивалось крон таском и рассылкой уведомлений
Kop
поэтому было решено уточнить перед серьезными задачами
Late
привлекут за оффтоп в питоногруппе?
Вова
Кто нибудь парсил сайт bet365?
Блин
Ыщ
Блин
Букмекерские конторки?
Вова
Вроде нет
🍁 Jaŭhien
точно есть
Вова
А ссылку можно просто не нашел?
🍁 Jaŭhien
А ссылку можно просто не нашел?
а, ну да, я другим апи пользовался когда-то, вот: https://ru.betsapi.com/docs/bet365/
🍁 Jaŭhien
но думаю и у bet365 есть своё
Spirit
забейте на апиху буков. никто не даст вам нормально с ними работать)
Spirit
только парсить по жести
🍁 Jaŭhien
все там нормально
Spirit
когда-то давно, если поискать, были селлеры апихи
Spirit
которые распарсивали и упаковывали это в сервис
Anonymous
кто может с этим хелпануть? Команда: pyinstaller —noconsole —onefile --target-arch=32bit app.py
Anonymous
https://github.com/pyinstaller/pyinstaller/issues/2359
https://github.com/pyinstaller/pyinstaller/commit/9f4e68ee386a044f3737eb0743ad59f23a20190e
The bootloaders architecture defaults to the machine's one, but can be changed
using the ``--target-arch=`` option – given the appropriate compiler and
development files are installed. E.g. to build a 32-bit bootloader on a 64-bit
machine, run::
python ./waf all --target-arch=32bit
https://pyinstaller.readthedocs.io/en/latest/bootloader-building.html
Denis
Вопрос по PySNMP (хотя, вопрос больше общий, чем конкретно по PySNMP)
В асинхронном режиме рабты функциям типа nextCmd() передается колбек, который будет обрабатывать результат работы функции. В данном примере это функция cbFun.
В примере показано, что данные обрабатываются функцией и выводятся через print.
Вопрос: Каким образом можно передать в эту функцию экземпляр списка, например, в который помещать результат работы? Или любой другой способ, который подойдет для того, чтобы собирать результаты в какой-то список.
Глобальная переменная не совсем подходит, так как функция `cbFun` в моем скрипте различная для разных типов оборудования (результат обрабатывается по-разному) и находится она в разных модулях (разные стратегии поведения).
Tishka17
Не класса, прям объекта
Kirill
Есть идеи как вызвать процедуру из mysql? Пробовал алхимию, ошибок нет, результата тоже. Процедура при вызове из бд работает правильно
Tishka17
так тебе с помощью алхимии или без?
Tishka17
Kirill
Мне бы вызвать процедуру, остальное вторично)
Aleksandr
так используй курсор
Tishka17
Мне бы вызвать процедуру, остальное вторично)
http://www.mysqltutorial.org/calling-mysql-stored-procedures-python/
Kirill
http://www.mysqltutorial.org/calling-mysql-stored-procedures-python/
Читал, сейчас как раз пробую)
Ruben
Господа, нужен хелп, в бегиннерах не помогли. Имеется DRF и в сериализаторах такой абстрактный класс:
class SerializerBase(serializers.HyperlinkedModelSerializer):
class Meta:
abstract = True
fields = standard_fields + additional_fields
extra_kwargs = {
'url': {'lookup_field': 'slug'},
}
до него переременные:
standard_fields = ('name', 'desc', 'url')
additional_fields = tuple()
после собсна наследующий класс:
class ActionSerializerShort(SerializerBase):
trait = TraitSerializer(read_only=True, many=True)
class Meta(SerializerBase.Meta):
model = Action
additional_fields = ('trait',)
DRF ругается на то, что я трейты обозначил, а в полях их нет. ЧЯДНТ?
Ruben
Так fields унаследовано, в нем нет трейтов
и то, что я переопределяю additional_fields пофиг? он получает только уже готовый fields?
Denis
Пофиг, да
Ruben
можно это как-то обойти, чтоб не писать поля, общие для всех сериализаторов, какждый раз?
Denis
https://stackoverflow.com/questions/49900629/django-serializer-inherit-and-extend-fields
Ruben
оп. спасибо
Ruben
пойду курить
Nikita
Вопрос по python telegram bot.
Как отправить ботом альбом (от 2 до 10 медиа в одном месседже)?
Знаю, что мы юзаем
"""
bot.sendMediaGroup(chat_id, media)
"""
где "media" массив из фоток/видосов (обычно ссылки на файлы на сервах телеги).
Я передаю массив, но в итоге не отправляется.
Также буду очень благодарен, если кто-то подскажет как отправить это вместе с каким-то текстом.
с
"""
bot.send_photo(chat_id = chat_id, caption = 'some text',)
"""
Юзаем "caption" и всё, но у "sendMediaGroup" нет такого атрибута
Буду благодарен любой помощи
️Skill
не важно какой chunk_size?
️Skill
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
if chunk: # filter out keep-alive new chunks
f.write(chunk)
Tishka17
ну побольше бы =)
Tishka17
чтоб за раз больше качалось
Tishka17
но при этм чтобы ОЗУ хватало