если парсить одну группу - все ок, но если несколько, тут уже временной барьер не работает, берутся посты аж за прошлый месяц

Помогите плз

Помогите плз

у тебя offset уползает

у тебя offset уползает

а как исправить?

обнуляй перед while True

а то у тебя для первой группы доходит до N, а для второй группы уже начинает с N

а то у тебя для первой группы доходит до N, а для второй группы уже начинает с N

да, спасибо, ты был прав

а то у тебя для первой группы доходит до N, а для второй группы уже начинает с N

других ошибок по коду нет? я правильно все делаю?

выглядит как смертный грех :)

и если следовать цели дословно, то проверять дату надо не у последнего поста, а у каждого

других ошибок по коду нет? я правильно все делаю?

Я бы ещё в базу данных всё заносил

Я бы ещё в базу данных всё заносил

я заношу в базу только в другой функции

и если следовать цели дословно, то проверять дату надо не у последнего поста, а у каждого

то есть сдвиг делать по одному?

Сдвиг делать на count

Я бы ещё в базу данных всё заносил

я потом еще фильтрую посты, а потом заношу

иначе будет фейл

то есть сдвиг делать по одному?

зачем?

просто пачку полчил

сохранил ток то что по дате подходит

count сделать чем больше, тем лучше

тебе локально проверить дату у 100 постов за раз быстрее, чем 33 раза получать от сервера по 3 поста

при чем гораздо быстрее

offset += 3 надо заменить на offset += count

при чем гораздо быстрее

понял, но одну проверку все равно оставить ибо так он уже далеко пойдет

ты берешь также в while True по 100 постов

потом пробегаешь по этим постам и ищешь первый, что вылетает за пределы дат

если такого нету - добавляешь в общий список все и идешь за новой пачкой

если такой есть - добавляешь все до него и вываливаешься из while True

Если это сейчас кажется сложным или непонятным, то следует сделать перерыв

:)

вай красиво все рассказал

у меня вопрос возник

чувствую стёб >_<

не. нету стеба. реально доступно все сказал

Люблю такое

https://don24.ru/publications/22656

потом пробегаешь по этим постам и ищешь первый, что вылетает за пределы дат

то есть еще внутри while сделать foreach?

ой for in, с пхп попутал

в общем суть: юзаю celery для распределения тасков и прочего мимими. но хочется мне делать таски типа periodic, но динамически. Так понимаю с celery не видать мне этого? в какую сторону смотреть?

то есть еще внутри while сделать foreach?

хм... ну, я-бы сделал for idx, post in enumerate(query):

в общем суть: юзаю celery для распределения тасков и прочего мимими. но хочется мне делать таски типа periodic, но динамически. Так понимаю с celery не видать мне этого? в какую сторону смотреть?

Довольно легко на него будет плане написать для этого

в общем суть: юзаю celery для распределения тасков и прочего мимими. но хочется мне делать таски типа periodic, но динамически. Так понимаю с celery не видать мне этого? в какую сторону смотреть?

в сторону cron, например

хм... ну, я-бы сделал for idx, post in enumerate(query):

idx это что ?

все понял

в общем суть: юзаю celery для распределения тасков и прочего мимими. но хочется мне делать таски типа periodic, но динамически. Так понимаю с celery не видать мне этого? в какую сторону смотреть?

вообще звучит не очень сложно. Но нужны детали. Я, честно, не силен на поприще celery и несколько недолюбливаю эту штуковину, но сделал-бы там задачку раз в минуту, которая ходит в какое-нибудь хранилище и вытягивает что ей сейчас делать. Но это может быть сомнительным решением.

все понял

сразу получишь позицию для query[:idx]

сразу получишь позицию для query[:idx]

Спасибо

вообще звучит не очень сложно. Но нужны детали. Я, честно, не силен на поприще celery и несколько недолюбливаю эту штуковину, но сделал-бы там задачку раз в минуту, которая ходит в какое-нибудь хранилище и вытягивает что ей сейчас делать. Но это может быть сомнительным решением.

Погуглил, в 4 селери все уже есть

Погуглил, в 4 селери все уже есть

аминь :) Я её трогал только на каком-то древнем Django-чудовище, где половина фишек не работала, а вторая была прибита гвоздями на скорую ногу

ERROR: S client not available

в общем суть: юзаю celery для распределения тасков и прочего мимими. но хочется мне делать таски типа periodic, но динамически. Так понимаю с celery не видать мне этого? в какую сторону смотреть?

Кароч там уже есть

И она умеет выполнять задачи на рассвете и закате

Для нужной широты и долготы

значит проглядел где-то. оке. с утра гляну свежим взглядом

спс

http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html

туда и смотрел. но там же про то, что при старте добавить задачи и они будут выполняться. такое есть и работает, а мне хочется динамически добавлять подобные задачи. вот этого там не увидел

там точно это есть

@t1bur1an можешь в брокер забрасывать данные о необходимости запуска таска

Но это немного костыльно

Ну все, пора задать вопрос

Отправляю через браузер файл. И сохраняю. Все дела, все как у людей file_data = field_item.file.read() with open(filename, "w+") as f: f.write(file_data) Сравниваю с оригиналом и о божечки-кошечки -rw-r--r-- 1 bo0om wheel 15118 May 20 01:35 /tmp/1 -rw-r--r--@ 1 bo0om wheel 14340 May 20 01:35 /tmp/2 Как бинарные файлы сохранить в первоначальном виде?

А первый с какими флагами открываешь?

cgi.FieldStorage

Запилил какую-то наркоманию

Чет типа https://pymotw.com/3/http.server/#http-post

а почему ты без b открываешь?

у тебя же бинарные данные

Видимо потерялось в бесчисленых попытках пофиксить эту хрень, не помогало

Лан, утро вечера мудренее +) Спасибо

а почему ты без b открываешь?

Если питон 2, то значения не имеет, ибо линукс, в отличие от винды, не разделяет бинарные и текстовые файлы

В питоне 3 будет разная обертка только, но смысл опять же не изменится от этого