класть задачу в очредь?

и получать из очереди?

Ну есть aiojobs, не знаю насколько оно тебе подойдет

Да у меня в общем-то - запускается задача - и через определённое время запускается ещё ра

Хорошо было бы, если бы время между задачами определялось динамически после каждой задачи

sleep в этом плане был хорош, расчитал значение - уснул

эм

я все ещё не понимаю, что должен делать “менеджер задач”

ну еще рескедьюлить-он-фейл, например

выглядит как будто реально надо взять while+sleep

а, в целери есть свой крон, с преферансом и куртизанками

ну еще рескедьюлить-он-фейл, например

зачем? таск все ещё в очереди

выглядит как будто реально надо взять while+sleep

вот и я о том же) Но это совсем бред

вот и я о том же) Но это совсем бред

почему?

А какие примеры ты просишь с меня? Примеры producer-consumer на python?

Что понимается под специализированными консьюмерами хочу понять Просто брать и загонять данные в Redis, а оттуда затем считывать?

зачем? таск все ещё в очереди

в случае с селери всё не так однозначно

в случае с селери всё не так однозначно

а в случае с кафкой/кроликом - однозначно

почему?

Мне кажется, что asyncio.sleep() будет много внимания к себе привлекать при переключении контекста, а это лишние

А если sleep(10800) будет - это странно

в случае с селери всё не так однозначно

то есть celery сама выдумыает пробелму и сама её решает?

Мне кажется, что asyncio.sleep() будет много внимания к себе привлекать при переключении контекста, а это лишние

так ты же сказал время как-то считается на основе истории

то есть celery сама выдумыает пробелму и сама её решает?

нет. она порождает несколько (иногда много) проблем, и предлагает тебе их решить (часть её способами, часть - самостоятельно)

=D

выглядит как будто проще без celery

выглядит как будто проще без celery

это так

просто селери была очень долго таскраннером-по-умолчанию

так ты же сказал время как-то считается на основе истории

ну да, но оно будет около 10800, например

Что понимается под специализированными консьюмерами хочу понять Просто брать и загонять данные в Redis, а оттуда затем считывать?

Брокер неважен, producer-consumer это паттерн, когда одна часть у тебя создает таски, другая выполняет и отчитывается, и также имеется некоторый шедулер (часто это сам брокер)

Какие альтернативы есть для newspaper3k? Интересует не сколько парсинг страниц, сколько анализ текстов. Summary, Keywords (с подрузкой базы из Гугла, например)

ну да, но оно будет около 10800, например

короче я не вижу проблем в обычном цикле, если это реально просто воторяющаяся задача, а не что-то вызванное действиями пользователя

короче я не вижу проблем в обычном цикле, если это реально просто воторяющаяся задача, а не что-то вызванное действиями пользователя

Но всё равно лучше в отдельный сервер вынести?

ну да

в отдельный контейнер

ну да

Хорошо, спасибо, так и сделаю)

Как запустить задачи по другому, а не через loop.create_task

С помощью чего можно сделать? Написать функцию, которая разобьет последовательность на заданные куски def chunks(size: int, iterable: Iterable): """ >>> list(chunks(3, [0, 1, 2, 3, 4])) [(0, 1, 3), (4, )] """

slice

С помощью чего можно сделать? Написать функцию, которая разобьет последовательность на заданные куски def chunks(size: int, iterable: Iterable): """ >>> list(chunks(3, [0, 1, 2, 3, 4])) [(0, 1, 3), (4, )] """

https://stackoverflow.com/questions/8991506/iterate-an-iterator-by-chunks-of-n-in-python

@lexxdesu Спасибо огромное

Andrew спасибо

Это порт если чо

через replace

скажи им - убирайтесь, знаки!

Это порт если чо

я вкурсе

$ cat 1 1:2 23:34 111:11 $ sed s/:// 1 12 2334 111111

$ cat 1 1:2 23:34 111:11 $ sed s/:// 1 12 2334 111111

спасибо))))

а как save ?

>

sed -i

в новый файл только

ну или так

в новой

спасибо, что по фасту)))

тебе вообще что надо было?

убрать эти порты

т.к у меня blacklist.txt по другому

так порты уборать или двоеточие?

вот так короче

меня просто ддосят, сами прокси я нашел

вручную добавлял, помогло

но геморно

sed 's/:.*//' 1

а файл через -i указать?

блин

Могу уже на питоне 2 раза написать

-i это in place замена

man sed

вручную добавлял, помогло

друже, так освой ты уже на худой конец sublime как редактор, там есть поиск-замена по regexp

друже, так освой ты уже на худой конец sublime как редактор, там есть поиск-замена по regexp

вкурсе

вручную же

вкурсе

Берёшь питон, делаешь реадлайнс. Делаешь выбор переменной до двоеточия. Перезаписываешь в файл

self - данный класс. Как вернуть данную функцию?

self - данный класс. Как вернуть данную функцию?

self.function_name

https://www.gnu.org/software/sed/manual/sed.html

self.function_name

Можно как-то подругому?

self - данный класс. Как вернуть данную функцию?

self - это экземпляр класса

self - это экземпляр класса

Это и имел в виду

Можно как-то подругому?

А конкретнее задачу ?

все пашет)) sed 's/:.*//' ips.txt > newips.txt

спасибо))) + в карму

self - данный класс. Как вернуть данную функцию?

self -не данный класс

Это и имел в виду

экземпляр к которому применяется метод

нет никакого “данного"

У меня есть класс для управления некоторыми классами-обертками. Когда я ему передаю метод, он выполняет его для всех оберток (из списка) с помощью ____getattr____. В обертке тоже есть ____getattr____, только он уже передает метод оборачиваему объекту. То-есть получается что-то вроде manager.method(*params) - и все объекты выполняют. Хочу добавить промежуточный метод, чтобы добавить некоторые дополнительные параметры для ____getattr____ обертки, чтобы выглядело примерно так: manager.params(timeout=(2, 10)).parse_page(...)

кажется, это называется компоновщик

хотя не совсем понятно как ты его конкретно применил

ты хочешь partial применение методов?

так а в чем вопрос-то?

когда делается getattr название метода есть