а можно как то в генераторах списков

добавлять только уникальные значения?

тоесть если оно уже есть в списке не добавлять?

чтоб в сет его потом не переделывать например

?

добавлять только уникальные значения?

это не очень хорошая идея, в каждой итерации будет поиск по списку, который O(n)

это не очень хорошая идея, в каждой итерации будет поиск по списку, который O(n)

тоесть лучше в таком случае просто не использовать генератор

и перед append'ом проверять есть ли значение в списке

и перед append'ом проверять есть ли значение в списке

Ну я только что написал, что не надо проверять в каждой итерации. Это медленно будет

сделай сразу set и добавляй в него

операция set.add идемпотентная

сделай сразу set и добавляй в него

а если ему порядок важен? upd. хотя, он же сам в сет переделывает

На своем примере, я могу просидеть час не сдвинувшись с места, а потом за час сделать то, на что планировал потратить день

Молодец

а если ему порядок важен? upd. хотя, он же сам в сет переделывает

да, порядок важен sorted для этого сета я так понимаю тоже потом лишнее будет

и бессмысленное

roles = [] for f in filtered: match = re.search(role_regexp, f) if match and match.group(2) not in roles: roles.append(match.group(2))

а in же проверяет не циклом

можно проиграть по памяти и держать вместе с листом сет. проверять вхождение в сет, добавлять. но стоит помнить, что худший кейс x in set в общем то тоже О(n) (хотя средневзвешенный таки О(1))

понял

тобишь каждый in это поиск по списку

для списка - да

можно dict использовать и хранить значения в ключах

будет как set, только ordered

есть кто нибудь с Кавказа ?

будет как set, только ordered

но только в python >= 3.6

есть кто нибудь с Кавказа ?

а важно?

а важно?

Мне интересно ))

но только в python >= 3.6

емнип это сайдэффект и никто не гарантировал, что так-будет-и-дальше

емнип это сайдэффект и никто не гарантировал, что так-будет-и-дальше

ну в 3.6 да. А в 3.7 это гарантированная фича

т.е. начиная с 3.7 это часть спеки языка

ValueError: dictionary update sequence element #0 has length 1; 2 is required

не совсем понял о чем вы

:))

или как это сделать?

а понял

что он ordered стал

l = [9, 1, 5, 8, 3, 4, 9, 15, 8] {v: None for v in l}.keys() # [9, 1, 5, 8, 3, 4, 15]

Привет. А кто-нибудь знает, как в Celery предотвратить создание огромного числа регулярных заданий, если сдох воркер?

Или может просто не celery для этого юзать?

l = [9, 1, 5, 8, 3, 4, 9, 15, 8] {v: None for v in l}.keys() # [9, 1, 5, 8, 3, 4, 15]

Сожрало?

Привет. А кто-нибудь знает, как в Celery предотвратить создание огромного числа регулярных заданий, если сдох воркер?

использовать несколько воркеров? перезапускать сдохший?

Сожрало?

не понял вопрос

не понял вопрос

Ну ты не все вывел

2 элемента потерял

2 элемента потерял

это сет

Ну ты не все вывел

ты точно понимаешь что делает этот код?

А

Я тупой

использовать несколько воркеров? перезапускать сдохший?

Ну, так-то да. Но поскольку redis, как бэкенд, персистит данные, не очень корректное поведение - если сдох (не запустился) воркер, херачить нон-стопом тысячи задач.

В моём случае это поллинг API

Ну, так-то да. Но поскольку redis, как бэкенд, персистит данные, не очень корректное поведение - если сдох (не запустился) воркер, херачить нон-стопом тысячи задач.

а редис тут причём

Ну, если бы это было что-то, не персистящее данные, можно было бы его рестартить перед стартом воркера

Ну, если бы это было что-то, не персистящее данные, можно было бы его рестартить перед стартом воркера

ничего не понял. В твоём случае задачи в редис складывает некий код. Твой. Почини или первое или второе

ничего не понял. В твоём случае задачи в редис складывает некий код. Твой. Почини или первое или второе

Редис - это бэкенд celery

Мой код тут не причём

Мой код тут не причём

Ага, а таски в редисе из воздуха берутся

Переформулирую вопрос. В Celery есть понятие regular tasks. Есть task, который должен выполняться раз в n секунд. Если дохнет или не запустился почему-то воркер, то celerybeat будет пулять таски до опупения, а когда воркер запустится - они выполняются не раз в 5 секунд, а непрерывным циклом, пока не кончатся

Ну, так-то да. Но поскольку redis, как бэкенд, персистит данные, не очень корректное поведение - если сдох (не запустился) воркер, херачить нон-стопом тысячи задач.

Не использовать редис, сделать для задачи expire?

О, expire. Спасибо!

Отличный сервис. Генерирует таски которые самостоятельно экспирятся. Побольше бы таких. Может зима стала теплее

Отличный сервис. Генерирует таски которые самостоятельно экспирятся. Побольше бы таких. Может зима стала теплее

Именно то, что мне надо!

Именно то, что мне надо!

неработающий селери с неработающими тасками? Так просто можно вырубить его в сервисах

Нет, селери, который не копит ненужные тысячи невыполненых регулярных тасков

т.е. воркер таки работает но иногда прилегает?

т.е. воркер таки работает но иногда прилегает?

Я не знаю, я ещё не клал это в прод. И селери первый раз юзаю. Но факт, что если он приляжет, выполнять накопленные таски избыточно

И даже вредно: api может забанить

ок

Я понимаю, что убивать не регулярные таски - это глупо. Потому что это может быть выполнение какого-то уникального задания. Но в моём случае это просто синхронизация данных. Каждый её запуск не будет отличаться от предыдущего

Я понимаю, что убивать не регулярные таски - это глупо. Потому что это может быть выполнение какого-то уникального задания. Но в моём случае это просто синхронизация данных. Каждый её запуск не будет отличаться от предыдущего

можно ещё отключить retry

можно ещё отключить retry

Да, тоже полезно, спасибо!

Ребята а не обидно изучать язык который не популярен в снг

Бля я срачик пропустил

Всем привет! Я с задачкой: Имеется многомерной массив типа nd.array (размерность от одного и выше). Пример многомерного массива с размерностью равным 3: array = [ [ [(1, 3), (4, 5)], [(7, 5), (6,3)] ], [ [(2, 7), (8, 5)], [(7, 3), (9,3)] ] ] Необходимо реализовать функцию, которая получая на вход массив выдаёт словарь словарей. Для примера выше словарь выглядит следующим образом: dict_array = {0: {0: {0:[1, 3], 1: [4, 5]}, 1: {0: [7, 5], 1: [6, 3]} }, 1: {0: {0:[2, 7], 1:[8, 5]}, 1: {0: [7, 3], 1: [9, 3] } } } Функция рекурсивная. Я уже пытался писать. За опорный случай принял, когда размерность массива равна нулю, возвращаю список значений. Функция должна на вход также принимать именованный параметр, хранящий в себе tuple координат. То есть выдавать словарь словарей по соответствующему срезу.

Всем привет! Я с задачкой: Имеется многомерной массив типа nd.array (размерность от одного и выше). Пример многомерного массива с размерностью равным 3: array = [ [ [(1, 3), (4, 5)], [(7, 5), (6,3)] ], [ [(2, 7), (8, 5)], [(7, 3), (9,3)] ] ] Необходимо реализовать функцию, которая получая на вход массив выдаёт словарь словарей. Для примера выше словарь выглядит следующим образом: dict_array = {0: {0: {0:[1, 3], 1: [4, 5]}, 1: {0: [7, 5], 1: [6, 3]} }, 1: {0: {0:[2, 7], 1:[8, 5]}, 1: {0: [7, 3], 1: [9, 3] } } } Функция рекурсивная. Я уже пытался писать. За опорный случай принял, когда размерность массива равна нулю, возвращаю список значений. Функция должна на вход также принимать именованный параметр, хранящий в себе tuple координат. То есть выдавать словарь словарей по соответствующему срезу.

это бан

это бан

Ро

Пайчарм? Покажи как создаешь экземпляр MamagerConfig. До последней версии чарм ругался на параметры родителя

Это спам?

Ребят, а подскажите плиз, распознаю допустим из пдф в тхт, тем же pdfminer, в тхтшнике текст тупо плывет, особенно, если это информация табличная, как-то эту таблицу потом можно чем-то собрать в кучу? Или может есть что-то, чем это все реально вообще вытянуть?

Для начала просто удалю

Ребят, а подскажите плиз, распознаю допустим из пдф в тхт, тем же pdfminer, в тхтшнике текст тупо плывет, особенно, если это информация табличная, как-то эту таблицу потом можно чем-то собрать в кучу? Или может есть что-то, чем это все реально вообще вытянуть?

Abbey кажется умеет таблицы распознавать

ну, мне надо именно чем-то в python )

тоесть, чтоб человек прикрепил пдф, а получил эксель )

Друзья, посоветуйте книжек интересных почитать. Можно что-то из разряда "Читый код" Мартина, можно на какие-то конкретные технологии не сильно специфичные (git/docker etc).

Абби делает свою либу так-то, можно наверно поговорить с ними, хз правда цены

да не, там не глобальный сервис, причем, формат документа который переводим, строго одинаковый

поэтому буду думать, как слепить своими силами ))) Ну, в любом случае спасибо )

да не, там не глобальный сервис, причем, формат документа который переводим, строго одинаковый

Если формат одинаковый с точностью до пикселей, то можно настроить текстовое распознавание по сегментам листов и гнать, например, в CSV формат.

там в тхт сам пдф перевожу, но выходит каша с форматированием

Ребят кто может дать совет ? Вопрос в том что есть знания python на поверхностном уровне(переменные, словари, кортежи, списки, циклы ) что можно почитать по python что бы его выучить на хорошем уровне , знаю Лутца посоветуете , но если другие книги хорошие , ибо Лутц в электронке только за 2011 год

тоесть, в табличке отображает Имя: Владимир, Фамилия: Гуменюк, а в тхтшнике - Имя, Фамилия, Владимир, Гуменюк