Saintmood
это точно ... хотя с другой стороны опыт компании Боинг ничему не научил
Saintmood
так вот ... может кто подскажет у меня тут по рабочим нуждам есть потребность сторить разные форматы данных в xlsx и потом отдавать аналитику в виде других xlsx файлов
Tishka17
там защита на самом сайте таймер
Забанить что ли за обход защиты
Saintmood
очень сильно отдаленно я прикинул что строить схему а бд неблагодарно потому что форматы вход данных разные. И на выход нужно отдавать аналитику тоже в разной форме. Подумал что если сохранять данные в паркете, а конфигурацию представления аналикити хранить в бд. Если нужен новый тип рипортов - то можно написать новое представление, сохранить в базе - и запустить etl.
Dmitriy
как часто у вас на работе применяется джсонсхема и маршмелоу или для чего это больше фронтенд или бекенд?стоит вообще учить?
Alex
как часто у вас на работе применяется джсонсхема и маршмелоу или для чего это больше фронтенд или бекенд?стоит вообще учить?
в смысле учить? это просто две библиотеки для валидации \ сериализации \ десериализации.
Alex
на одном из проектов применялась jsonschema, на другом marshmallow
Alex
хз как ты собрался питон на фронтенд затаскивать так что...
Alex
как часто у вас на работе применяется джсонсхема и маршмелоу или для чего это больше фронтенд или бекенд?стоит вообще учить?
чего там учить? читаешь документацию, смотришь решает ли она нужные тебе задачи и используешь.
Вячеслав
Всем привет. Ситуация следующая. Мне нужно спарсить большое количество имейлов и сохранить в базу. Хотел использовать для этого селери. И разбить соответственно ( для примера писем 1000) на несколько задач (опять же к примеру разбить эту тысячу писем на 5 задач). Отсюда вопрос. Можно ли как то передать в задачу селери, объект подключения к imap серверу или нужно в каждой задаче создавать новое подключение?
Dmitriy
хз как ты собрался питон на фронтенд затаскивать так что...
слышал, что они применяются, как фронтендерами так и бекендерами
Kop
Зачем celery?
Вячеслав
Зачем тебе куча имейлов?
Задача такая. Пишу прослойку которая работает с двумя почтовыми серверами (Microsoft exchange и кастомный imap сервер). При первой загрузке мне нужно сразу записать на сервер большое количество писем и отдать их на мобильное приложение
Вячеслав
Зачем celery?
Там лежат таски по обновлению писем и их статуса для пользователей.
Kop
А не лучше создать массовый обработчик и в нем пачками отрабатывать, а не инициализировать по отдельности ?
Dmitriy
что ты понимаешь под "фронтендерами"?
обычное значение, люди что занимаются html css js разработкой для внешнего вида сайта
K
Народ, подскажите плиз, в каком формате пишется докстринг, чтобы хинтинг работал для таких функций? def func(**kwargs):
Kop
Что ты имеешь ввиду под массовым обработчиком?
Берёшь все задачи или пачку по конкретному числу и в нем отрабатываешь
Alex
обычное значение, люди что занимаются html css js разработкой для внешнего вида сайта
jsonschema — спецификация, которая не зависит от языка. поэтому ее вполне могут использовать и в JS тоже.
Alex
как ты собрался marshmallow затаскивать в браузер мне решительно непонятно
Вячеслав
Берёшь все задачи или пачку по конкретному числу и в нем отрабатываешь
В этом случае будет большое время ожидания. Там на парсинг письма тратится примерно 3 секунды. И это без вложений которые могут быть примерно в 25 мегабайт. Я уже сделал частичный парсинг. Там получается все кроме тела письма ( текста) и самих вложений. Теперь вот текст нужен. Мысль была в том чтоб парсить штук по 20 одновременно но в нескольких задачах. Распаралелить так сказать)
K
А зачем докстринг для хинтов? Ты не можешь прям тут указать их?
Ну допустим у меня в кваргах должно быть несколько сущностей, типа: def func(**kwargs): name = kwargs['name'] id = kwargs['id'] param = kwargs['param'] ... И все они какого-то типа.
Aragaer
но почему сразу не сделать def func(name, id, param, **kwargs)
K
Это уже не кварги, а вполне конкретные параметры
Да, я просто не хочу ими забивать сигнатуру.
Вячеслав
Так а что мешает разбить на процессы или потоки ?
Вот тут и вопрос мой был. Мне в каждой новой таске селери нужно будет коннектиться к серверу по новой? Или можно как то объект подключения к серверу передать как параметр?
Tishka17
Да, я просто не хочу ими забивать сигнатуру.
Так тебе нужна сигнатура или нет?
Не выходи из комнаты.
Никто не сталкивался с такой проблемой? При отправке xlsx на почту через smtplib каждый раз строка съезжает на рандомное количество символов. Причём файл сохраняю также на диске - открываю, все ок. Открываю этот же файл, который приходит на почту - вставлены пустые столбцы в рандомном количестве оО
Kop
Вот тут и вопрос мой был. Мне в каждой новой таске селери нужно будет коннектиться к серверу по новой? Или можно как то объект подключения к серверу передать как параметр?
Ну если оставлять логику по одной, то иначе врятли, ты не можешь объект коннекта передать. А вот если придумать как объединить в одну. То все возможно
K
Так тебе нужна сигнатура или нет?
Коряво выразился) Сигнатура конечно будет, но я не хочу все аргументы перечислять в объявлении функции. Типа там есть **kwargs. А дальше по коду оно будет разбираться. Но при использовании хотелось бы хинтинг того, что должно быть в kwargs. Вроде есть такое, где-то видел...
K
Внезапно в объявлении функции сигнатуру и указывают
Хорошо, как это сделать для func(**kwargs) ?
Tishka17
Хорошо, как это сделать для func(**kwargs) ?
Выкинуть кварги и указать нормально
Kop
Ясно. Спасибо.
Рассмотри вариант с массовым созданием без лишних танцов с celery
Shawn
Хорошо, как это сделать для func(**kwargs) ?
Если у тебя кварги разных типов, то никак)
Не выходи из комнаты.
https://dpaste.org/UbcO
K
Выкинуть кварги и указать нормально
Ну т.е. лучше этого уже не сделать? def __init__(self, *, es_hosts: List[str], es_indices: Tuple[str, str, str], polling_interval: int, storage: abstracts.AbstractStorage, cps: int, db_param: DBParam, tenant_id: int):
Shawn
Собственно, как отправляю. И вот, что приходит (хэдер сьехал, 1 строка)
у тебя MIME должен быть такой для XLSX: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
Не выходи из комнаты.
Shawn
у тебя MIME должен быть такой для XLSX: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
Взял отсюда https://developer.mozilla.org/ru/docs/Web/HTTP/Basics_of_HTTP/MIME_types/Common_types
K
Во, красота
Ну ок) Я думал, может как-то красивше бывает)
std::mpa 🇺🇦
А почему List[str]?
K
А почему List[str]?
Сие означает, что ожидается ['aaa', 'bbbb', 'cc', ...]
std::mpa 🇺🇦
Tishka17
А почему бы не Sequence
std::mpa 🇺🇦
Language: python3 Source: import typing print(isinstance("", typing.Sequence)) Result: True
K
Ну, мне не оч принципиально) Хотя, сиквенс, наверное, красивше
K
Угу, почему бы не кортеж? Tuple[str, ...]
Эластик заявляет, что ему надо лист: def __init__(self, hosts=None, transport_class=AsyncTransport, **kwargs): """ :arg hosts: list of nodes, or a single node, we should connect to. Node should be a dictionary ({"host": "localhost", "port": 9200}), the entire dictionary will be passed to the :class:`~elasticsearch.Connection` class as kwargs, or a string in the format of ``host[:port]`` which will be translated to a dictionary automatically. If no value is given the :class:`~elasticsearch.Connection` class defaults will be used. Дикт мне не подходит. Ориентировался на то, что хочет библиотека.
Не выходи из комнаты.
Никто не сталкивался с такой проблемой? При отправке xlsx на почту через smtplib каждый раз строка съезжает на рандомное количество символов. Причём файл сохраняю также на диске - открываю, все ок. Открываю этот же файл, который приходит на почту - вставлены пустые столбцы в рандомном количестве оО Собственно, как отправляю. И вот, что приходит (хэдер сьехал, 1 строка) https://dpaste.org/UbcO И хрень такая происходит в селери. Если делать все это без селери - все нормально приходит
Anonymous
async def metos(test): while True: print(test) asyncio.run(metos(1)) asyncio.run(metos(2)) как запустить один и тот же метод несколько раз в паралельно?
neumond
asyncio.run(asyncio.gather( metos(1), metos(2), ))
neumond
Кстати да, бесконечный цикл с принтами это очень плохая идея
Dmitry
Можно как-то по-пайтоновски получить из списка множеств, например такого: [{1, 2, 4, 7}, {8, 10, 5}, {9, 3, 6}, {0, 4, 7, 8, 10}] Список с объединёнными множествами. Объединение происходит по признаку пересечения. Т.е. если множества пересекаются, то объединяются. Для приведённого примера должно получится [{1, 2, 4, 7, 0, 5, 8, 10}, {9, 3, 6}]
neumond
почему?
Нужно читать что такое асинк и для чего его создавали. Спойлер: для I/O и серверов с 10к соединениями. Не для циклов с принтами.
&
а что мне взять?
Не взять, а идти читать, что такое синхронное и асинхронное выполнение и почему параллельность и конкурентность это не одно и то же
Saintmood
https://en.wikipedia.org/wiki/Cooperative_multitasking
&
А в чём всё-таки разница?
Во-первых, я не настоящий сварщик Во-вторых, если я не ошибаюсь, параллельность однозначно подразумевает одновременное выполнение А конкурентность не обязательно про это Переключение контекста в рамках асинхронности - конкурентность И нормально называется это параллелизм, а не параллельность
Saintmood
если у тебя while True из которого нету передачи управления - гайки
Anonymous
Посоветуйте хороший впс с серверами в Нидерландах за долларов 10-15
&
мне нужна паралельность. циклы никак зависить друг от друга не будут
А вообще, тебе нужны либо потоки, либо процессы, смотря что ты делаешь
Anonymous
привет