Pavel
это да) но код всё равно код падает
Можешь конкретно дать вывод в консоль?
twisted.sonnet
У тебя await-а нет, если список не пуст, не будет переключение контекста
добавил await в гист вывод: worker-1 processed: 1 worker-2 processed: 2 worker-3 processed: 3 Process finished with exit code 0
Archie
Archie
как сделать с этого list, если оно щас str??
Pavel
добавил await в гист вывод: worker-1 processed: 1 worker-2 processed: 2 worker-3 processed: 3 Process finished with exit code 0
В общем, у тебя один воркер полностью обрабатывал три значения, а из-за того, что сет пустой, а ты пытаешься из него pop(), то эксепш вылеает
Pavel
в тупую не понимаю почему он останавливается
Ты так и не дал какая ошибка вылетает
Pavel
Вообще, не очень хорошая идея вот так вот шарить между тасками мутабельные объекты. Для передачи задач лучше использовать очереди
Pavel
То есть использовать модель акторов
twisted.sonnet
Вообще, не очень хорошая идея вот так вот шарить между тасками мутабельные объекты. Для передачи задач лучше использовать очереди
ну так они используют ссылку на объект... ошибки нет никакой заапдейтил гист с выводом: https://gist.github.com/twisted-Sonnet/738b7daf86655f8c506f0b3b4b672bff
Mant1
Всем привет, подскажите как проще всего мерджить json файлы с одинаковыми полями?
Pavel
В питоне все ссылками является, объекты только по ссылке передаются
Pavel
Всем привет, подскажите как проще всего мерджить json файлы с одинаковыми полями?
у словаря был метод, чтобы мерджить его с другим словарем... или вот так вот: {**a, **b}
twisted.sonnet
ссылка на объект? Это ты про что?
короче я очень хочу понять почему код останавливается... по логике, которую я написал - все три корутины worker должны висеть в бесконечных циклах и ожидать пока в items что-то появится(в этом примере я не стал писать код для пополнения сета)
Mant1
Нужно все суммировать по идее, но как это правильно сделать с json, чтобы ничего не нарушить...
Pavel
Нужно все суммировать по идее, но как это правильно сделать с json, чтобы ничего не нарушить...
Я тебе могу посоветовать свою функцию написать, это не долго. Нужной библиотеки или встроенной фукнции я не знаю
Mant1
txt вообще можно прокинуть через командную строку, все что в папке мерджиться в один, как бы такое с json провернуть :)
Pavel
Так будет легче, чем мне объяснять
Pavel
Нужно написать две функции: одну для словарей, другую для списков
Mant1
При чем тут количество полей?
Как потом проверить корректность?
Камрон)
Привет всем, есть кто сталкивался с такой проблемой [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1076)')))
Pavel
Как потом проверить корректность?
Они будут достаточно малы
twisted.sonnet
Открой дебаггер
я чёт на втыке, не получается дебажить асинхронный код -_-
Pavel
я чёт на втыке, не получается дебажить асинхронный код -_-
Дело в том, что он у тебя будет синхронный
Pavel
А так да, асинхронный код не дебажится
twisted.sonnet
Убери эвейт и посмотри
всмысле, как убери? весь код асинхронный.. и только await убрать?
Pavel
всмысле, как убери? весь код асинхронный.. и только await убрать?
Я про https://gist.github.com/twisted-Sonnet/738b7daf86655f8c506f0b3b4b672bff#file-wtf_with_sleep-py-L12
Камрон)
Ну или сертификат кривой, или кто-то подменяет ответ сервета
Вряд ли второй случай. У меня мак, как можно устранить это? Поискал в гугле, вроде советуют, что у меня не срабатывает
twisted.sonnet
Тиша(@Tishka17 ), мб ты поможешь? https://gist.github.com/twisted-Sonnet/738b7daf86655f8c506f0b3b4b672bff
Tishka17
всмысле, как убери? весь код асинхронный.. и только await убрать?
А нельзя отдельно протестировать нужную функцию, а потом просто её заюзать в твоём коде общем?
Pavel
да
А трейсбек есть?
twisted.sonnet
А трейсбек есть?
бля, ты коммент под гистом видел?)
twisted.sonnet
А трейсбек есть?
его нет, ошибок нет, я же говорил тебе) он просто сука останавливается...
Pavel
его нет, ошибок нет, я же говорил тебе) он просто сука останавливается...
Это все какая-то дичь, которая кушает трейсбек...
twisted.sonnet
set().pop() - ошибка
if not items: continue до .pop() не доходит если сет пустой, ну бляяя
Pavel
Ааааа
Pavel
Я понял почему нет трейсбеков
twisted.sonnet
gather и так создает таски
у меня gather в другой корутине... в ней же будет запускаться и корутина добавляющая новые значения в сет..
Pavel
Я понял почему нет трейсбеков
Если таск создаешь и он сломался, то лупу будет насрать, эта ошибка выкинеться только тогда ты за эвейтишь таск. А ты создаешь таск и забываешь о нем. (когда ты запускаешь конкретную корутину через run, то при падении ее, луп тоже упадет)
twisted.sonnet
gather и так создает таски
в функции run я не создаю таски
Pavel
в функции run я не создаю таски
Все корутины, которые ты в gather пихаешь оборачиваются в таски и запускаются
Pavel
Ты мог обойтись без run_workers
twisted.sonnet
Ты мог обойтись без run_workers
ты имеешь ввиду создать лист воркеров и добавить в лист ко всем корутинам?
twisted.sonnet
Ты мог обойтись без run_workers
прост это сжатый пример и в функции run мне не очень хотелось писать нечто подобное
twisted.sonnet
@pvlzhr вообщем так код не падает await asyncio.create_task(worker(items, n)) твой совет верный) спс
Pavel
прост это сжатый пример и в функции run мне не очень хотелось писать нечто подобное
async def run(items: Set, count: int): await asyncio.gather(*[worker(items, i] for i in range(count))
Pavel
async def run(items: Set, count: int): await asyncio.gather(*[worker(items, i] for i in range(count))
Хотя, конечно, gather не лучший вариант, так как подразумается, что оно результат корутин вернет
twisted.sonnet
async def run(items: Set, count: int): await asyncio.gather(*[worker(items, i] for i in range(count))
та это понятно) просто помимо пула воркеров будут ещё корутины, которые добавляют новые значения в сет
Igor
та это понятно) просто помимо пула воркеров будут ещё корутины, которые добавляют новые значения в сет
Какой-то странный код, почему там не asyncio.Queue, они ведь как раз для таких задач?
twisted.sonnet
Как я уже говорил, заменил сет на очередь
а как это связано с тем? что gather не лучший вариант?
twisted.sonnet
Какой-то странный код, почему там не asyncio.Queue, они ведь как раз для таких задач?
аааа, я вспомнил.. мне сет нужен потому что внутри будут датаклассы, чтобы отсекать дубликаты
twisted.sonnet
Звучит как какой-то бред
почему? наоборот это нормальное решение имхо
Igor
Можно другими путями обойтись, сделать очередь для результатов. В неё таски будут складывать ответы, а вместо gather ты просто count раз читаешь из очередт
Pavel
почему? наоборот это нормальное решение имхо
Откуда у тебя эти датаклассы появляются?
Anonymous
#работа Нужна функция на PIL для координации печати текста на изображения. Входные данные: текст, размер шрифта, картинка. На выходе изображение с текстом. Цену предлагаете
twisted.sonnet
Откуда у тебя эти датаклассы появляются?
из нескольких других корутин, которые парсят определённые данные с сайтов, создают объекты этих датаклассов и кидают в этот сет
twisted.sonnet
Можно другими путями обойтись, сделать очередь для результатов. В неё таски будут складывать ответы, а вместо gather ты просто count раз читаешь из очередт
одна отработка воркера - 1 запрос к сервису, мне не выгодно отсекать дубликаты по ответам... хотя мб я не так тебя понял
Pavel
из нескольких других корутин, которые парсят определённые данные с сайтов, создают объекты этих датаклассов и кидают в этот сет
Создай сет, запихай его в очередь. А можно еще лучше сделать: проверяешь есть ли объект в сете, если нет пихаешь его туда и в очередь и тебе не надо будет дожидаться когда все парсеры завершат работу, чтобы начать обрабатывать ответы