Tishka17
Называй конкретно и понятно
Kel0
Гайз, есть ли в селениуме способ перехватить js реквесты на урлы?? Тыкните меня в доку если есть
Vlad.Art
Называй конкретно и понятно
Я пишу небольшую апи для репортинг системы и это название "экземпляр" очень даже конкретно описывает то, что там будет. Экземпляр отчета с владельцем, доступами, состоянием и т.д. Есть идеи какой можно синоним использовать?
Alexander
Шаблон(template) для незаполненного отчёта. Экземпляр(instance) для заполненного
Vlad.Art
"отчёт" не катит?
Уже использую для таблицы, где собраны его данные, со ссылкой на экземпляр Хотя, можно переименовать в data и report использовать для этих целей как вариант
Tishka17
У меня сейчас похожее название
Андрей
У нас просто template и report
Alexander
report_template и report
Да, может и так быть
Tishka17
instance - это экземпляр. Экземпляр чего - непонятно
Alexander
Все равно не очень понятно, зачем заполненные отчёты хранить в переменных
Alexander
Если речь о возвращаемом из апи по запросу, то скорее: report_type и data
Alexander
Без всяких экземпляров
Андрей
О переменных в коде, я думаю
Андрей
0_0
Alexander
О таблицах в бд
Ну лучше для них не использовать служебные имена СУБД
Vlad.Art
Буду думать как переназвать, спасибо
Владимир
Это как ценообразование- если по такой цене покупают, всем класть на объективность)
Aleх
Ребят, привет, кто-то пользовался селениумом, если ли возможность заходить в хром с селиниума с гугл-аккаунтом?
Андрей
Есть
Azamat
привет
Alexander
Очень вдумчиво))))
Alexander
привет
nometa.xyz
Nikita
привет
neprivet.ru
Anonymous
Есть веб-сервис на Python 3.7. Флоу следующее: 1. Пользователь может загружать файлы (xls/csv) либо давать урл на гугл таблицу. 2. В таблице может быть неограниченное число строк - до 80к, например. 3. В каждой строке хранятся данные. Из каждой строки создаётся новая запись в базе данных (postgresql) 4. Каждая запись при сохранении индексируется в ElasticSearch. 5. Перед сохранением записи в бд нужно циклом пройти по каждой строке, чтобы привести данные в нужный формат. Много времени уходит на саму обработку данных, чтобы привести их к нужному формату. Ну и делать 80к итераций это тоже зашквар ещё тот. Всё это дело я вынес в celery. Как можно оптимизировать? Потоки? Мультипроцессы? Селери чанки?
âDêšwu öBipci
Обработка по идее cpu-bound, так что треды
Vladimir
Процессы мб? Ибо треды гил
Cosmic Egg
скорее всего, хотел сказать процессы, да
Cosmic Egg
какие треды на cpu-bound и пухтон, ты чего
Anonymous
Понял, буду пробовать процессы тогда
Cosmic Egg
Понял, буду пробовать процессы тогда
к сожалению, с цпу-баунд в Питоне в принципе сложно найти решение лучше, чем ProcessPool в текущее время. Разве что написать твою обработку стринги на С/С++, и запускать эту обработку через процесс пул Питона)00))
Cosmic Egg
(не шутка, некоторые проекты решают проблему именно так)
Андрей
Можно в C-коде отпускать GIL и запускать его в тредпуле
Тоже оговорки есть, Алекс писал недавно
Cosmic Egg
Тоже оговорки есть, Алекс писал недавно
Я сюда первый раз зашла за несколько месяцев, залинкуй плис, интересно
sexst
https://t.me/ru_python/1260056
Блин, ну естественно сам по себе код на Си не отпустит ничего. Это нельзя назвать оговорочкой
Anonymous
Так я и сказал — отпустить гил
Anonymous
Есть веб-сервис на Python 3.7. Флоу следующее: 1. Пользователь может загружать файлы (xls/csv) либо давать урл на гугл таблицу. 2. В таблице может быть неограниченное число строк - до 80к, например. 3. В каждой строке хранятся данные. Из каждой строки создаётся новая запись в базе данных (postgresql) 4. Каждая запись при сохранении индексируется в ElasticSearch. 5. Перед сохранением записи в бд нужно циклом пройти по каждой строке, чтобы привести данные в нужный формат. Много времени уходит на саму обработку данных, чтобы привести их к нужному формату. Ну и делать 80к итераций это тоже зашквар ещё тот. Всё это дело я вынес в celery. Как можно оптимизировать? Потоки? Мультипроцессы? Селери чанки?
питон хоть и тормозной, но чтоб долго парсить 80тыс строк - это уже перебор. Может дело в " Из каждой строки создаётся новая запись в базе данных (postgresql)"?
Anonymous
кто-то юзает pygithub ? Я планировал написать подобное на асинке или потоках, но задался вопросом: А это кому-нибудь нужно?
Anonymous
эхх
Anonymous
На 80к не пробовал, но 4.5к занимает до двух минут
прям парсит 4.5тыс строк две минуты? или в бд кладет 2 минуты?
Anonymous
прям парсит 4.5тыс строк две минуты? или в бд кладет 2 минуты?
В бд кладёт быстро. Все время уходит на обработку и приведение к единому формату
Anonymous
В общем, все время занимает обработка
Well Done
Кинь тогда код что ли, может в нем проблема
Anonymous
Кинь тогда код что ли, может в нем проблема
Там много логики раскиданной по разным методам. Сейчас соберу все в кучу..
decorator-factory
А с python3.6 не совместимо?
decorator-factory
А, нет, asyncpg с pypy не работает, не получится.
Anonymous
Кинь тогда код что ли, может в нем проблема
В общем, так будет проще и понятней, думаю https://dpaste.org/G6MC
Anonymous
как вытащить 0.1312 13.3123 и подобное из текста?
German
Регулярками
Anonymous
\d+\.\d+
спасибо
Anonymous
Может есть сервисы, которым нужна обертка, или либы в которые поконтрибуть нужно?
Anonymous
Хотел фреймворк написать свой
Anonymous
(хотя бы попытаться)
sexst
Хотел фреймворк написать свой
фреймворк ради фреймворка?)
Anonymous
Айограм
сложна
Anonymous
в чём ошибка?
Alex
в чём ошибка?
написано же. имя id_ не определено
Anonymous
написано же. имя id_ не определено
если поменять местами с name ошибка переходит на n
Alex
если поменять местами с name ошибка переходит на n
Если говорить случайные бессмысленные фразы, результат будет соответствующим
Anonymous
5 сек
Well Done
В общем, так будет проще и понятней, думаю https://dpaste.org/G6MC
Могу посоветовать профилировать код, отвечающий за обработку или написать более простую версию того же самого кода (сказать легко, а сделать трудно). Я бы начал с замеров работы функций (можно обернуть декоратором для удобства) и всего кода в целом debug_start_time = time.time() <Обработка 4.5k на две минуты (используем декораторы для вывода времени работы)> print(time.time() - debug_start_time) Я особо не в теме, как и что у вас вызывается, исходные данные и конечные и т.д. и т.п., поэтому вряд ли чем еще смогу помочь Разбирайся с этим, пиши, если что (мне почему-то кажется, что больше всего времени съедают функции, исходный код которых отсутствовал в файле)