🍁 Jaŭhien
50 тредов сделают 1000 запросов за одну минуту
Kop
Скрипт только это делает или ещё что-то?
В целом гет и пост запросы. В основном на постах отправляет тело и потом чекают ответ
🍁 Jaŭhien
На асинкио можно запустить все 1000 запросов разом и не умереть, но нужно ли?
Kop
50 тредов сделают 1000 запросов за одну минуту
Верно, но мне казалось что такой подход не очень хороший, поэтому и спросил
🍁 Jaŭhien
Oleg
Зачем ждать час, когда можно 15-20 минут ?)
1000 запросов за 20 минут это меньше 1 рпс. Какой тут вообще смысл обсуждать перфоманс?
Kop
Всегда было неудобно разбивать работу по листу на несколько тредов
Oleg
2-3 треда тебе хватит, ты их даже не почувствуешь
есть вероятность, что даже в одном треде последовательно можно сделать
Kop
Чтоб не вручную делать выборку сколько 1,2,3 треду дать данных
Kop
Но хочется побыстрее
Sergey
У меня скриптик на работе каждое утро, в 7 часов парсит театральный агрегатор (5-6 страниц, потом около 250 событий - индивидуальная страница на каждое событие) делает это где то минуту-полторы. Мог бы ускорить, но не вижу смысла. Меня не банят, я сайт не заваливаю запросами
Oleg
ну значит тредов добавь. Переписывать на aiohttp смысла в твоем случае нет
Vladyslav
Вопрос. Есть токен Google Analytics в файле на пк, но не знаю как подставить правильно.
Код: https://dpaste.de/Gfri
Kop
У меня скриптик на работе каждое утро, в 7 часов парсит театральный агрегатор (5-6 страниц, потом около 250 событий - индивидуальная страница на каждое событие) делает это где то минуту-полторы. Мог бы ускорить, но не вижу смысла. Меня не банят, я сайт не заваливаю запросами
Ну а тут условно пока быстро все не отработает, машина не уедет
Проксимов
Kop
И народу хочется максимально быстро. Будут треды значит :)
Oleg
И народу хочется максимально быстро. Будут треды значит :)
треды в твоем случае самый простой вариант раз уже все сделано на requests
Sergey
Ну а тут условно пока быстро все не отработает, машина не уедет
Если нет страха быть забаненными (может свой сервер) и нужна скорость, я бы переписал на go
Richard
Kop
Если нет страха быть забаненными (может свой сервер) и нужна скорость, я бы переписал на go
Долго разбираться с чтением xlsx файлов на го
Kop
А делать прослойку из нескольких приложений не особо есть желание
Vladyslav
Есть токен Google Analytics в файле на пк, но не знаю как подставить правильно.
Код: https://repl.it/@VladLitvinyuk/CluelessReasonableOpenlook
Kop
Так что треды
🍁 Jaŭhien
В чем проблема у тебя? Пока ты тут пишешь - уже давно бы треды прикрутил
Richard
🍁 Jaŭhien
Это совсем не сложно
Sergey
Долго разбираться с чтением xlsx файлов на го
Там есть библиотеки работы с xls, ничего сложного, но хозяин-барин
Oleg
Если нет страха быть забаненными (может свой сервер) и нужна скорость, я бы переписал на go
Ну сомнительно, что го будет принципиально быстрее в такой задаче
Oleg
если у него конечно парсинга там нет
🍁 Jaŭhien
Парсинг можно в параллельном процессе запустить
🍁 Jaŭhien
А можно и без этого
Kop
Если результат ок то все хорошо, не ок отправить уведомление и пробнуть ещё раз, но немного по другому
Kop
И если и это на прокатило идти дальше
Kop
В общем понятно все, треды любимы и это хороший тон
Sergey
В общем понятно все, треды любимы и это хороший тон
Если нет желания учиться, а необходимо быстрее сделать, то тогда то, что проще, если хочется задачу рассматривать как опыт на будущее, тогда асинхронно
Aleksey
хелоу, подскажите плес что это за фрмат??
Aleksey
Aleksey
не json , а что?)
Alex
да просто на repr похоже
Aleksey
что это такое)
Aleksey
как с ним работать
Alex
эм… это вообще похоже просто на кусок питон кода.
Aleksey
Alex
как с ним работать зависит от того откуда ты его получаешь и что хочешь с ним сделать.
Anonymous
как мат ожидание вычислить в питоне без костылей?
Anonymous
метод есть такой?
Anonymous
mean в нампае я так понял это и есть мат ожидание
Denis
Это среднее
Denis
Матожидание это некоторый интеграл, его в общем случае нельзя вычислить
Anonymous
мат ожидание это интеграл?
Egor
для непрерывного распределения
Denis
Для любого
Egor
для дискретного это сумма ряда
Denis
Сумма ряда тоже интеграл лебега
Egor
зачем считать интеграл лебега, когда можно посчитать сумму?
Denis
Сумму тоже в общем случае непонятно как считать
Anonymous
интеграл лебега применяется для функции распределения
Anonymous
а у меня уже есть данные
Denis
У данных нет матожидания, матожидание есть у случайной величины
Denis
Можно посчитать их среднее
Anonymous
это по сути среднее значение
Egor
пока не получается понять, что ты хочешь
Konstantin
на сервере есть django и postgres. Хочу узнать коннект и данные от него. Питона не знаю, но очень нужно. Заранее спасибо
Konstantin
спасибо, разобрался
Nekot
Anonymous
Дано a = [1,2,3] b = [4,5,6]. Как заменить число на 6 если встретится 2 в первом списке? Не переводя в строку.
Александр
Александр
Число 2 в списке а но не по индексу
создать новый список из элементов a, на каждой итерации меняя 2 на 6?
Anonymous
создать новый список из элементов a, на каждой итерации меняя 2 на 6?
проблема в том, что я всё перерыл и вижу метод replace только для строк. Можно ли не переводя число в строку как-то это сделать?