Anonymous
Доброе утро!) Нужно скачать 100к файлов. Как бы массово все качнуть асинхронно по списку юрл, что подскажите?
https://overcoder.net/q/36897/%D0%BA%D0%B0%D0%BA%D0%BE%D0%B9-%D1%81%D0%B0%D0%BC%D1%8B%D0%B9-%D0%B1%D1%8B%D1%81%D1%82%D1%80%D1%8B%D0%B9-%D1%81%D0%BF%D0%BE%D1%81%D0%BE%D0%B1-%D0%BE%D1%82%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D1%82%D1%8C-100-000-http-%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2-%D0%B2-python
Маrаt
https://stackoverflow.com/questions/2632520/what-is-the-fastest-way-to-send-100-000-http-requests-in-python
Маrаt
большинству ответов уже больше 10 лет, самое лучшее решение это aiohttp
fiera
А в чем проблема использовать requests?
Vladyslav
А в чем проблема использовать requests?
requests - это, насколько я помню, pure python надстройка над urllib, так что, по условиям задачи, это уже точно не самый быстрый способ.
Vladyslav
"What is the fastest way to send 100,000" (c) fastest!
Маrаt
А в чем проблема использовать requests?
requests синхронный. Придётся использовать потоки, искать оптимальный размер тредпула.
fiera
requests синхронный. Придётся использовать потоки, искать оптимальный размер тредпула.
Да, именно так и реализована моя программа скачивания файлов. Мне, конечно, не требуется обрабатывать 100к урлов, но асинхронно качать 5 файлов он умеет, плюс переключается на следующий файл, если что-то докачалось из 5 файлов
fiera
requests синхронный. Придётся использовать потоки, искать оптимальный размер тредпула.
Короче мой ответ совершенно не актуален, поэтому проехали
O
Есть языки программирования, которые поддерживают максимум 32 битное число?
Tishka17
Tishka17
Компилятором в смысле?
Процессором. Как следствие - компилятором.
Tishka17
Флоат?
Tishka17
Я думал в целых такое решают
Tishka17
А что тогда такое мультипликационная инверсия?
Tishka17
Я нашел только такое определение: В Zn два числа a и b мультипликативно инверсны друг другу, если a*b==1(mod n)
Tishka17
Хз что это, но я понял
Dima
А можно вышматом воспользоваться или это запрещёно??
Tishka17
А можно вышматом воспользоваться или это запрещёно??
А что ты собрался делать? Взять логарифм и найти, где он больше 15?
Dima
ln(n)+ гамма(постоянная Эйлера) 0.577
Dima
n-кол-во элементов
Alexander
тут флоат в общем только в конце нужен, можно в целых посчитать числитель и знаменатель
Dima
Но держу в курсе суммировать надо будет больше 10^(6) элементов
Tishka17
ln(n)+ гамма(постоянная Эйлера) 0.577
А я для тех, кто плохо помнит математику. Откуда тут постоянная Эйлера?
Dima
почитай про гармонический ряж
Tishka17
Аппроксимировать интегралом я могу, а вот это уже сложно
Das
Всем привет, кто нибудь встречался с таким? Кто нибудь сможет Обьяснить в чем тут проблема, я вообще изначально думал что дело в символах . Но нет ошибка 400 почему то странно выскакивает. Хотя на АПИ адрес отправляю один и тот же тип данных str . 9869 - 5221 это длинна строки
Tishka17
400 - это значит данные кривые
Dima
А я для тех, кто плохо помнит математику. Откуда тут постоянная Эйлера?
Нуу вообще постоянная Эйлера равна как раз сумма гармонического ряда - ln(от кол-ва элементов) и устркмленное это все в бесконечность
Dima
Меньше 0.1% будет
Tishka17
Какой компилятор? О чем ты?
Tishka17
Меньше 0.1% будет
0.1% от 15? Надо чекнуть тогда. Я сначала подумал, что от n
Tishka17
Онлайн компилятор? Мы точно о питоне? При чем тут работа процессора?
Tishka17
Но держу в курсе суммировать надо будет больше 10^(6) элементов
За долю секунды посчитал сумму миллиона чисел на питоне
Tishka17
В общем, ответ где-то между 1 и 2 миллионами. Перебором вообще четко решается
Tishka17
В общем, оно тупо перебором решается очень быстро, хз где тут могут быть проблемы с компилятором
Кіт ✙
я конечно не эксперт, но это не похоже на валидный синтаксис питона...
Tishka17
Я бы спросил, почему не вайл?
Tishka17
Значит просто код кривой был
Das
Я тут в переменную вставил 5к русских символов . SyntaxError: Non-UTF-8 code starting with '\xd0' in file В питоне реально есть ограничение на русские символы?
Tishka17
Где-то ты не русский символ вставил, а что-то битое
Tishka17
Откуда вставлял и как?
Das
Взял 5к символов русских в генераторе предложений, вставил его в переменную a = 'тут вставил ' Print (a) И тут ошибка
Tishka17
Вставил в переменную или вставил в свой код?
Tishka17
Полагаю криво вставил
Das
Полагаю криво вставил
Можете проверить какой-то текст вставьте больше 5 к именно русские. И попробуйте принтануть
Tishka17
5к символов в исходнике? Да ну нахрен, даже проверять не буду
Das
5к символов в исходнике? Да ну нахрен, даже проверять не буду
Любые символы русские любые 5к символов на подобие lorem
Tishka17
Ещё раз: я не больной, чтобы тексты такого размера хранить в коде
Das
Ещё раз: я не больной, чтобы тексты такого размера хранить в коде
Можешь тогда сказать? как работать с такими размерами текстов?
Tishka17
Tishka17
Можешь тогда сказать? как работать с такими размерами текстов?
не знаю, а что это за текст? положи в текстовый файл что ли
Митя
такой файл к жизни не вернуть??? это восстановил случайно удаленный(
Tishka17
Что это вообще?
Tishka17
Не похоже на код, какой-то лог и мусор
slair
такой файл к жизни не вернуть??? это восстановил случайно удаленный(
выглядит как кусок логфайла, по-любому это не питон скрипт
Митя
выглядит как кусок логфайла, по-любому это не питон скрипт
был именно скрипт. копии нет, не хотелось бы переписывать снова все
slair
был да сплыл, перезаписан
Митя
и в гите нет?
где я, а где гит?))... нет, я пока рукожоплю локально
Митя
был да сплыл, перезаписан
ну есть еще пару вариантов
slair
ну есть еще пару вариантов
выглядит как кусок фата
slair
пустота
Umarov Islom
Здравствуйте ребят какой из них правильный ?
Umarov Islom
Denis
None of these above
Umarov Islom
Thanks 👍
Mikhail
None of these above
Да нет же... Syntax Error