Misha
И как спарсить эти данные
Чувак, советую либо начать с основ (ссылку я кинул выше), либо найди и попробуй пройти гайд по парсингу данных (со страницы, либо JSON, их тонны в сети). А то сейчас мы тебя просто за руку ведем и ты ничего не понимаешь, и ничего не почерпнешь для себя.
👑OGURCHIK🖤
Misha
Он возвращает json ???
Ну вот если до JSON уже дошел в своих поисках - то ищи как работать с полученными данными в виде JSON.
Ruslan
не те вопросы задаете есть файлы нужно детектнуть те что пустые и удалить их
Evgeniy
Сжатие не предлагали?
В нулевых помню майл ру хакеры клали, слали через почту зип архив нулей на несколько терабайт, а там внутри антивирь касперского их автоматом распаковывал
👑OGURCHIK🖤
Где то валяется на пк. 42
Misha
Я знаю
Ну тогда в чем вопрос?
coder2020help
Ну тогда в чем вопрос?
Не могу найти запрос
👑OGURCHIK🖤
Сказали же первый. Как об горох стеной
coder2020help
А что оттуда брать
Misha
Не могу найти запрос
Понятно. Иди учи теорию.
👑OGURCHIK🖤
А что оттуда брать
Параметры и адрес
Evgeniy
не те вопросы задаете есть файлы нужно детектнуть те что пустые и удалить их
Ок. Берешь си. Подбираешь наилучший размер буфера (оптимально — равный примерно половине размера среднего пустого файла, который тебе прилетает). Считываешь в цикле через read этим буфером, чанки складываешь в связный список (чтобы на уже считанную область постоянно память не перевыделять), при этом суммируешь количества считанных байт. Затем выделяешь массив на размер памяти, занятой связными списком, и делаешь рекурсивный memcpy связного списка туда. Связные список фришишь. Затем выбираешь целочисленную unsignt структуру данных максимального размера (64 бита если на 64-битной системе, 32-битную, если на 32-битной), обычно это лонг. Разыменовываешь указатель на выделенную под содержимое считанного файла память как указатель на массив данного типа (не забудь при выделении памяти накинуть несколько байтиков для целого числа элементов такого типа чтоб сегыолт не поймать). Проходишься по ней будто бы элементом данного типа, вычисляя логическую сумму элементов массива. Если логическая сумма == 0, файл пустой.
Evgeniy
Перед считыванием уточни у файловой системы, что у тебя оперативки хватит впихнуть этот файл.
Evgeniy
На питоне так быстро это все не реализовать.
👑OGURCHIK🖤
🤔что это за файлы 0 забитые
coder2020help
а request делать на url кнопки>
Vitaly
не подскажите какой-нить open-source конструктор ботов для vk с возможность редактирования графовых сценариев диалогов?
Alex
Ок. Берешь си. Подбираешь наилучший размер буфера (оптимально — равный примерно половине размера среднего пустого файла, который тебе прилетает). Считываешь в цикле через read этим буфером, чанки складываешь в связный список (чтобы на уже считанную область постоянно память не перевыделять), при этом суммируешь количества считанных байт. Затем выделяешь массив на размер памяти, занятой связными списком, и делаешь рекурсивный memcpy связного списка туда. Связные список фришишь. Затем выбираешь целочисленную unsignt структуру данных максимального размера (64 бита если на 64-битной системе, 32-битную, если на 32-битной), обычно это лонг. Разыменовываешь указатель на выделенную под содержимое считанного файла память как указатель на массив данного типа (не забудь при выделении памяти накинуть несколько байтиков для целого числа элементов такого типа чтоб сегыолт не поймать). Проходишься по ней будто бы элементом данного типа, вычисляя логическую сумму элементов массива. Если логическая сумма == 0, файл пустой.
🤦‍♂️
👑OGURCHIK🖤
Дичь?
sexst
Ок. Берешь си. Подбираешь наилучший размер буфера (оптимально — равный примерно половине размера среднего пустого файла, который тебе прилетает). Считываешь в цикле через read этим буфером, чанки складываешь в связный список (чтобы на уже считанную область постоянно память не перевыделять), при этом суммируешь количества считанных байт. Затем выделяешь массив на размер памяти, занятой связными списком, и делаешь рекурсивный memcpy связного списка туда. Связные список фришишь. Затем выбираешь целочисленную unsignt структуру данных максимального размера (64 бита если на 64-битной системе, 32-битную, если на 32-битной), обычно это лонг. Разыменовываешь указатель на выделенную под содержимое считанного файла память как указатель на массив данного типа (не забудь при выделении памяти накинуть несколько байтиков для целого числа элементов такого типа чтоб сегыолт не поймать). Проходишься по ней будто бы элементом данного типа, вычисляя логическую сумму элементов массива. Если логическая сумма == 0, файл пустой.
mmap файлов отменили?
Alex
Дичь?
Евгений у нас знатный наркоман
coder2020help
Alex
Все так комментируют код?
Tishka17
mmap файлов отменили?
https://t.me/ru_python/1320841 Меня игнорируют
Alex
https://t.me/ru_python/1320841 Меня игнорируют
Вот скажи как ты относишься к бредогенератору в этом чате? Он имеет право на существование?
sexst
Все так комментируют код?
Я вчера куртку лёгкую решил постирать. Так вот там в инструкции реально без переводчика с языка пиктограмм на человеческий хрен обойдёшься
👑OGURCHIK🖤
Я тоже после си не читал
Evgeniy
mmap файлов отменили?
Ну можно и так..
sexst
https://t.me/ru_python/1320841 Меня игнорируют
Блин, это, мягко говоря, несколько раньше было.
Alex
Я не все читаю
ну ты прочитай и скажи свое мнение https://t.me/ru_python/1320983
sexst
Не все же читают каждое сообщение, ещё и внимательно
coder2020help
ребят, а на какой url делать запрос
Evgeniy
mmap + memcmp
в смысле memcmp, ты предлагаешь еще столько же памяти с нулями выделить и сравнить?
Tishka17
в смысле memcmp, ты предлагаешь еще столько же памяти с нулями выделить и сравнить?
Нет. Большой блок выделить заранее и в цикле сравнивать куски с ним
Evgeniy
Нет. Большой блок выделить заранее и в цикле сравнивать куски с ним
битовая сумма быстрее отработает, чем сравнение, memcmp не оч конкретно в этой задаче
Tishka17
битовая сумма быстрее отработает, чем сравнение, memcmp не оч конкретно в этой задаче
1. Схуяли? 2. Что за "битовая сумма"? Как её посчитать?
Evgeniy
1. Схуяли? 2. Что за "битовая сумма"? Как её посчитать?
обычная сумма двух беззнаковых, говорю что битовая, чтоб указать на цель операции
Evgeniy
Двух? А если у нас 10 гигабайт?
а как memcmp по твоему работает?
coder2020help
from urllib import request url = "на какой url сделать запрос/" resp = request.urlopen(url) my1 = resp.readlines() my2 = resp.read() print(resp) print(my2) for line in my1: print(line)
Tishka17
а как memcmp по твоему работает?
Отдельная аппаратная инструкция
Anonymous
я только одну инструкцию помню — STOSW :)
coder2020help
да
а на какой юрл
Anonymous
а на какой юрл
да на любой
coder2020help
отсюда
Alex
какая?
https://stackoverflow.com/questions/21106801/why-is-memcmp-so-much-faster-than-a-for-loop-check
Anonymous
отсюда
а ты хочешь получить расписание?
Anonymous
на этом сайте нет API для получения расписания, скачай в Excel
Alex
хмм, любопытно, не знал
это тебе не очередную хрень нести
Anonymous
не работал с селениум, не подскажу.
coder2020help
ok
coder2020help
here we go again как выбрать одну из этих подсказок? селениум
coder2020help
возможно?
Tishka17
Ок. Берешь си. Подбираешь наилучший размер буфера (оптимально — равный примерно половине размера среднего пустого файла, который тебе прилетает). Считываешь в цикле через read этим буфером, чанки складываешь в связный список (чтобы на уже считанную область постоянно память не перевыделять), при этом суммируешь количества считанных байт. Затем выделяешь массив на размер памяти, занятой связными списком, и делаешь рекурсивный memcpy связного списка туда. Связные список фришишь. Затем выбираешь целочисленную unsignt структуру данных максимального размера (64 бита если на 64-битной системе, 32-битную, если на 32-битной), обычно это лонг. Разыменовываешь указатель на выделенную под содержимое считанного файла память как указатель на массив данного типа (не забудь при выделении памяти накинуть несколько байтиков для целого числа элементов такого типа чтоб сегыолт не поймать). Проходишься по ней будто бы элементом данного типа, вычисляя логическую сумму элементов массива. Если логическая сумма == 0, файл пустой.
Будь добр, указывай в следующий раз явно, что это шутка. Текст очень задорный, но некоторые могут воспринять всерьёз
👑OGURCHIK🖤
а че с этим
Да ты заебал уже
Anonymous
а че с этим
а чего ты хочешь добиться? Тебе лень вручную расписание посмотреть?