Михаил
Здравствуйте, подскажите, пожалуйста, я с помощью модуля request запрашиваю страницу, но с адреса, на который я обратился, было сделано несколько перенаправлений, мне надо собрать все адреса и коды редиректов в этой цепочке, как это сделать?
Cenator 🐈
Анатолий
Михаил
Anonymous
<a href="/statm/43/"><b>Австралия</b></a>
<a href="/statm/41/"><b>Англия</b></a>
<a href="/statm/42/"><b>Россия</b></a>
Как мне, через регулярные выраженяи выбрать именно ссылку, допустим, России?
Cenator 🐈
jsdom
Анатолий
могу псевдовод накидать:
response = request(url);
while (response.code !== 200) {
responses.push(response);
response = request(response.header.location);
}
Anonymous
Я сделал такой пример
(\/statm\/(.*?)><b>Россия<\/b)
, но что-то не то
Vladimir
Лучше не начинать с регулярными выражениями и взять сразу cheerio
Anonymous
Эх, ну ладно)
Михаил
Анатолий
Тока учти что моя поделка требует отсутствия калбеков, либо рекурсии
Анатолий
В идеале асинки
Анатолий
на сколько я помню request работает с калбеками
Cenator 🐈
util.promisify
Михаил
есть requet-promise
Sheldhur
Cenator 🐈
Alexey
Блин операция вычисления хэш суммы оказывается столько сжирает, убрал и запись стала 5ms в общем.
Alexey
И как быть? Вычислять после полной записи из всего файла?
Alexey
На фронте с той же библиотекой вычисляется быстро странно
Sheldhur
а зачем её проверять?
Анатолий
на костер
Что не так с промисифай? Хорошая штука ведь
Анатолий
Alexey
ну я знаю что она не быстрая, но не настолько же и почему такая разница, на клиенте все вместе занимает ~~40ms а на сервере аж 1500
Sheldhur
sha1 сильно жирно для хэш суммы, там чёт попроще есть
Alexey
md5?
Sheldhur
не, ещё проще
Sheldhur
на выходе int будет
Sheldhur
ну и опять же
Sheldhur
нахуя проверять?
Alexey
Целостность
Evgeny
вы же по tcp отправляете
Sheldhur
по какому протоколу файлы грузятся?
Sheldhur
+
Evgeny
можете под конец 1 раз сумму всего файла сравнить если уж так хочется сильно и все.
Alexey
Вообще я на ходу всю эту тему осваиваю сейчас, из статей идеи беру
Evgeny
а зачем файл режете на клиенте?
Sheldhur
это всё на транспортном уровне реализовано
Evgeny
или это были не вы? )
Sheldhur
ниче не надо чекать
Sheldhur
Cenator 🐈
Alexey
Я смотрел библиотеки разные типа resumable.js там через чанки реализовано, Fine uploader тоже
Alexey
Как возобновлять загрузку то если целиком отправлять?
Alexey
Например после закрытия браузера
Sheldhur
файлы большие?
Alexey
Ну я нацеливаюсь на большие да
Alexey
Иначе в поделке смысла нету
Sheldhur
ну тоже не надо ниче чекать
Sheldhur
размер чанка знаешь
Alexey
Ок это учту
Sheldhur
количество тоже
Sheldhur
когда оборвется тоже
Sheldhur
продолжаешь с того же чанка
Evgeny
ну можно например смотреть длинну файла на сервере и отправлять ее на клиент, а там делать смещение в читаемом файле
Alexey
Отлично спасибо за идеи, - 1 зависимость, буду пилить дальше. Спасибо всем!
Анатолий
Sheldhur
Alexey
да
Alexey
Evgeny
Анатолий
серьезная проверка :)
Анатолий
Можешь, просто ради спортивного интереса, если есть возможность быстро заменить на мд5?
Анатолий
мне просто для галочки
Evgeny
ну можно считать кол-во записаных байт ))
Evgeny
можно смотреть индекс до нулей
Evgeny
да там вариантов масса
Sheldhur
ну точно, особенно если файл несколько гб
Evgeny
не вижу никаких проблем
Evgeny
в том числе с фрагментация
Evgeny
для файла размеров несолько гб
Evgeny
в 2018
Анатолий
2к18
Evgeny
такой файл большим можно с натяжкой назвать )
Evgeny
но это имхо ))
Sheldhur
фрагментация потом во время чтения аукнется