енот
ну да
John
Спасибо
Евгений
Как можно отлаживать http-запросы в VSCode? Fiddler упорно не видит исходящие соединения, хотя браузер ловит.
Igor
let worker = async () => { for (let i in seriesLinks) { let seriesLink = seriesLinks[i] // let donloadImgDone = await downloadSeriesImg(seriesLink) seriesLink += '#tab=5' let arrayOfModels = await createJsonOfModelsInSeries(seriesLink) let json = JSON.stringify(arrayOfModels); fs.writeFile(`./${i}.json`, json, 'utf8', function(err) { if (err) throw err; console.log(`Список моделей по серии ${i}`); }); } } Ребята почему у меня при обходе массива, повторно не падает в функцию createJsonOfModelsInSeries Просто завершается типа успех, массив из 700 значение а после первого полностью пройденного завершается
Евгений
есть такой плагин: https://marketplace.visualstudio.com/items?itemName=humao.rest-client
немного не в ту сторону. Мне нужно смотреть, что отсылает нода (axios/superagent/http)
Mannaro
Товарищи, подскажите пакет, который можно вызывать при старте node в тестовом режиме (из кода) и который в консоль будет показывать, мол, пакет, который прописан в package.json и установленный по факту отличаются)
Anonymous
То есть про var можно на фиг забыть и юзать везде let???
у let свой прикол - дважды let не напишешь - exception но лучше писать код так чтобы и не приходилось, т.е. забить на var
Mannaro
а то часто бывают моменты, когда кто-то обновит версию пакета, запушит, дургие разработчики забирают изменения, а npm update сделать забудут.
Anonymous
код дай createJsonOfModelsInSeries
Cenator 🐈
Anonymous
помогите плиз с этим
writeFile у тебя асинхронное, тоже оберни в промиз
Anonymous
а еще может эксепшен кидается предыдущей функцией какой-то
Igor
writeFile у тебя асинхронное, тоже оберни в промиз
во внешнюю функцию с промисом вынес и все равно...
Stepan
во внешнюю функцию с промисом вынес и все равно...
Я не совсем понял твою проблему, ты эту функцию два раза выполняешь но отрабатывает 1?
Igor
Я не совсем понял твою проблему, ты эту функцию два раза выполняешь но отрабатывает 1?
у меня при обхолде массива выполняется этот код несколько раз (должен) а выполняется только 1
Igor
Я не совсем понял твою проблему, ты эту функцию два раза выполняешь но отрабатывает 1?
createJsonOfModelsInSeries вот эта функция не срабатывает дважды и ошибок не выходит. просто завершается
Stepan
можешь ее код скинуть
Stepan
да, резолвит
и почему используешь for in для массива?
Igor
можешь ее код скинуть
function createJsonOfModelsInSeries(seriesLink) { return new Promise((resolve, reject) => { try{ nightmare.goto(seriesLink) .wait(timeDelay) .inject('js', './jquery-3.3.1.min.js') .wait(timeDelay) .scrollTo(999999999999999999999999999, 0) .evaluate(function() { let colNames = [] var shortNames = [] $('table > thead > tr > th').each( function(index, element) { let str = $(element).text().replace(/ /g, '_') colNames.push(str) }) $('table > tbody > tr').each( function(index, element) { var item = {} let link = $(element).find('a').attr('href') if (!!link) { if (shortNames.indexOf(link) === -1) { item['link'] = link let arr = [] let i = 0 $(element).find('.tplvalue.cell-level.data-model').each( function(index, element) { let elVal = $(element).html() if (arr.indexOf(elVal) === -1) { arr.push(elVal) item[colNames[index]] = $(element).html() i++ } }) shortNames.push(item) } } }) return shortNames }) .end() .then(result => {resolve(result) }); }catch(e){ console.log(e) reject(e) } }) }
Igor
и почему используешь for in для массива?
потому что уже незнаю чем обойти лишь бы заработало
Kronic
"лишь бы заработало" - с этих слов всегда начинается история любого велосипеда...
Anonymous
выведи console.log внутри своей функции
Anonymous
проверь сколько раз она реально стреляет
Anonymous
мне кажется тебе надо прибиндить в кэлбек твоего возвращаемого промиза переданный аргумент
Anonymous
а то он каждый раз работает с актуальным обьектом и возможно 10 раз делает одно и то же
Anonymous
хотя нет, там seriesLink делается через let, значит каждый раз новый
Anonymous
а вот в верхней функции seriesLinks куда ведет. так-то в асюнк ты ее обернул, но с каким обьектом она работает опять же проверить
Anonymous
и да, чем делать try/catch лучше написать обработчик типа return promise .then(data => [null, data]) .catch(err => [err]) ; и вообще забить на такое слово как reject. ну можно как бы пользоваться но кода больше. лучше возвращать resolve() с бросаемой ошибкой, на мой взгляд удобнее
Denis
Коллеги, всем привет!
Denis
Кто нибудь с работал с ClickHouse
Anonymous
у тебя действительно петабайты данных?
Anonymous
или ты делаешь что "скоро будут петабайты года через три и лучше сделать сейчас а заодно научиться"
Anonymous
под петабайтами я понимаю очереди которые записываются в базу сразу пачкой размером в несколько гигов
Anonymous
до 50-100 миллионов записей обычная SQL база тебе за глаза. да что далеко ходить - у Алекса Ярыгина логи пишутся одновременно в SQL и в Elastic (у которого индексы толстые что та свинья) - и у него гигабайты логов и летает поиск по этим логам что твой самолет. я хз, если ты не решил сделать свой поисковик зачем тебе кликхауз
Denis
У нас тизерная рекламная сесть
Denis
и у нас 100кк событий в сутки
Denis
Нужна более качественная аналитика данных
Anonymous
ага я отваливаю, понял =) простите дедушка, вы как сделаете скажите мне, я тоже очень бы хотел посмотреть
Denis
конкуренты во всю пользуются =)
Denis
СМИ2 например
Denis
даже драйвера и граф интерфейс выпустили =)
Denis
С эластиком года 3 назад завезал
Andrey
https://t.me/clickhouse_ru
Andrey
тут вот точно есть кто работает + его разработчики там есть
Varyen
кликхаус очень крут
Varyen
просто магия из коробки
Denis
Та, есть пара либ под ноду но чет не пойму как работать
Denis
толи в реалтайме писать туда
Denis
толи агрегировать сначала в редис, а потом другим сервисом разгребать пачку записей сразу
Varyen
я поверх какой-то существующей немного дописал, там в целом то все просто
Varyen
а чего не хватает то?
Denis
У меня косяк с имнсертами
Varyen
они рекомендуют пачками кидать инзерты, можно самому сначала накапливать
Varyen
а потом при превышении уже делать запрос
Andrey
толи в реалтайме писать туда
на конференции спрашивали
Andrey
сказали лучше батчами
Varyen
я так и делаю собственно
Varyen
либо раз в 5 секунд, либо при превышении какого-то количества запросов
Denis
redis.lrange(collectionName, 0, -1, (err, messages) => { let clickhouseStream = ch.query ('INSERT INTO clickscloud.events', {inputFormat: 'TSV'}, callback); _.each(messages, (m, key, cb)=> { try { let v = JSON.parse(m); if (v[6] !== null && v[16] !== 'block') { clickhouseStream.write(v); } else { console.log(m); } }catch (e) { console.log(m); } }); clickhouseStream.end(); });
Denis
Вот такая конструкция у меня не завелась
Denis
Точнее так
Denis
С делал TSV файл
Denis
и пробовал грузить его
Denis
но, он почему то брал только первую запись
Denis
ее вставлял
Denis
а все остальное игнорировал
Varyen
сейчас посмотрю как я делал
Denis
Буду благодарен
Varyen
INSERT INTO ${to} FORMAT JSONEachRow и дальше ряды через \n
Denis
А ряды json строкой ?
Varyen
ага