Как можно отлаживать http-запросы в VSCode? Fiddler упорно не видит исходящие соединения, хотя браузер ловит.

есть такой плагин: https://marketplace.visualstudio.com/items?itemName=humao.rest-client

есть такой плагин: https://marketplace.visualstudio.com/items?itemName=humao.rest-client

немного не в ту сторону. Мне нужно смотреть, что отсылает нода (axios/superagent/http)

Товарищи, подскажите пакет, который можно вызывать при старте node в тестовом режиме (из кода) и который в консоль будет показывать, мол, пакет, который прописан в package.json и установленный по факту отличаются)

То есть про var можно на фиг забыть и юзать везде let???

у let свой прикол - дважды let не напишешь - exception но лучше писать код так чтобы и не приходилось, т.е. забить на var

а то часто бывают моменты, когда кто-то обновит версию пакета, запушит, дургие разработчики забирают изменения, а npm update сделать забудут.

let worker = async () => { for (let i in seriesLinks) { let seriesLink = seriesLinks[i] // let donloadImgDone = await downloadSeriesImg(seriesLink) seriesLink += '#tab=5' let arrayOfModels = await createJsonOfModelsInSeries(seriesLink) let json = JSON.stringify(arrayOfModels); fs.writeFile(`./${i}.json`, json, 'utf8', function(err) { if (err) throw err; console.log(`Список моделей по серии ${i}`); }); } } Ребята почему у меня при обходе массива, повторно не падает в функцию createJsonOfModelsInSeries Просто завершается типа успех, массив из 700 значение а после первого полностью пройденного завершается

помогите плиз с этим

код дай createJsonOfModelsInSeries

а то часто бывают моменты, когда кто-то обновит версию пакета, запушит, дургие разработчики забирают изменения, а npm update сделать забудут.

легче повесить хук

легче повесить хук

на гит? О_о

на гит? О_о

да

помогите плиз с этим

writeFile у тебя асинхронное, тоже оберни в промиз

а еще может эксепшен кидается предыдущей функцией какой-то

writeFile у тебя асинхронное, тоже оберни в промиз

во внешнюю функцию с промисом вынес и все равно...

во внешнюю функцию с промисом вынес и все равно...

Я не совсем понял твою проблему, ты эту функцию два раза выполняешь но отрабатывает 1?

Я не совсем понял твою проблему, ты эту функцию два раза выполняешь но отрабатывает 1?

у меня при обхолде массива выполняется этот код несколько раз (должен) а выполняется только 1

Я не совсем понял твою проблему, ты эту функцию два раза выполняешь но отрабатывает 1?

createJsonOfModelsInSeries вот эта функция не срабатывает дважды и ошибок не выходит. просто завершается

createJsonOfModelsInSeries вот эта функция не срабатывает дважды и ошибок не выходит. просто завершается

а эта функция промис возвращает?

а эта функция промис возвращает?

да, резолвит

можешь ее код скинуть

да, резолвит

и почему используешь for in для массива?

можешь ее код скинуть

function createJsonOfModelsInSeries(seriesLink) { return new Promise((resolve, reject) => { try{ nightmare.goto(seriesLink) .wait(timeDelay) .inject('js', './jquery-3.3.1.min.js') .wait(timeDelay) .scrollTo(999999999999999999999999999, 0) .evaluate(function() { let colNames = [] var shortNames = [] $('table > thead > tr > th').each( function(index, element) { let str = $(element).text().replace(/ /g, '_') colNames.push(str) }) $('table > tbody > tr').each( function(index, element) { var item = {} let link = $(element).find('a').attr('href') if (!!link) { if (shortNames.indexOf(link) === -1) { item['link'] = link let arr = [] let i = 0 $(element).find('.tplvalue.cell-level.data-model').each( function(index, element) { let elVal = $(element).html() if (arr.indexOf(elVal) === -1) { arr.push(elVal) item[colNames[index]] = $(element).html() i++ } }) shortNames.push(item) } } }) return shortNames }) .end() .then(result => {resolve(result) }); }catch(e){ console.log(e) reject(e) } }) }

и почему используешь for in для массива?

потому что уже незнаю чем обойти лишь бы заработало

function createJsonOfModelsInSeries(seriesLink) { return new Promise((resolve, reject) => { try{ nightmare.goto(seriesLink) .wait(timeDelay) .inject('js', './jquery-3.3.1.min.js') .wait(timeDelay) .scrollTo(999999999999999999999999999, 0) .evaluate(function() { let colNames = [] var shortNames = [] $('table > thead > tr > th').each( function(index, element) { let str = $(element).text().replace(/ /g, '_') colNames.push(str) }) $('table > tbody > tr').each( function(index, element) { var item = {} let link = $(element).find('a').attr('href') if (!!link) { if (shortNames.indexOf(link) === -1) { item['link'] = link let arr = [] let i = 0 $(element).find('.tplvalue.cell-level.data-model').each( function(index, element) { let elVal = $(element).html() if (arr.indexOf(elVal) === -1) { arr.push(elVal) item[colNames[index]] = $(element).html() i++ } }) shortNames.push(item) } } }) return shortNames }) .end() .then(result => {resolve(result) }); }catch(e){ console.log(e) reject(e) } }) }

попробуй .catch(e => reject(e)) добавить в конец nightmare

"лишь бы заработало" - с этих слов всегда начинается история любого велосипеда...

выведи console.log внутри своей функции

проверь сколько раз она реально стреляет

мне кажется тебе надо прибиндить в кэлбек твоего возвращаемого промиза переданный аргумент

а то он каждый раз работает с актуальным обьектом и возможно 10 раз делает одно и то же

хотя нет, там seriesLink делается через let, значит каждый раз новый

хотя нет, там seriesLink делается через let, значит каждый раз новый

try catch не ловит исключение в промисе

а вот в верхней функции seriesLinks куда ведет. так-то в асюнк ты ее обернул, но с каким обьектом она работает опять же проверить

и да, чем делать try/catch лучше написать обработчик типа return promise .then(data => [null, data]) .catch(err => [err]) ; и вообще забить на такое слово как reject. ну можно как бы пользоваться но кода больше. лучше возвращать resolve() с бросаемой ошибкой, на мой взгляд удобнее

Коллеги, всем привет!

Кто нибудь с работал с ClickHouse

у тебя действительно петабайты данных?

или ты делаешь что "скоро будут петабайты года через три и лучше сделать сейчас а заодно научиться"

под петабайтами я понимаю очереди которые записываются в базу сразу пачкой размером в несколько гигов

до 50-100 миллионов записей обычная SQL база тебе за глаза. да что далеко ходить - у Алекса Ярыгина логи пишутся одновременно в SQL и в Elastic (у которого индексы толстые что та свинья) - и у него гигабайты логов и летает поиск по этим логам что твой самолет. я хз, если ты не решил сделать свой поисковик зачем тебе кликхауз

У нас тизерная рекламная сесть

и у нас 100кк событий в сутки

Нужна более качественная аналитика данных

ага я отваливаю, понял =) простите дедушка, вы как сделаете скажите мне, я тоже очень бы хотел посмотреть

конкуренты во всю пользуются =)

СМИ2 например

даже драйвера и граф интерфейс выпустили =)

С эластиком года 3 назад завезал

https://t.me/clickhouse_ru

тут вот точно есть кто работает + его разработчики там есть

кликхаус очень крут

просто магия из коробки

Та, есть пара либ под ноду но чет не пойму как работать

толи в реалтайме писать туда

толи агрегировать сначала в редис, а потом другим сервисом разгребать пачку записей сразу

я поверх какой-то существующей немного дописал, там в целом то все просто

а чего не хватает то?

У меня косяк с имнсертами

они рекомендуют пачками кидать инзерты, можно самому сначала накапливать

а потом при превышении уже делать запрос

толи в реалтайме писать туда

на конференции спрашивали

сказали лучше батчами

я так и делаю собственно

либо раз в 5 секунд, либо при превышении какого-то количества запросов

redis.lrange(collectionName, 0, -1, (err, messages) => { let clickhouseStream = ch.query ('INSERT INTO clickscloud.events', {inputFormat: 'TSV'}, callback); _.each(messages, (m, key, cb)=> { try { let v = JSON.parse(m); if (v[6] !== null && v[16] !== 'block') { clickhouseStream.write(v); } else { console.log(m); } }catch (e) { console.log(m); } }); clickhouseStream.end(); });

Вот такая конструкция у меня не завелась

Точнее так

С делал TSV файл

и пробовал грузить его

но, он почему то брал только первую запись

ее вставлял

а все остальное игнорировал

сейчас посмотрю как я делал

Буду благодарен

INSERT INTO ${to} FORMAT JSONEachRow и дальше ряды через \n

А ряды json строкой ?

ага

А либу какюу юзал ?

вряд ли это самый оптимальный вариант, но работает

@apla/clickhouse

Ага спасибо!

до 50-100 миллионов записей обычная SQL база тебе за глаза. да что далеко ходить - у Алекса Ярыгина логи пишутся одновременно в SQL и в Elastic (у которого индексы толстые что та свинья) - и у него гигабайты логов и летает поиск по этим логам что твой самолет. я хз, если ты не решил сделать свой поисковик зачем тебе кликхауз

кликхаус для очень быстрой аггрегации подходит лучше всего

объемы уже вторичны

Главное что клик хаус позволяет агрегации делать почти в реальном времени

кликхаус для очень быстрой аггрегации подходит лучше всего

в смысле JOINы быстрые очень? то есть имеет смысл в принципе отказываться от my/postgreSQL как такового? моя любить джоины

лол што

причем тут агрегация вообще?

причем тут агрегация вообще?

не знаю

походу оно и видно

походу оно и видно

и что что тебе что-то видно?

может ты испытаешь недостаток превосходства над кем-то и хочешь посмеяться вместо того чтобы тратить время на бесполезных людей? слишком крутой чтобы опускаться до того кем сам был?

бро, перечитай сам свои первые сообщения по поводу кликхауса тут. Хочешь чтобы тебе нормально отвечали - веди себя прилично сам в первую очередь.

теперь чувак который говорит "оно и видно" будет учить меня приличию. ахуенный ты перец

ну я хотя бы знаю что такое агрегация данных и не путаю с джойнами

Не заводится =)

и что блин с того что ты знаешь? ты можешь побеждать? можешь. и собственно каким образом это делает тебя образцом приличия? приличие это в том чтобы зная что можешь победить заткнуть этот животный инстинкт подальше и сглатывая сказать "не, послушай, под агрегацией здесь понимают вот это, на мой взгляд" можно побеждать, а можно быть полезным другим. это противоположная сторона. если побеждаешь - ты не "приличный", ты победитель. если ты изучил и хочешь помочь более слабому падавану - тогда ты приличный и соответственно герой. а то что кое кто привык героем победителя называть это не только он виноват

пиши в личку лучше, я не отвечу (в личке тоже не отвечу)

пиши в личку лучше, я не отвечу (в личке тоже не отвечу)

вот теперь я скажу "оно и видно"