енот
ну да
John
Спасибо
Евгений
Как можно отлаживать http-запросы в VSCode? Fiddler упорно не видит исходящие соединения, хотя браузер ловит.
Igor
let worker = async () => {
for (let i in seriesLinks) {
let seriesLink = seriesLinks[i]
// let donloadImgDone = await downloadSeriesImg(seriesLink)
seriesLink += '#tab=5'
let arrayOfModels = await createJsonOfModelsInSeries(seriesLink)
let json = JSON.stringify(arrayOfModels);
fs.writeFile(`./${i}.json`, json, 'utf8', function(err) {
if (err) throw err;
console.log(`Список моделей по серии ${i}`);
});
}
}
Ребята почему у меня при обходе массива, повторно не падает в функцию createJsonOfModelsInSeries
Просто завершается типа успех, массив из 700 значение а после первого полностью пройденного завершается
UsulPro
Евгений
Andy
Mannaro
Товарищи, подскажите пакет, который можно вызывать при старте node в тестовом режиме (из кода) и который в консоль будет показывать, мол, пакет, который прописан в package.json и установленный по факту отличаются)
Mannaro
а то часто бывают моменты, когда кто-то обновит версию пакета, запушит, дургие разработчики забирают изменения, а npm update сделать забудут.
Igor
Anonymous
код дай createJsonOfModelsInSeries
Cenator 🐈
Mannaro
Cenator 🐈
Anonymous
а еще может эксепшен кидается предыдущей функцией какой-то
Stepan
Igor
Stepan
можешь ее код скинуть
Stepan
да, резолвит
и почему используешь for in для массива?
Igor
можешь ее код скинуть
function createJsonOfModelsInSeries(seriesLink) {
return new Promise((resolve, reject) => {
try{
nightmare.goto(seriesLink)
.wait(timeDelay)
.inject('js', './jquery-3.3.1.min.js')
.wait(timeDelay)
.scrollTo(999999999999999999999999999, 0)
.evaluate(function() {
let colNames = []
var shortNames = []
$('table > thead > tr > th').each(
function(index, element) {
let str = $(element).text().replace(/ /g, '_')
colNames.push(str)
})
$('table > tbody > tr').each(
function(index, element) {
var item = {}
let link = $(element).find('a').attr('href')
if (!!link) {
if (shortNames.indexOf(link) === -1) {
item['link'] = link
let arr = []
let i = 0
$(element).find('.tplvalue.cell-level.data-model').each(
function(index, element) {
let elVal = $(element).html()
if (arr.indexOf(elVal) === -1) {
arr.push(elVal)
item[colNames[index]] = $(element).html()
i++
}
})
shortNames.push(item)
}
}
})
return shortNames
})
.end()
.then(result => {resolve(result)
});
}catch(e){
console.log(e)
reject(e)
}
})
}
Stepan
Kronic
"лишь бы заработало" - с этих слов всегда начинается история любого велосипеда...
Anonymous
выведи console.log внутри своей функции
Anonymous
проверь сколько раз она реально стреляет
Anonymous
мне кажется тебе надо прибиндить в кэлбек твоего возвращаемого промиза переданный аргумент
Anonymous
а то он каждый раз работает с актуальным обьектом и возможно 10 раз делает одно и то же
Anonymous
хотя нет, там seriesLink делается через let, значит каждый раз новый
Stepan
Anonymous
а вот в верхней функции seriesLinks куда ведет. так-то в асюнк ты ее обернул, но с каким обьектом она работает опять же проверить
Anonymous
и да, чем делать try/catch лучше написать обработчик типа
return promise
.then(data => [null, data])
.catch(err => [err])
;
и вообще забить на такое слово как reject.
ну можно как бы пользоваться но кода больше.
лучше возвращать resolve() с бросаемой ошибкой, на мой взгляд удобнее
Denis
Коллеги, всем привет!
Denis
Кто нибудь с работал с ClickHouse
Anonymous
у тебя действительно петабайты данных?
Anonymous
или ты делаешь что "скоро будут петабайты года через три и лучше сделать сейчас а заодно научиться"
Anonymous
под петабайтами я понимаю очереди которые записываются в базу сразу пачкой размером в несколько гигов
Anonymous
до 50-100 миллионов записей обычная SQL база тебе за глаза.
да что далеко ходить - у Алекса Ярыгина логи пишутся одновременно в SQL и в Elastic (у которого индексы толстые что та свинья) - и у него гигабайты логов и летает поиск по этим логам что твой самолет.
я хз, если ты не решил сделать свой поисковик зачем тебе кликхауз
Denis
У нас тизерная рекламная сесть
Denis
и у нас 100кк событий в сутки
Denis
Нужна более качественная аналитика данных
Anonymous
ага я отваливаю, понял =) простите дедушка, вы как сделаете скажите мне, я тоже очень бы хотел посмотреть
Denis
конкуренты во всю пользуются =)
Denis
СМИ2 например
Denis
даже драйвера и граф интерфейс выпустили =)
Denis
С эластиком года 3 назад завезал
Andrey
https://t.me/clickhouse_ru
Andrey
тут вот точно есть кто работает + его разработчики там есть
Varyen
кликхаус очень крут
Varyen
просто магия из коробки
Denis
Та, есть пара либ под ноду но чет не пойму как работать
Denis
толи в реалтайме писать туда
Denis
толи агрегировать сначала в редис, а потом другим сервисом разгребать пачку записей сразу
Varyen
я поверх какой-то существующей немного дописал, там в целом то все просто
Varyen
а чего не хватает то?
Denis
У меня косяк с имнсертами
Varyen
они рекомендуют пачками кидать инзерты, можно самому сначала накапливать
Varyen
а потом при превышении уже делать запрос
Andrey
Andrey
сказали лучше батчами
Varyen
я так и делаю собственно
Varyen
либо раз в 5 секунд, либо при превышении какого-то количества запросов
Denis
redis.lrange(collectionName, 0, -1, (err, messages) => {
let clickhouseStream = ch.query ('INSERT INTO clickscloud.events', {inputFormat: 'TSV'}, callback);
_.each(messages, (m, key, cb)=> {
try {
let v = JSON.parse(m);
if (v[6] !== null && v[16] !== 'block') {
clickhouseStream.write(v);
} else {
console.log(m);
}
}catch (e) {
console.log(m);
}
});
clickhouseStream.end();
});
Denis
Вот такая конструкция у меня не завелась
Denis
Точнее так
Denis
С делал TSV файл
Denis
и пробовал грузить его
Denis
но, он почему то брал только первую запись
Denis
ее вставлял
Denis
а все остальное игнорировал
Varyen
сейчас посмотрю как я делал
Denis
Буду благодарен
Varyen
INSERT INTO ${to} FORMAT JSONEachRow и дальше ряды через \n
Denis
А ряды json строкой ?
Varyen
ага