надо чтоб по косарю и вайлом подкидывало по мере копирования еще 1000 еще 1000 еще 1000

независимо от статуса пачки тредов, а в зависимости от завершенности задачи конкретного треда. то есть в первом треде может выполняться запись первой тысячи, а в пятом уже шестая тысяча пошла

Я подобное на пыхе реализовал, ну реализовывал многопроцессностью.

вот я ебся ебся на пыхе с птредсами на винде но заепалсо

с большего было но там еще сложнее когда кроме тредов надо еще на классы поделить и непонятно какие переменные общие какие частные какие сериализуемые какие нет

Просто на момент выполнения той задачи я не знал про треды в пыхе.

вообще пыха в последнее время напрягает своей приватной областью видимости в каждой функции но публичной в каждом файле

в ноде с точностью наоборот.

был бы инструмент это изменять может и летало б

Просто на момент выполнения той задачи я не знал про треды в пыхе.

остался код на процессах? дай посмотрю

Приветствую! Написал простой сервер на expressjs, который забирает данные из API, передает в шаблонизатор и отдает получившийся HTML клиенту. Пока нагрузка низкая все ок, но как только я пытаюсь провести нагрузочное тестирование нода перестает видеть API

в чем может быть проблема?

getaddrinfo ENOTFOUND

для HTTP запросов юзаю axios

ребят. loadBalancer.js еще актуальный ? смотрю репозиторий ажно с 15го года не обновлялся. мож знаект кто ?

просто закинуть 13 лямов в массив и запустить паралелльку на 10 вайлов это переполняет оперативку из-за 13 лямов

В kue можно очереди создавать Для очереди можно определить функцию - что будем делать с данными в очереди И устанавливать максимальное кол-во параллельных выполнений Использует redis

да в оригинале задача такая - 13 лямов базы, нужно пройтись по ним и красиво так сделать копию причем максимально быстро. можно подождать и час пока оно копируется. но хотелось бы в 10 тредов его по 1000 записей копировать и чтобы независимо от того - закончился ли десятый тред, первый брал новую задачу когда прошлая завершена

Максимально быстро - перегнать стримом на уровне fs.

да в оригинале задача такая - 13 лямов базы, нужно пройтись по ним и красиво так сделать копию причем максимально быстро. можно подождать и час пока оно копируется. но хотелось бы в 10 тредов его по 1000 записей копировать и чтобы независимо от того - закончился ли десятый тред, первый брал новую задачу когда прошлая завершена

если на уровне данных. Выборка из базы А все равно должна производиться одна, иначе ты будешь гонять одни и те же данные по 10 раз. Редис промежуточные результаты не уместит и не придется преобразовывать типы данных. Данные берем из базы А стримом. Пайпим его в transform, где склеиваем по 1000 строк (если так принципиально) и пайпим в wtitable на в вставку. Параллелить их лишено смысла, тупо отправляешь на инсерт в базу Б. Тут позаботься о том, чтобы максимальный размер пула подключения к БД стоял побольше. Все равно ботлнеком (узким местом) в этой передаче будет база Б на миллионы записей, куда ты инсертишь. Если я неправ, вываливайте кучу

Ухты. А где воткнуть как это базу стримом считывать правильно?

Котики, а кто то пробовал использовать http заголовок 103 для подсказок? С экспрессом?

мяу?

ну, я 103 не юзал, но проблем возникнуть не должно

а в чем вопрос?

Привет, а есть модуль который из разметки выносит инлайн стили, а разметки классы фигачит?

ну, я 103 не юзал, но проблем возникнуть не должно

Похоже экспресс просто закрывает соединение curl -i http://sf/ HTTP/1.1 103 Early Hints Server: nginx/1.12.2 Date: Fri, 08 Jun 2018 08:11:52 GMT Content-Type: text/html; charset=utf-8 Connection: keep-alive X-Powered-By: Express Cache-Control: max-age=90, public Link: <client.b2c392f59341004d98e6.css>; as="style"; rel="preload" Link: <client.bundle.js>; as="script"; rel="preload" Link: </store/509481.json>; rel="preload"; as="script" Link: <https://unpkg.com/react@16/umd/react.development.js>; rel="preload"; as="script" Link: <https://unpkg.com/react-dom@16/umd/react-dom.development.js>; rel="preload"; as="script" Link: </worker.js>; rel="preload"; as="script" Link: </javascript/fontfaceobserver.standalone.js>; as="script"; rel="preload" Link: </javascript/fontloader.min.js>; as="script"; rel="preload" Link: </favicon-16x16.png>; as="image"; rel="preload" Link: </favicon-32x32.png>; as="image"; rel="preload" Access-Control-Allow-Origin: * Server-Timing: dataload;desc="Reading cache";dur=0 Server-Timing: ssr;desc="SSR";dur=10 Server-Timing: fulltime;desc="Full time";dur=16 Vary: Accept-Encoding curl: (52) Empty reply from server Отправка: app.use((req, res, next) => { res.status(103); ... res.append('Link', `</store/${Math.floor(Date.now() / 3000000)}.json>; rel="preload"; as="script"`); next(); }); А дальше уже разбираются роуты и sssr. Если убрать res.status(103), то работает

Похоже экспресс просто закрывает соединение curl -i http://sf/ HTTP/1.1 103 Early Hints Server: nginx/1.12.2 Date: Fri, 08 Jun 2018 08:11:52 GMT Content-Type: text/html; charset=utf-8 Connection: keep-alive X-Powered-By: Express Cache-Control: max-age=90, public Link: <client.b2c392f59341004d98e6.css>; as="style"; rel="preload" Link: <client.bundle.js>; as="script"; rel="preload" Link: </store/509481.json>; rel="preload"; as="script" Link: <https://unpkg.com/react@16/umd/react.development.js>; rel="preload"; as="script" Link: <https://unpkg.com/react-dom@16/umd/react-dom.development.js>; rel="preload"; as="script" Link: </worker.js>; rel="preload"; as="script" Link: </javascript/fontfaceobserver.standalone.js>; as="script"; rel="preload" Link: </javascript/fontloader.min.js>; as="script"; rel="preload" Link: </favicon-16x16.png>; as="image"; rel="preload" Link: </favicon-32x32.png>; as="image"; rel="preload" Access-Control-Allow-Origin: * Server-Timing: dataload;desc="Reading cache";dur=0 Server-Timing: ssr;desc="SSR";dur=10 Server-Timing: fulltime;desc="Full time";dur=16 Vary: Accept-Encoding curl: (52) Empty reply from server Отправка: app.use((req, res, next) => { res.status(103); ... res.append('Link', `</store/${Math.floor(Date.now() / 3000000)}.json>; rel="preload"; as="script"`); next(); }); А дальше уже разбираются роуты и sssr. Если убрать res.status(103), то работает

Всё норм же выглядит?

Пустой ответ - это так и должно быть

Хедеры же есть, тела нет у 100-х

Хедеры же есть, тела нет у 100-х

Но браузер тоже ничего не получает.

А что браузер должен получить от 103-го кода?

Он должен получить 103, получить линки для предзагрузки, дальше получить 200, оставшиеся заголовки и тело.

Если я правильно понял как работает 103

А почему это должно быть быстрее, чем просто загрузить тело, а потом все остальное?

Всем привет. Подскажите как в express.js не выводить такую ошибку в браузер res.json(401, {msg: error})

при чем тут браузер?

Здравствуйте. У меня проблема отлова ошибки. Вот пример кода который поступает в первый миддлвейр if (ctx.from.id || ctx.channel_post) { console.log('Have id') } else { console.log('Its undefined!') } Дело в том, что ctx может иметь ЛИБО поле from.id либо channel_post И я получаю в любом случае исключение TypeError: Cannot read property 'id' of undefined Как избавиться от ошибки? Я пробовал такое if (ctx.from.id === undefined) { console.log('undefined') } Но сравнение не проводится, сразу получаю ошибку.

Здравствуйте. У меня проблема отлова ошибки. Вот пример кода который поступает в первый миддлвейр if (ctx.from.id || ctx.channel_post) { console.log('Have id') } else { console.log('Its undefined!') } Дело в том, что ctx может иметь ЛИБО поле from.id либо channel_post И я получаю в любом случае исключение TypeError: Cannot read property 'id' of undefined Как избавиться от ошибки? Я пробовал такое if (ctx.from.id === undefined) { console.log('undefined') } Но сравнение не проводится, сразу получаю ошибку.

так у тебя from undefined

и валится на стадии if

Я имею ввиду, можно ли как-то убрать http://prntscr.com/jsfaur Но саму ошибку обрабатывать в мидлваре клиента

А почему это должно быть быстрее, чем просто загрузить тело, а потом все остальное?

???? не понял вопроса. 103 заголовок — альтернатива пушу. сервер отправляет его на 1 запрос, и браузер сразу начинает предзагружать ресурсы. потом идут обычные заголовки и тело документа

Я имею ввиду, можно ли как-то убрать http://prntscr.com/jsfaur Но саму ошибку обрабатывать в мидлваре клиента

обрабатывай ошибку корректно

ок, какием образом?

???? не понял вопроса. 103 заголовок — альтернатива пушу. сервер отправляет его на 1 запрос, и браузер сразу начинает предзагружать ресурсы. потом идут обычные заголовки и тело документа

на 1 запрос можно отправлять тело и эти заголовки. и будет то же самое. зачем его отдельным делать?

О! Вижу в https://github.com/allnulled/express-http-response/blob/35fc6ccfc9c0f7aafc648434a37a2ced99252d6b/src/express-http-support.js /** * @name {ExpressResponse}.statusEarlyHints * @type {Function} * @code 103 * @status EarlyHints * @return {ExpressResponse} */ res.statusEarlyHints = function() { res.status(103); // return res; };

так у тебя from undefined

Да, как-то я не подумал. Теперь действительно получается поймать undefined на ctx.from Спасибо

Он должен получить 103, получить линки для предзагрузки, дальше получить 200, оставшиеся заголовки и тело.

Ну, тут к браузеру вопросы (:

Ну, тут к браузеру вопросы (:

Хром поддерживает 103, так что думаю это я криворучу

Изучи лучше про http2 и сервер пуши

Изучи лучше про http2 и сервер пуши

так они как бэ есть и работают

но это — быстрее на выходе

вот мой изначальный вопрос и был - за счет чего. я не понимаю

и как браузер должен понять, что после ответа на этот 103 он должен еще что-то запросить, чтобы тело получить?

хм. почитал про 103. получается, что сервер на 1 запрос должен ответить 2 кодами. сперва 103, а потом 200 с телом

интересная технология! но это уж слишком на спичках экономия получается

у меня от количества мс загрузки зависят kpi, а от них зарплата, есть за что бороться.

кек

у меня от количества мс загрузки зависят kpi, а от них зарплата, есть за что бороться.

это где такое?

Похоже экспресс просто закрывает соединение curl -i http://sf/ HTTP/1.1 103 Early Hints Server: nginx/1.12.2 Date: Fri, 08 Jun 2018 08:11:52 GMT Content-Type: text/html; charset=utf-8 Connection: keep-alive X-Powered-By: Express Cache-Control: max-age=90, public Link: <client.b2c392f59341004d98e6.css>; as="style"; rel="preload" Link: <client.bundle.js>; as="script"; rel="preload" Link: </store/509481.json>; rel="preload"; as="script" Link: <https://unpkg.com/react@16/umd/react.development.js>; rel="preload"; as="script" Link: <https://unpkg.com/react-dom@16/umd/react-dom.development.js>; rel="preload"; as="script" Link: </worker.js>; rel="preload"; as="script" Link: </javascript/fontfaceobserver.standalone.js>; as="script"; rel="preload" Link: </javascript/fontloader.min.js>; as="script"; rel="preload" Link: </favicon-16x16.png>; as="image"; rel="preload" Link: </favicon-32x32.png>; as="image"; rel="preload" Access-Control-Allow-Origin: * Server-Timing: dataload;desc="Reading cache";dur=0 Server-Timing: ssr;desc="SSR";dur=10 Server-Timing: fulltime;desc="Full time";dur=16 Vary: Accept-Encoding curl: (52) Empty reply from server Отправка: app.use((req, res, next) => { res.status(103); ... res.append('Link', `</store/${Math.floor(Date.now() / 3000000)}.json>; rel="preload"; as="script"`); next(); }); А дальше уже разбираются роуты и sssr. Если убрать res.status(103), то работает

тут сервер не посылает 200 и в этом видимо проблема

а экспресс вообще так умеет? посылать 2 кода ответа на 1 запрос? не думаю

у вас было такое что private packages которые через auth user работают через npm i работает а yarnpkg показывает 404?

а экспресс вообще так умеет? посылать 2 кода ответа на 1 запрос? не думаю

followlocation стоит?

followlocation стоит?

хто? кто стоит? причем тут это?

хто? кто стоит? причем тут это?

https://curl.haxx.se/docs/faq.html#How_do_I_tell_curl_to_follow_HTT

>Curl does not follow so-called redirects by default. что-то мне подсказывает что второй ответ приходит именно после редиректа

а как связан курл и умение экспресса посылать 2 кода ответа на 1 запрос?

curl -L работает так: посылает запрос. если ответили кодом 3ХХ, то курл посылает следующий запрос в то, что указано в заголовке Location. а тут придумали совсем про другое. в ответ на запрос сперва ответить кодом 103, а потом, когда тело готово - в том же соединении ответить уже телом с кодом 200

это где такое?

template monster r&d

тут сервер не посылает 200 и в этом видимо проблема

так соединение закрывал. обошел https://www.npmjs.com/package/early-hints

кто-нить работает с интеркассой из ноды?

Судари, день добрый. Два насущных вопроса явились ко мне: 1. Опытные девы, подскажите, какую либу вы использовали для работы с rabbitMQ? (сейчас работаю через стандартную amqplib, может есть варианты получше) 2. Подскажите, что полезного можно поставить на WebStorm из плагинов и в целом по конфигурации? (хотелось бы подсветку типа переменной, форматирование по cmd + s, etc)

Судари, день добрый. Два насущных вопроса явились ко мне: 1. Опытные девы, подскажите, какую либу вы использовали для работы с rabbitMQ? (сейчас работаю через стандартную amqplib, может есть варианты получше) 2. Подскажите, что полезного можно поставить на WebStorm из плагинов и в целом по конфигурации? (хотелось бы подсветку типа переменной, форматирование по cmd + s, etc)

Amqplib вполне достаточно, можно разве что не самим переподключение городить, а найти стороннее решение

https://twitter.com/patrickhamann/status/1005024058164031488 бля

hello

how migrate mongodb in node.js

всем привет знатокам парни я новичек и вот какая задача стоит: впс на нем убунту + прога постаянная висяшая при вызове этой проги с определенными параметрами она дает результат. надо перехватить результат и отправить по запросу в браузер я так думаю что пишется сервер приложение на ноджс которая по запросу запускает в консоли приложение с нужным параметром, перехватывает результат и отправляет как ответ по запросу можете подсказать с чего начать, где почитать, может есть какие то примеры и так далее направьте в правильном направлении пожалуйста

всем привет знатокам парни я новичек и вот какая задача стоит: впс на нем убунту + прога постаянная висяшая при вызове этой проги с определенными параметрами она дает результат. надо перехватить результат и отправить по запросу в браузер я так думаю что пишется сервер приложение на ноджс которая по запросу запускает в консоли приложение с нужным параметром, перехватывает результат и отправляет как ответ по запросу можете подсказать с чего начать, где почитать, может есть какие то примеры и так далее направьте в правильном направлении пожалуйста

shelljs + node-fetch https://npmjs.com

https://stackoverflow.com/questions/8425399/getting-stdout-from-an-executed-application

всем привет знатокам парни я новичек и вот какая задача стоит: впс на нем убунту + прога постаянная висяшая при вызове этой проги с определенными параметрами она дает результат. надо перехватить результат и отправить по запросу в браузер я так думаю что пишется сервер приложение на ноджс которая по запросу запускает в консоли приложение с нужным параметром, перехватывает результат и отправляет как ответ по запросу можете подсказать с чего начать, где почитать, может есть какие то примеры и так далее направьте в правильном направлении пожалуйста

можете использоваться express фреймверк, на сайте фреймверка есть примеры

how migrate mongodb in node.js

Hi This is a node js chat for Russian speaking community

Hi This is a node js chat for Russian speaking community

а есть eng чат?

а есть eng чат?

они обычно не в телеге собираются)

В каком-нибудь дискорде

Слаке

Редит

ща тг мир захватит, тут будут

ща тг мир захватит, тут будут

он пока что в арабских странах рулит) Там вот может и есть чаты по ноде))

давайте сделаем eng чат, сделайте кто-нить)

Блин это надо с заявкой в министерство чатов идти

для иностранных чатов в иностарнное министерство

t.me/nodejs_eng и там даже 5 участников!