Ευγένιος
Почитай, https://m.habr.com/company/zerotech/blog/339900/
Ευγένιος
Ну это если тебе реально нужное параллельное исполнение.
Anonymous
я сейчас про треды а не про стримы. в русском языки и то и то называется поток. в пендосовском струя и поток чуть разные штуки (у кодеров)
Anonymous
да в оригинале задача такая - 13 лямов базы, нужно пройтись по ним и красиво так сделать копию причем максимально быстро. можно подождать и час пока оно копируется. но хотелось бы в 10 тредов его по 1000 записей копировать и чтобы независимо от того - закончился ли десятый тред, первый брал новую задачу когда прошлая завершена
Anonymous
просто закинуть 13 лямов в массив и запустить паралелльку на 10 вайлов это переполняет оперативку из-за 13 лямов
Anonymous
надо чтоб по косарю и вайлом подкидывало по мере копирования еще 1000 еще 1000 еще 1000
Anonymous
независимо от статуса пачки тредов, а в зависимости от завершенности задачи конкретного треда. то есть в первом треде может выполняться запись первой тысячи, а в пятом уже шестая тысяча пошла
Ευγένιος
Я подобное на пыхе реализовал, ну реализовывал многопроцессностью.
Anonymous
вот я ебся ебся на пыхе с птредсами на винде но заепалсо
Anonymous
с большего было но там еще сложнее когда кроме тредов надо еще на классы поделить и непонятно какие переменные общие какие частные какие сериализуемые какие нет
Ευγένιος
Просто на момент выполнения той задачи я не знал про треды в пыхе.
Anonymous
вообще пыха в последнее время напрягает своей приватной областью видимости в каждой функции но публичной в каждом файле
Anonymous
в ноде с точностью наоборот.
Anonymous
был бы инструмент это изменять может и летало б
呼ば
Приветствую! Написал простой сервер на expressjs, который забирает данные из API, передает в шаблонизатор и отдает получившийся HTML клиенту. Пока нагрузка низкая все ок, но как только я пытаюсь провести нагрузочное тестирование нода перестает видеть API
呼ば
в чем может быть проблема?
呼ば
getaddrinfo ENOTFOUND
呼ば
для HTTP запросов юзаю axios
Timoschenko
ребят. loadBalancer.js еще актуальный ? смотрю репозиторий ажно с 15го года не обновлялся. мож знаект кто ?
Alex
просто закинуть 13 лямов в массив и запустить паралелльку на 10 вайлов это переполняет оперативку из-за 13 лямов
В kue можно очереди создавать Для очереди можно определить функцию - что будем делать с данными в очереди И устанавливать максимальное кол-во параллельных выполнений Использует redis
Aleksei
да в оригинале задача такая - 13 лямов базы, нужно пройтись по ним и красиво так сделать копию причем максимально быстро. можно подождать и час пока оно копируется. но хотелось бы в 10 тредов его по 1000 записей копировать и чтобы независимо от того - закончился ли десятый тред, первый брал новую задачу когда прошлая завершена
если на уровне данных. Выборка из базы А все равно должна производиться одна, иначе ты будешь гонять одни и те же данные по 10 раз. Редис промежуточные результаты не уместит и не придется преобразовывать типы данных. Данные берем из базы А стримом. Пайпим его в transform, где склеиваем по 1000 строк (если так принципиально) и пайпим в wtitable на в вставку. Параллелить их лишено смысла, тупо отправляешь на инсерт в базу Б. Тут позаботься о том, чтобы максимальный размер пула подключения к БД стоял побольше. Все равно ботлнеком (узким местом) в этой передаче будет база Б на миллионы записей, куда ты инсертишь. Если я неправ, вываливайте кучу
Anonymous
Ухты. А где воткнуть как это базу стримом считывать правильно?
Anton
Котики, а кто то пробовал использовать http заголовок 103 для подсказок? С экспрессом?
Andru
Anton
мяу?
Alexander
ну, я 103 не юзал, но проблем возникнуть не должно
Alexander
а в чем вопрос?
Ilyas
Привет, а есть модуль который из разметки выносит инлайн стили, а разметки классы фигачит?
Anton
ну, я 103 не юзал, но проблем возникнуть не должно
Похоже экспресс просто закрывает соединение curl -i http://sf/ HTTP/1.1 103 Early Hints Server: nginx/1.12.2 Date: Fri, 08 Jun 2018 08:11:52 GMT Content-Type: text/html; charset=utf-8 Connection: keep-alive X-Powered-By: Express Cache-Control: max-age=90, public Link: <client.b2c392f59341004d98e6.css>; as="style"; rel="preload" Link: <client.bundle.js>; as="script"; rel="preload" Link: </store/509481.json>; rel="preload"; as="script" Link: <https://unpkg.com/react@16/umd/react.development.js>; rel="preload"; as="script" Link: <https://unpkg.com/react-dom@16/umd/react-dom.development.js>; rel="preload"; as="script" Link: </worker.js>; rel="preload"; as="script" Link: </javascript/fontfaceobserver.standalone.js>; as="script"; rel="preload" Link: </javascript/fontloader.min.js>; as="script"; rel="preload" Link: </favicon-16x16.png>; as="image"; rel="preload" Link: </favicon-32x32.png>; as="image"; rel="preload" Access-Control-Allow-Origin: * Server-Timing: dataload;desc="Reading cache";dur=0 Server-Timing: ssr;desc="SSR";dur=10 Server-Timing: fulltime;desc="Full time";dur=16 Vary: Accept-Encoding curl: (52) Empty reply from server Отправка: app.use((req, res, next) => { res.status(103); ... res.append('Link', `</store/${Math.floor(Date.now() / 3000000)}.json>; rel="preload"; as="script"`); next(); }); А дальше уже разбираются роуты и sssr. Если убрать res.status(103), то работает
Andrey 😼
Похоже экспресс просто закрывает соединение curl -i http://sf/ HTTP/1.1 103 Early Hints Server: nginx/1.12.2 Date: Fri, 08 Jun 2018 08:11:52 GMT Content-Type: text/html; charset=utf-8 Connection: keep-alive X-Powered-By: Express Cache-Control: max-age=90, public Link: <client.b2c392f59341004d98e6.css>; as="style"; rel="preload" Link: <client.bundle.js>; as="script"; rel="preload" Link: </store/509481.json>; rel="preload"; as="script" Link: <https://unpkg.com/react@16/umd/react.development.js>; rel="preload"; as="script" Link: <https://unpkg.com/react-dom@16/umd/react-dom.development.js>; rel="preload"; as="script" Link: </worker.js>; rel="preload"; as="script" Link: </javascript/fontfaceobserver.standalone.js>; as="script"; rel="preload" Link: </javascript/fontloader.min.js>; as="script"; rel="preload" Link: </favicon-16x16.png>; as="image"; rel="preload" Link: </favicon-32x32.png>; as="image"; rel="preload" Access-Control-Allow-Origin: * Server-Timing: dataload;desc="Reading cache";dur=0 Server-Timing: ssr;desc="SSR";dur=10 Server-Timing: fulltime;desc="Full time";dur=16 Vary: Accept-Encoding curl: (52) Empty reply from server Отправка: app.use((req, res, next) => { res.status(103); ... res.append('Link', `</store/${Math.floor(Date.now() / 3000000)}.json>; rel="preload"; as="script"`); next(); }); А дальше уже разбираются роуты и sssr. Если убрать res.status(103), то работает
Всё норм же выглядит?
Andrey 😼
Пустой ответ - это так и должно быть
Andrey 😼
Хедеры же есть, тела нет у 100-х
Anton
Хедеры же есть, тела нет у 100-х
Но браузер тоже ничего не получает.
Andrey 😼
А что браузер должен получить от 103-го кода?
Anton
Он должен получить 103, получить линки для предзагрузки, дальше получить 200, оставшиеся заголовки и тело.
Anton
Если я правильно понял как работает 103
Alexei
А почему это должно быть быстрее, чем просто загрузить тело, а потом все остальное?
Shade
Всем привет. Подскажите как в express.js не выводить такую ошибку в браузер res.json(401, {msg: error})
Cenator 🐈
при чем тут браузер?
Alexander
Здравствуйте. У меня проблема отлова ошибки. Вот пример кода который поступает в первый миддлвейр if (ctx.from.id || ctx.channel_post) { console.log('Have id') } else { console.log('Its undefined!') } Дело в том, что ctx может иметь ЛИБО поле from.id либо channel_post И я получаю в любом случае исключение TypeError: Cannot read property 'id' of undefined Как избавиться от ошибки? Я пробовал такое if (ctx.from.id === undefined) { console.log('undefined') } Но сравнение не проводится, сразу получаю ошибку.
Alexei
и валится на стадии if
Shade
Я имею ввиду, можно ли как-то убрать http://prntscr.com/jsfaur Но саму ошибку обрабатывать в мидлваре клиента
Anton
А почему это должно быть быстрее, чем просто загрузить тело, а потом все остальное?
???? не понял вопроса. 103 заголовок — альтернатива пушу. сервер отправляет его на 1 запрос, и браузер сразу начинает предзагружать ресурсы. потом идут обычные заголовки и тело документа
Shade
ок, какием образом?
Anton
О! Вижу в https://github.com/allnulled/express-http-response/blob/35fc6ccfc9c0f7aafc648434a37a2ced99252d6b/src/express-http-support.js /** * @name {ExpressResponse}.statusEarlyHints * @type {Function} * @code 103 * @status EarlyHints * @return {ExpressResponse} */ res.statusEarlyHints = function() { res.status(103); // return res; };
Alexander
так у тебя from undefined
Да, как-то я не подумал. Теперь действительно получается поймать undefined на ctx.from Спасибо
Anton
Ну, тут к браузеру вопросы (:
Хром поддерживает 103, так что думаю это я криворучу
Alexei
Изучи лучше про http2 и сервер пуши
Anton
Изучи лучше про http2 и сервер пуши
так они как бэ есть и работают
Anton
но это — быстрее на выходе
Alexei
вот мой изначальный вопрос и был - за счет чего. я не понимаю
Alexei
и как браузер должен понять, что после ответа на этот 103 он должен еще что-то запросить, чтобы тело получить?
Alexei
хм. почитал про 103. получается, что сервер на 1 запрос должен ответить 2 кодами. сперва 103, а потом 200 с телом
Alexei
интересная технология! но это уж слишком на спичках экономия получается
Anton
у меня от количества мс загрузки зависят kpi, а от них зарплата, есть за что бороться.
Cenator 🐈
кек
Alexei
Похоже экспресс просто закрывает соединение curl -i http://sf/ HTTP/1.1 103 Early Hints Server: nginx/1.12.2 Date: Fri, 08 Jun 2018 08:11:52 GMT Content-Type: text/html; charset=utf-8 Connection: keep-alive X-Powered-By: Express Cache-Control: max-age=90, public Link: <client.b2c392f59341004d98e6.css>; as="style"; rel="preload" Link: <client.bundle.js>; as="script"; rel="preload" Link: </store/509481.json>; rel="preload"; as="script" Link: <https://unpkg.com/react@16/umd/react.development.js>; rel="preload"; as="script" Link: <https://unpkg.com/react-dom@16/umd/react-dom.development.js>; rel="preload"; as="script" Link: </worker.js>; rel="preload"; as="script" Link: </javascript/fontfaceobserver.standalone.js>; as="script"; rel="preload" Link: </javascript/fontloader.min.js>; as="script"; rel="preload" Link: </favicon-16x16.png>; as="image"; rel="preload" Link: </favicon-32x32.png>; as="image"; rel="preload" Access-Control-Allow-Origin: * Server-Timing: dataload;desc="Reading cache";dur=0 Server-Timing: ssr;desc="SSR";dur=10 Server-Timing: fulltime;desc="Full time";dur=16 Vary: Accept-Encoding curl: (52) Empty reply from server Отправка: app.use((req, res, next) => { res.status(103); ... res.append('Link', `</store/${Math.floor(Date.now() / 3000000)}.json>; rel="preload"; as="script"`); next(); }); А дальше уже разбираются роуты и sssr. Если убрать res.status(103), то работает
тут сервер не посылает 200 и в этом видимо проблема
Alexei
а экспресс вообще так умеет? посылать 2 кода ответа на 1 запрос? не думаю
Suicide Liza
у вас было такое что private packages которые через auth user работают через npm i работает а yarnpkg показывает 404?
Alexei
followlocation стоит?
хто? кто стоит? причем тут это?
Nik
хто? кто стоит? причем тут это?
https://curl.haxx.se/docs/faq.html#How_do_I_tell_curl_to_follow_HTT
Nik
>Curl does not follow so-called redirects by default. что-то мне подсказывает что второй ответ приходит именно после редиректа
Alexei
а как связан курл и умение экспресса посылать 2 кода ответа на 1 запрос?
Alexei
curl -L работает так: посылает запрос. если ответили кодом 3ХХ, то курл посылает следующий запрос в то, что указано в заголовке Location. а тут придумали совсем про другое. в ответ на запрос сперва ответить кодом 103, а потом, когда тело готово - в том же соединении ответить уже телом с кодом 200
Anton
это где такое?
template monster r&d
Anton
тут сервер не посылает 200 и в этом видимо проблема
так соединение закрывал. обошел https://www.npmjs.com/package/early-hints
Andru
кто-нить работает с интеркассой из ноды?
Anonymous
Судари, день добрый. Два насущных вопроса явились ко мне: 1. Опытные девы, подскажите, какую либу вы использовали для работы с rabbitMQ? (сейчас работаю через стандартную amqplib, может есть варианты получше) 2. Подскажите, что полезного можно поставить на WebStorm из плагинов и в целом по конфигурации? (хотелось бы подсветку типа переменной, форматирование по cmd + s, etc)
Anton
https://twitter.com/patrickhamann/status/1005024058164031488 бля
Firdavs
hello