в секунду? )

нет, в секунду 3к+

А вы какой-то один сервис запросами закидываете или по разным прокидываете? Может на той стороне умирает все и коннекты залипают?

Здарова народ, может кто нибудь сказать что читать новичку по ноде.

документацию

одной документации хватит?

для чего?

Что бы писать хороший код и понимать все как работает

В какой-то момент прилетает ошибка: Error: socket hang up at createHangUpError (_http_client.js:345:15) at Socket.socketCloseListener (_http_client.js:377:23) at emitOne (events.js:120:20) at Socket.emit (events.js:210:7) at TCP._handle.close [as _onclose] (net.js:549:12) code: 'ECONNRESET' }

+ опыт

И все валится

чтобы писать хороший код нужно практиковаться и читать книжки про хороший код, к ноде это отношения не имеет )

Ну вот такая штука еще добавляет: { TimeoutError: ResourceRequest timed out

Тогда посоветуйте что нибудь по js

Мне не понятно на сколько надо знать js что бы можно было перейти к ноде

Ну вот такая штука еще добавляет: { TimeoutError: ResourceRequest timed out

у меня такое было.. просто на той стороне начинает все залипать. Пробовали снизить до 100-200 rps и посмотреть что будет?

Мне не понятно на сколько надо знать js что бы можно было перейти к ноде

Если не понятно, то рано еще

Ну вот такая штука еще добавляет: { TimeoutError: ResourceRequest timed out

А как взаимодействие происходит? Каким образом? Обращается клиент (предположим) происходит "пачка" действий и ответ клиенту?

Ну вот такая штука еще добавляет: { TimeoutError: ResourceRequest timed out

тот же гугл при запросе к их апи начинает на 300rps плеваться ошибками

хммм ... это нарушит все мои расчеты по скалированию времени ?

Да все просто - я делаю запрос, что б стянуть хтмл (если есть вообще), далее вытаскиваю из нее картинку/видео (ссылки если есть) и пишу в базу.

Подскажите что можно почитать по js и когда можно будет перейти к ноде

Подскажите что можно почитать по js и когда можно будет перейти к ноде

you don't know js

хммм ... это нарушит все мои расчеты по скалированию времени ?

у вас 3к rps всего запросов 20+ то есть вы хотите все запросы уложить в 7-10 секунд? Что-то обновляете в режиме онлайн неистово?

Да все просто - я делаю запрос, что б стянуть хтмл (если есть вообще), далее вытаскиваю из нее картинку/видео (ссылки если есть) и пишу в базу.

а что парсите если не секрет.

а что парсите если не секрет.

новости

you don't know js

Она для новичков?

Она для новичков?

она, в целом, для всех, я думаю)

новости

а сайт какой? может там есть rss какой или другой удобный формат

она, в целом, для всех, я думаю)

Спасибо :)

новости

я пока не могу понять зачем вам так быстро надо так много запросов сделать

Спасибо :)

еще можно Eloquent JavaScript прочитать

Если это осилю то почитаю, спасибо

а сайт какой? может там есть rss какой или другой удобный формат

Рсс или отдает ссылку на изображение или нет, если нет - ищу руками. И вот во время поиска руками - делается запрос res.body (лежит хтмп как стринга), откуда собственно и надо выталить картинку.

Мне не понятно на сколько надо знать js что бы можно было перейти к ноде

https://learn.javascript.ru

Рсс или отдает ссылку на изображение или нет, если нет - ищу руками. И вот во время поиска руками - делается запрос res.body (лежит хтмп как стринга), откуда собственно и надо выталить картинку.

думаю в вашем кейсе прблема не в либе, а в сайте который вы запросами долбите. Все таки попробуйте рейти уменьшить или реже мучить сайт )

думаю в вашем кейсе прблема не в либе, а в сайте который вы запросами долбите. Все таки попробуйте рейти уменьшить или реже мучить сайт )

Вот я тоже склоняюсь к этому. Думаю надо не рейты уменьшать, а мозьности увеличивать, разделять парсинг медиа на несколько разных нод

Вот я тоже склоняюсь к этому. Думаю надо не рейты уменьшать, а мозьности увеличивать, разделять парсинг медиа на несколько разных нод

Так ты сайтики парсишь У тебя 24/7 такая нагрузка? "Такая нагрузка" - 3к запросов в секунду

Так ты сайтики парсишь У тебя 24/7 такая нагрузка? "Такая нагрузка" - 3к запросов в секунду

в среднем да

в среднем да

Несколько серверов, очередь и раскидывай задания Сервера желательно держать на две трети загруженными от значимого параметра/ов

Несколько серверов, очередь и раскидывай задания Сервера желательно держать на две трети загруженными от значимого параметра/ов

Да я вот к этому и иду. Проект только начался, а тут косяк на косяке с этим.

А расскажите, для чего вы парсите сайты. Уже не раз вижу эту тему здесь.

Да я вот к этому и иду. Проект только начался, а тут косяк на косяке с этим.

Лучше вопросы архитектуры решай Когда с архитектурой все будет збс и вдруг понадобится урезать расходы на сервера- оптимизируй логику, зависимости

Да я вот к этому и иду. Проект только начался, а тут косяк на косяке с этим.

таймауты кстати выставлены? Причем есть тонкий момент на большом количестве запросов они не всегда срабатывают и приходится их рубить таймаутами оси а иногда для профилактики скрипт убивать. Можете ради интереса глянуть что у вас происходт на севере через netstat

таймауты кстати выставлены? Причем есть тонкий момент на большом количестве запросов они не всегда срабатывают и приходится их рубить таймаутами оси а иногда для профилактики скрипт убивать. Можете ради интереса глянуть что у вас происходт на севере через netstat

да 1 сек, потом смерть коннекшона и едем дальше

А расскажите, для чего вы парсите сайты. Уже не раз вижу эту тему здесь.

У меня был заказ на сбор инфы с сайта, просто каталог перекатать в любой формат, с которым можно работать

да 1 сек, потом смерть коннекшона и едем дальше

а проверьте реально ли они убиваются, у меня была беда что таймаут вроде срабатывал, а скрипт все равно висел по 30 секунд пока таймаут оси не срабатывал

Лучше вопросы архитектуры решай Когда с архитектурой все будет збс и вдруг понадобится урезать расходы на сервера- оптимизируй логику, зависимости

это канечно однозначно так

да 1 сек, потом смерть коннекшона и едем дальше

убейте скрипт и через netstat гляньте коннекты. не факт что ваш кейс но мне помогло, а так да, лучше на очередь выносить и кучей нод обрабатывать

убейте скрипт и через netstat гляньте коннекты. не факт что ваш кейс но мне помогло, а так да, лучше на очередь выносить и кучей нод обрабатывать

это первое куда я посмотрел. нет там ничего

это первое куда я посмотрел. нет там ничего

ну тады беда на принимающей стороне )

В какой-то момент прилетает ошибка: Error: socket hang up at createHangUpError (_http_client.js:345:15) at Socket.socketCloseListener (_http_client.js:377:23) at emitOne (events.js:120:20) at Socket.emit (events.js:210:7) at TCP._handle.close [as _onclose] (net.js:549:12) code: 'ECONNRESET' }

на беке смотри что происходит в этот момент. ну и проверь что у тебя нет лупстарвинга

так с коннектами как раз все норм. они ESTABLISHED и сразу после CLOSE

так с коннектами как раз все норм. они ESTABLISHED и сразу после CLOSE

а чем отправляешь?

а чем отправляешь?

request

а timeout устанавливаешь?

Попробуй другую версию request

там флажок есть не держать соединения

там флажок есть не держать соединения

а не подскажите как называется? в доках что-то не видно

а не подскажите как называется? в доках что-то не видно

да ладно?

да ладно?

я предположил что наверное имелось в виду это, но решил уточнить. Потому как были версии agent: false или просто заголовок Connection: close делать

Спасибо, тоже попробую этот момент

я всегда в клиентских http библиотеках вырубаю keep-alive если нет времени разбираться как это работает

)

кто работал с веб сокетами socket io?

как можно ограничивать канал что б не каждый мог его слушать?

Аутентификацию туда впилить

смотри

socket.on('channel name', function(data){ console.log(data) }) тут юзер слушает его как сюда аутентификацию делать? я даже не знаю кто именно слушает меня

при подключении имееш ввиду проверять?

Вебсокет работает поверх http, соответственно, там есть куки

то есть при подключении просто отправить токен авторизации и там проверять. если не прошла авторизацию дисконнектить его

то есть при подключении просто отправить токен авторизации и там проверять. если не прошла авторизацию дисконнектить его

да

хм, я думал можно именно на определенный канал ограничевать а не на весь порт

Если сервер и клиент на разных доменах (например отдельно АПИ, отдельно ВЕБ), то есть еще вариант через GET-параметры передавать токен

Всем Привет! Кто может подсказать в чем может быть проблема? Пытаюсь сделать авторизацыю в связке express + passport + jwt. Логин и регестрацыя работают сервер отдает токен. Но при попытки получить доступ к роутам в котором нужна авторизацыя пишет не авторизирован. В параметры бросаю токен. https://github.com/Viher-Sano/NodeBaseAuth

Ну можешь завести табличку в базе и хранить там инфу, кому в какой канал можно/нельзя, и при подписке/отправке фильтровать

Всем Привет! Кто может подсказать в чем может быть проблема? Пытаюсь сделать авторизацыю в связке express + passport + jwt. Логин и регестрацыя работают сервер отдает токен. Но при попытки получить доступ к роутам в котором нужна авторизацыя пишет не авторизирован. В параметры бросаю токен. https://github.com/Viher-Sano/NodeBaseAuth

а в хедерах запроса токен есть?

да

Парни, а можно как-то nvm научить менять версию при смене директории? Я чёт заебался уже забывать делать nvm use :-)

в zsh можно настроить

чтобы в директории, где есть nvmrc

он автоматом менял версию

https://github.com/creationix/nvm#calling-nvm-use-automatically-in-a-directory-with-a-nvmrc-file

У кого есть проект на express совместно с веб сокетом? скиньте ссылку хочу посмотреть

под express не могу его настроить что б в роуте вызывать и делать socket.emit сделав в начале только один connection

ребят, подскажите плиз что это за странный синтаксис? if ((0, _utils.validateJSDate)(value)) { return (0, _utils.serializeDateTime)(value); }

мм

скомпиленый код

ребят, подскажите плиз что это за странный синтаксис? if ((0, _utils.validateJSDate)(value)) { return (0, _utils.serializeDateTime)(value); }

https://stackoverflow.com/questions/40967162/what-is-the-meaning-of-this-code-0-function-in-javascript

https://stackoverflow.com/questions/40967162/what-is-the-meaning-of-this-code-0-function-in-javascript

мерси ?? а то я даже не знал чего гуглить настолько синтаксис непонятный

var obj = { method: function() { return this; } }; console.log(obj.method() === obj); // true console.log((0,obj.method)() === obj); // false хороший пример из ответа

Парни, всем привет! Покидайте пожалуйста статьи / видео про mocking тестирование на русском / аглийском

Заранее благодарю

ни чего не могу толкового найти