Секунда.

Не совсем.

Кстати, зависимость от debug не строгая, так что обновление дебага затронет express.

Так что да.

чат, вопрос... нужно по команде вызвать функцию около тысячи раз, функция обращается к стороннему сервису, и неизвестно как что по времени там будет. как лучше вызов этой функции и запись пришедших данных? Понимаю, что, скорее всего, нужно будет класть в бд (mongodb), а функции вызывать в цикле, верно ли это ?

А в чем вопрос? Циклом отправь пачку через request-promise и жди.

Или надо ограничить кол-ао паралельных запрсов?

Или в чем вопрос?

скорее всего вопрос в том как синхронно обработать 1000 асинхронных запросов. если так, то Promise.all(array).then(...)

т.е. это считается нормальным, что будет цикл таких запросов?)

скорее всего вопрос в том как синхронно обработать 1000 асинхронных запросов. если так, то Promise.all(array).then(...)

спасибо, не знал про это возможность. но просто выяснял, нормально ли отправлять в цикле)

я бы сделал так let requests = new Array(1000); requests.fill(requestFunctionThatReturnыPromise()) Promise.all(requests).then(…) но я бы подождал ответа от человека попрошаристей)

а тысяча - это число от балды?

а результат каждого вызова важен? если важен - promise.all вроде как не прокатит. ибо при первой же ошибке - получится непонятное состояние

Ой, секурбут всё.

Ой, секурбут всё.

А поподробней?

А поподробней?

https://twitter.com/musalbas/status/763131284042485761

https://rol.im/securegoldenkeyboot/

О, в твиттер трейлер кинца прислали.

https://twitter.com/laparisa/status/763423926957383680

Добрый день. Ребят, как правильно передавать бинарные файлы в NodeJS? Есть какие нибудь устоявшиеся алгоритмы? Просто асинхронность в NodeJS добавляет многие сложности. К примеру мы не получаем ответ от клиента, получил он пакет или нет(хоть и TCP соединение), поэтому я не могу на стороне клиента нормальн собрать файл. Как быть?

Вроде нет с этим проблем?

При TCP соединении вообще "пакетов" нет - они склеиваются при получении. Ну а порядок гарантирует OS

А метод передачи зависит исключительно от канала - обычный tcp/ip сокет, тунель какого либо рода и так далее. Но все эти вариант (спасибо POSIX!) так или иначе приводятся к файлу, над которым можно поднять stream.

Клиент у меня на С++ написан

Там вообще ничего не гарантируется

Прихотят пакеты с обрывками

TCP?

Да

Юзаю либу net

TCP гарантирует доставку, но не гарантирует что у тебя в момент "чтения" данных там будет целый пакет. Полпакета бывает редко, а вот полтора(или 35) - без проблем

TCP не разделяет пакеты. Это только UDP так имеет

http://pastebin.com/hz1TfZJt Примерно так отправляю

фактически на клиенте данные в начале аккумулируются до MTU(2kb) потом улетают.

Ага. JSON через TCP так не просунуть. Считай скобочки ручками, ищи по ним границы пакетов

ммм

websocket/protobuf этим не страдают

Добрый день. Ребят, как правильно передавать бинарные файлы в NodeJS? Есть какие нибудь устоявшиеся алгоритмы? Просто асинхронность в NodeJS добавляет многие сложности. К примеру мы не получаем ответ от клиента, получил он пакет или нет(хоть и TCP соединение), поэтому я не могу на стороне клиента нормальн собрать файл. Как быть?

файлы же и так бинеарные

Да знаю, на socket.io все нормально запилил, теперь мне эту картинку нужна раздавать сервисам, а там только TCP/Unix sockets

websocket/protobuf этим не страдают

а зачем это делать на nodejs? можно конечно но смысла мало

решал эту задачу

в итоге на go написал и не запарился

К тимлиду вопросы. Сказал что всякие экзотические языки вроде Rust/Go юзать не будем

ну типа самый простой способ

Нам нужна асинхронность и хайлоад

go > node.js

по обоим из этих параметров

Асинхронность в go?

А либку или еще что нить в виде пруфа

Задача передачи данных вроде от языка не зависит

ну там она скрытая он точно также сядет спать горутину

Сделай по старинке - передавай терминатор между фреймами - - daemon.write(JSON.stringify(data)+MAGIC_SYMBOL). По нему и разбивай данные на пакеты.

"Сядет спать" занимая собой ОЗУ?

по старинке это по-моему размер передавать

В том то и профит NodeJS

Нужно еще передавать позицию chunk в общем буфере

Сделай по старинке - передавай терминатор между фреймами - - daemon.write(JSON.stringify(data)+MAGIC_SYMBOL). По нему и разбивай данные на пакеты.

Чтоб потом правильно собрать все пакеты в единый файл

лол у вас какая-то магия

у вас файл разбит на множестве серверов?

нет

файл быстрее читать последовательно с диска и позиция в чанке хз зачем вам если у вас все ровно один файл за раз и размер вы знаете

Файл хранится в ОЗУ

Он там пролетом считай, пока приняли с клиента

ERROR: S client not available

в го нет асинхронности

лучше вместо сепаратора использовать префикс с длиной

в го нет асинхронности

в том смысле в котором это для чтения файла ровно такая же история что оно засыпает и ждет. можно также читать кусками или проксировать

оно - это кто? тред засыпает, да

но в го нет работы с тредами

зеленые треды спят - им нормально. они значительно дешевле чем в Java

ну да

просто синхронность - это про другое

асинхронность, то есть

это когда колбэки и стек трейса нет)

то есть, ничего хорошего

Асинхронность в данном случае это асинхронные функции io операционки.

Он там пролетом считай, пока приняли с клиента

ну так стриминг во все поля

pipe

в канал и спишь спокойно

Проблема осталась. Мастера NodeJS, хотя бы теоретически раскажите как должно оно работать

Берешь данные, кладешь в tmpFile. Создаешь сокет на сервер. Это тоже файл. Потом или pipe с одного на другой, либо вообще системный sendfile

sendfile нет в ноде

если ты хочешь передавать что-то по tcp, то нужен формат фрейма для начала

либо нужно передавать файл и закрывать сокет сразу

Закрывать сокет не могу, так как там соединение с сервисом

либо нужно передавать файл и закрывать сокет сразу

Можно по подробнее?

если ты хочешь передавать что-то по tcp, то нужен формат фрейма для начала

тогда pipe не подойдет. создаешь buffer кладешь туда тупо данные форматированные. тут конечно вопрос вот куда ты пишешь эти данные там тоже Node.JS?

впрочем не сильно важно на самом деле

Там С++ клиент

ты передаешь свои "пакеты", но они могут быть порезаны как угодно. Нужно знать, где начало, где конец

Чистый TCP сокет

просто из этого баффера читаешь

свой бафер направляешь в сокет