чат, вопрос... нужно по команде вызвать функцию около тысячи раз, функция обращается к стороннему сервису, и неизвестно как что по времени там будет. как лучше вызов этой функции и запись пришедших данных? Понимаю, что, скорее всего, нужно будет класть в бд (mongodb), а функции вызывать в цикле, верно ли это ?

А в чем вопрос? Циклом отправь пачку через request-promise и жди.

Или надо ограничить кол-ао паралельных запрсов?

Или в чем вопрос?

скорее всего вопрос в том как синхронно обработать 1000 асинхронных запросов. если так, то Promise.all(array).then(...)

т.е. это считается нормальным, что будет цикл таких запросов?)

скорее всего вопрос в том как синхронно обработать 1000 асинхронных запросов. если так, то Promise.all(array).then(...)

спасибо, не знал про это возможность. но просто выяснял, нормально ли отправлять в цикле)

я бы сделал так let requests = new Array(1000); requests.fill(requestFunctionThatReturnыPromise()) Promise.all(requests).then(…) но я бы подождал ответа от человека попрошаристей)

а тысяча - это число от балды?

а результат каждого вызова важен? если важен - promise.all вроде как не прокатит. ибо при первой же ошибке - получится непонятное состояние

А поподробней?

Добрый день. Ребят, как правильно передавать бинарные файлы в NodeJS? Есть какие нибудь устоявшиеся алгоритмы? Просто асинхронность в NodeJS добавляет многие сложности. К примеру мы не получаем ответ от клиента, получил он пакет или нет(хоть и TCP соединение), поэтому я не могу на стороне клиента нормальн собрать файл. Как быть?

Вроде нет с этим проблем?

При TCP соединении вообще "пакетов" нет - они склеиваются при получении. Ну а порядок гарантирует OS

А метод передачи зависит исключительно от канала - обычный tcp/ip сокет, тунель какого либо рода и так далее. Но все эти вариант (спасибо POSIX!) так или иначе приводятся к файлу, над которым можно поднять stream.

Клиент у меня на С++ написан

Там вообще ничего не гарантируется

Прихотят пакеты с обрывками

TCP?

Да

Юзаю либу net

TCP гарантирует доставку, но не гарантирует что у тебя в момент "чтения" данных там будет целый пакет. Полпакета бывает редко, а вот полтора(или 35) - без проблем

TCP не разделяет пакеты. Это только UDP так имеет

http://pastebin.com/hz1TfZJt Примерно так отправляю

фактически на клиенте данные в начале аккумулируются до MTU(2kb) потом улетают.

Ага. JSON через TCP так не просунуть. Считай скобочки ручками, ищи по ним границы пакетов

ммм

websocket/protobuf этим не страдают

Да знаю, на socket.io все нормально запилил, теперь мне эту картинку нужна раздавать сервисам, а там только TCP/Unix sockets

websocket/protobuf этим не страдают

К тимлиду вопросы. Сказал что всякие экзотические языки вроде Rust/Go юзать не будем

Нам нужна асинхронность и хайлоад

Асинхронность в go?

А либку или еще что нить в виде пруфа

Задача передачи данных вроде от языка не зависит

Сделай по старинке - передавай терминатор между фреймами - - daemon.write(JSON.stringify(data)+MAGIC_SYMBOL). По нему и разбивай данные на пакеты.

"Сядет спать" занимая собой ОЗУ?

В том то и профит NodeJS

Нужно еще передавать позицию chunk в общем буфере

Сделай по старинке - передавай терминатор между фреймами - - daemon.write(JSON.stringify(data)+MAGIC_SYMBOL). По нему и разбивай данные на пакеты.

Чтоб потом правильно собрать все пакеты в единый файл

нет

Файл хранится в ОЗУ

Он там пролетом считай, пока приняли с клиента

в го нет асинхронности

лучше вместо сепаратора использовать префикс с длиной

оно - это кто? тред засыпает, да

но в го нет работы с тредами

ну да

просто синхронность - это про другое

асинхронность, то есть

это когда колбэки и стек трейса нет)

то есть, ничего хорошего

Асинхронность в данном случае это асинхронные функции io операционки.

Проблема осталась. Мастера NodeJS, хотя бы теоретически раскажите как должно оно работать

Берешь данные, кладешь в tmpFile. Создаешь сокет на сервер. Это тоже файл. Потом или pipe с одного на другой, либо вообще системный sendfile

sendfile нет в ноде

если ты хочешь передавать что-то по tcp, то нужен формат фрейма для начала

либо нужно передавать файл и закрывать сокет сразу

Закрывать сокет не могу, так как там соединение с сервисом

либо нужно передавать файл и закрывать сокет сразу

Можно по подробнее?

если ты хочешь передавать что-то по tcp, то нужен формат фрейма для начала

Там С++ клиент

ты передаешь свои "пакеты", но они могут быть порезаны как угодно. Нужно знать, где начало, где конец

Чистый TCP сокет

Просто взять и брать то мы получим данные не в корректном виде, а именно пакеты смешиваются

передавай между фреймами \n\r\r\n. Считай терминатором. Но лучше считать скобки.

не, терминатор это будет боль

потому что нужно его эскейпить тогда в пакете

H.323 это боль. А терминатор - норм :)

ага. id не нужен только особо

К такому варианту я приглядываюсь, только в начале мне нужно еще передавать index чанка во всем буффере, чтоб если чанки и мешались между собой, то по index можно было восстановить файл

терминатор это не способ лол. проще size of chunk + id + chunk

Так вот, а разделять чанки таким вод средством это нормально? То бишь применяется в практике?

передавай между фреймами \n\r\r\n. Считай терминатором. Но лучше считать скобки.

чанки не буду мешаться если ты не будешь их мешать

socket.write('a'); socket.write('b'); socket.write('c'); В ноде нет гарантии что а передастся быстрее чем б. Из-за этого приходится каждому chunk-у давать свой индекс, после так собирать файл

Или я не правильно мыслю?

Мм, тогда все немного проще