Даров, посоны. Такой вопрос. Есть ли какая-нибудь либа (шутка про js фреймворк) которая позволяет делать параллельные запросы к веб серверу. Есть сервис, api котороко предоставляет доступ к информации об объекте. Этих объектов >30 000, инфа о каждом из них достается отдельным запросом. Суть такая, нужно в 20-30 потоков (одновременных запросов) достать инфу об объектах. Есть какая либа, которая упрощает эту задачу?

я бы посмотрел в сторону питоновского scrapy.. ну а если для стресс тестов - k6

@oce10t возвращай промис, а потом просто ожидай его let mydb = await require("sdfsdf"); @murzilka17 Можно, но надо делить запросы на части, а мне лень код пистаь :) @aspatari @max_vynogradov Я ж не тестировать, это api MMORPG игры, я хочу получить инфу обо всех объектах, а их там дохреналион

@oce10t возвращай промис, а потом просто ожидай его let mydb = await require("sdfsdf"); @murzilka17 Можно, но надо делить запросы на части, а мне лень код пистаь :) @aspatari @max_vynogradov Я ж не тестировать, это api MMORPG игры, я хочу получить инфу обо всех объектах, а их там дохреналион

ну реально в параллель ты в ноде особо ничего не сделаешь - там js код всё же выполнятся в одном потоке, хотя запросы могут отсылатся параллельно средствами ОС

ааа тогда многопоток тебе не нужен, нуу тут rxjs тебе в поможет, создай стрим даных да и слушай

@oce10t возвращай промис, а потом просто ожидай его let mydb = await require("sdfsdf"); @murzilka17 Можно, но надо делить запросы на части, а мне лень код пистаь :) @aspatari @max_vynogradov Я ж не тестировать, это api MMORPG игры, я хочу получить инфу обо всех объектах, а их там дохреналион

если прям так хочется на ноде это замутить я бы писал на https://caolan.github.io/async/ + rxjs

да rxjs тут справится на ура

@max_vynogradov Та это понятно. Под рапалельностью я имею в виду запускаем 20-30 коннектов к серверу и по мере их возврата заменяем другими с новыми аргументами

@max_vynogradov Та это понятно. Под рапалельностью я имею в виду запускаем 20-30 коннектов к серверу и по мере их возврата заменяем другими с новыми аргументами

ну вот асинк либа имеет туёву кучу ф-ционала под это - всякие плексоры и семафоры

@max_vynogradov пасибо, буду посмотреть

правда я вот хз как красиво к ней прикрутить rxjs что бы подписыватся н всё это дело... но в конце концов - её методы можно промисифицировать =)

@aspatari спасибо за помощь async Бегло посмотрел Вроде то, что нужно

@max_vynogradov пасибо, буду посмотреть

а если прям ну вообще извращатся и ставить эту тулзу "на поток" - миожно подымать несколько нод в кластере, и сплитить нагрузку между ними

Мне кажется на сеть больше нагрузка будет

Чем на проц

Мне кажется на сеть больше нагрузка будет

и более того - вот тебе ещё вариант - если дружишь с клаудами, AWS - ом, то можно поднять туёву кучу лямбд и ранить их в параллель =)

1 лямбда там сейчас может 15 минут работать

без ограничений - можно поднять 1000 лямбд "одновременно"

рай для скрапинга и прочих вещей)

Только Синхронизировать как

@oce10t возвращай промис, а потом просто ожидай его let mydb = await require("sdfsdf"); @murzilka17 Можно, но надо делить запросы на части, а мне лень код пистаь :) @aspatari @max_vynogradov Я ж не тестировать, это api MMORPG игры, я хочу получить инфу обо всех объектах, а их там дохреналион

так нельзя делать

require синхронный

может вы прекратите сообщения столбиками писать? или вам похуям на правила?

/rules

может вы прекратите сообщения столбиками писать? или вам похуям на правила?

сорри, вы правы

/rules

в пин смотрите

в пин смотрите

Это что такое?

без ограничений - можно поднять 1000 лямбд "одновременно"

да, вот толькое лямбдам nat нужен

Это что такое?

закрепленное сообщение

может вы прекратите сообщения столбиками писать? или вам похуям на правила?

Вот это реально столбики

Ничего не закреплено

Ничего не закреплено

потому что ты открепил когда-то

Вот это реально столбики

это одно сообщение, а не столбики

А у меня нету, ладно, пофиг

так нельзя делать

А если так. let mydbPromise = require(assdasd); let mydb = await mydbPromise;

Представьте что вы шлете SMS и каждое сообщение стоит реальных денег. Это поможет избавиться от гребенных столбиков)

А если так. let mydbPromise = require(assdasd); let mydb = await mydbPromise;

тоже

Почему?

потому что экспортить нельзя промис

потому что экспортить нельзя промис

? можно export const example = Promise.resolve(1)

Представьте что вы шлете SMS и каждое сообщение стоит реальных денег. Это поможет избавиться от гребенных столбиков)

может тут большинство imessage юзает, а про эпоху смс по 5 рублей и не слышали

Представьте что вы шлете SMS и каждое сообщение стоит реальных денег. Это поможет избавиться от гребенных столбиков)

дык мы не плохо зарабатывает xD

может тут большинство imessage юзает, а про эпоху смс по 5 рублей и не слышали

Представить то хотяб можно)

дык мы не плохо зарабатывает xD

По вопросам не скажешь что в деньгах купаетесь)

Даров, посоны. Такой вопрос. Есть ли какая-нибудь либа (шутка про js фреймворк) которая позволяет делать параллельные запросы к веб серверу. Есть сервис, api котороко предоставляет доступ к информации об объекте. Этих объектов >30 000, инфа о каждом из них достается отдельным запросом. Суть такая, нужно в 20-30 потоков (одновременных запросов) достать инфу об объектах. Есть какая либа, которая упрощает эту задачу?

таких либ дофигище всё зависит от задач Но по факту нужная функция пишется за вечер

Ага. А если лень? : )

Ага. А если лень? : )

идешь нахер

а лучше увольняешься и идешь просить мелочь в переходе

нее думаю, уж больно специфичный кейс, да и не кто не делает плагины для legacy code xD

а вот и не угадал =) https://mongoosejs.com/docs/discriminators.html

Ага. А если лень? : )

тебя нанимали, чтобы ты решал задачи, а не искал готовых решений и потом пытался костыли подставить

Ты че такой невеселый? Нахера писать и тестировать самому то, что уже написано и протесчтировано

Потому что это реализуется достаточно просто и быстро

тебя нанимали, чтобы ты решал задачи, а не искал готовых решений и потом пытался костыли подставить

не знаю о чём ты - тред выше не читал. но иногда получается в разы лучше чем самописный код... и дешевле для заказчика

Ты че такой невеселый? Нахера писать и тестировать самому то, что уже написано и протесчтировано

так поищи в интернете, тебя мама гуглить не учила?

@Atassis я думаю человеку пора на покой

Ну все все, прости за гнилой базар, только не плачь, моя вина, извиняюсь

не знаю о чём ты - тред выше не читал. но иногда получается в разы лучше чем самописный код... и дешевле для заказчика

не спорю, что иногда лучше. я даже скажу что в 60% случаев решается либой но если ты не в состоянии найти нужную (простую) либу или написать самому…

Ну все все, прости за гнилой базар, только не плачь, моя вина, извиняюсь

ты чет дохера дерзкий.

Поциента пора выпиливать :) Он сюда спорить и подъёбывать залез, а не за помощью

Ну все все, прости за гнилой базар, только не плачь, моя вина, извиняюсь

@Atassis

@itsjohncena помоги выпилиться Lee Armstrong пожалуйста

у меня тут один вопрос есть архитектурный... вот есть у нас експрес, монга - по сути - самописная адвансед админка поверх бдшки... стандартные флов почти на каждый ендпоинт 1. Проверка прав доступа на едпоинт ( jwt ) 2. Вадидация пейлоада 3. Работа с бд (крад) 3. Иногда - чутка бизнесс-логика, статистика там, иногда -бродкаст по сокетах 4. Сериализация аутпута 0. - между всеми этими фазами бегает еррор хендлинг. ------- под всё это есть достаточно хорошие мидлвары / либы, которые можно заврапить в мидлвары только вот я нигде не найду какого-то патерна/подхода/врапера на всё это дело. Хотелось бы разбросать всё это по файлах/папках, и по каких-то признаках "билдить" роуты на старте сервера. Чем-то очень издали напоминает рельсы/ларавель/джанго. Может у кого-то есть что сказать на этот счёт? как можно красиво это обыграть?

Нашел нужную либу. Кому вдруг понадобится - вот https://www.npmjs.com/package/tress

у меня тут один вопрос есть архитектурный... вот есть у нас експрес, монга - по сути - самописная адвансед админка поверх бдшки... стандартные флов почти на каждый ендпоинт 1. Проверка прав доступа на едпоинт ( jwt ) 2. Вадидация пейлоада 3. Работа с бд (крад) 3. Иногда - чутка бизнесс-логика, статистика там, иногда -бродкаст по сокетах 4. Сериализация аутпута 0. - между всеми этими фазами бегает еррор хендлинг. ------- под всё это есть достаточно хорошие мидлвары / либы, которые можно заврапить в мидлвары только вот я нигде не найду какого-то патерна/подхода/врапера на всё это дело. Хотелось бы разбросать всё это по файлах/папках, и по каких-то признаках "билдить" роуты на старте сервера. Чем-то очень издали напоминает рельсы/ларавель/джанго. Может у кого-то есть что сказать на этот счёт? как можно красиво это обыграть?

https://nestjs.com/ он сможет вдохновлять

у меня тут один вопрос есть архитектурный... вот есть у нас експрес, монга - по сути - самописная адвансед админка поверх бдшки... стандартные флов почти на каждый ендпоинт 1. Проверка прав доступа на едпоинт ( jwt ) 2. Вадидация пейлоада 3. Работа с бд (крад) 3. Иногда - чутка бизнесс-логика, статистика там, иногда -бродкаст по сокетах 4. Сериализация аутпута 0. - между всеми этими фазами бегает еррор хендлинг. ------- под всё это есть достаточно хорошие мидлвары / либы, которые можно заврапить в мидлвары только вот я нигде не найду какого-то патерна/подхода/врапера на всё это дело. Хотелось бы разбросать всё это по файлах/папках, и по каких-то признаках "билдить" роуты на старте сервера. Чем-то очень издали напоминает рельсы/ларавель/джанго. Может у кого-то есть что сказать на этот счёт? как можно красиво это обыграть?

у меня есть корпоративный темплейт, шарить его не получится к сожалению, но он вертится на этой штуке https://github.com/vedi/genome-app, правда тут документации чуть меньше чем нихера. И вот это с вязке с предыдущим: https://github.com/vedi/restifizer, реализует crud с хуками посреди фло по рестфулу.

у меня есть корпоративный темплейт, шарить его не получится к сожалению, но он вертится на этой штуке https://github.com/vedi/genome-app, правда тут документации чуть меньше чем нихера. И вот это с вязке с предыдущим: https://github.com/vedi/restifizer, реализует crud с хуками посреди фло по рестфулу.

спасибо мне первый уже нравится)

https://nestjs.com/ он сможет вдохновлять

смотрел я на эту красоту - меня ТS пугает =( насколько можно быстро и просто переюзать js код который сейчас на голом експрессе?

Никто не знает почему либа debug не работает, во время дебага? Я привык всегда запускать дебаггер, а debug используется для логирования, логи хотелось бы видеть.

Никто не знает почему либа debug не работает, во время дебага? Я привык всегда запускать дебаггер, а debug используется для логирования, логи хотелось бы видеть.

Попробую проверь process.env.DEBUG

Попробую проверь process.env.DEBUG

* там. И устанавливаю его, и проверял конечно.

* там. И устанавливаю его, и проверял конечно.

Тогда идей больше нет. Только если лезть в папку modules и проверять

Ну все все, прости за гнилой базар, только не плачь, моя вина, извиняюсь

!ро невтемный доеб

Привет, а в чем отличе sql и nosql и просто хранения данных в файлах

Какой логикой вы руководствуетесь что задаете подобные вопросы в чате по node.js? Я не то что-бы доебываюсь, просто хочу понять.

Какой логикой вы руководствуетесь что задаете подобные вопросы в чате по node.js? Я не то что-бы доебываюсь, просто хочу понять.

а здесь не работают с базами данных? И мне придется идти в чат бо БД?

Лучше в гугл или википедию ;)

Это ты готовишься к написанию соцсети?

Лучше в гугл или википедию ;)

Я читал размеется, я хочу услышать мнение прогеров наших)

бери SQL и иди в @dba_ru

Это ты готовишься к написанию соцсети?

та я ради прикола что то поробую сделать, я пока всеровно учусь, всеровн овсе упирается в спрос, никому она и так не нужна

Просто это имеет отношения к ноде, такое же как выбор монитора или стула, мы ведь все здесь сидим на стуле и смотрим в монитор. =)

Просто это имеет отношения к ноде, такое же как выбор монитора или стула, мы ведь все здесь сидим на стуле и смотрим в монитор. =)

хочу напомнить что у нас в чатике прогеры которые умеют все, и на плюсах и на яве писать и машины тесла программировать

я умываю руки.