ползать по страничкам, парсить их и возвращать данные

ну вроде как это дело небыстрое, поэтому смысла нет возвращать калбеком/промисом в конце большой массив, есть смысл по мере получения

а тут либо eventemitter, либо stream

стримы лучше использовать для обработки больших данных. Для ползания по страничкам думаю не стоит юзать стримы

стримы лучше использовать для обработки больших данных. Для ползания по страничкам думаю не стоит юзать стримы

где гарантии, что тебе не прилетит несколько Гб в ответ?

ну это утверждение безусловно верное, и с ним спорить смысла нет однако, оно не абсолютное... я бы переформулировал так: "стримы _можно_ использовать для обработки больших данных, но и для других юзкейсов (_перечисление_) они тоже норм"

где гарантии, что тебе не прилетит несколько Гб в ответ?

ну наверно нужно написать пару обработчиков ошибок

поэтому, вопрос не в том где их лучше использовать, а стоит ли вообще :)

учитывая текущую коьюктуру... вот об этом вопрос

Использую стримы для обработки jsonl файлов – делаю вложенные объекты плоскими. Как без стримов обрабатывать файлы по несколько гигабайт?

и он формулируется опять же просто: "использует кто-нибудь в продакшне"... прошу прощения, что вопрос не "где лучше их использовать" )

поэтому, вопрос не в том где их лучше использовать, а стоит ли вообще :)

вообще - стоит, я копировал файлы через ноду, предварительно обрабатывая. Только стримы меня и спасли, 0,5 тб файлов обработало

тогда, с вашего разрешения, уточню: каковы границы использования стримов? должны ли мои модули которые работают с сетью возвращать стримы вместо других вещей чтобы унифицировать общение?

честно хз, в работе с сетью я стримы еще не пробовал

правильно ли я понимаю что вы юзаете стримы там где текущей оперативки не хватит для работы со структурами, но в остальных местах стараетесь делать более популярную логику, и это стандарт на текущий момент?

+

хм... то есть если я хочу сделать модуль который будут использовать другие команды, то вместо stream логичнее заюзать eventemitter (для возвращения данных по мере их получения) и не выеживаться?

ну да, так будет оптимальней, потому-что со стримами процесс еще работа самих стримов будет наружать. А eventEmitter он же легче

попробуй оба варианта)

ок спасибо, я целом я ответ получил который хотел узнать (хотя, другие коллеги тоже высказывайтесь чтобы выборка была репрезентативной) маленький оффтоп: стримы мне всегда нравились (даже на русский переводил stream handbook), но я честно не понимаю почему их никто не юзает с одной стороны, все говорят что они сложные и непонятные но, с другой стороны, промисы для меня сначала были такие же непонятные, но щас их все юзают... ваши мнения? :)

не знаю как устроенны стримы и на сколько они производительны, но промиссы это простая легкая фунция, которую можно написать самстоятельно

сложно говорить о базовых концепциях в ключе "производительности" когда обычно оверхеды по производительности дают неудачные решения то есть, с моей точки зрения, лучше пытаться удачно реализовать логику более высшего порядка, а низшие инструменты юзать какие удобно

между нами, девочками: мало кто думает "вот блин, я оптимизировал все что можно и все идеально, но вот из-за того что я выбрал rxjs вместо promises у меня цикл тормозит под нагрузкой"... чаще всего проблема "блин, все тормозит и я хз где косяк" :)

между нами, девочками: мало кто думает "вот блин, я оптимизировал все что можно и все идеально, но вот из-за того что я выбрал rxjs вместо promises у меня цикл тормозит под нагрузкой"... чаще всего проблема "блин, все тормозит и я хз где косяк" :)

обычно в таких случаях помогает профайлер

точно (*щепотка иронии*)

я тоже стримы использовал в основном для обработки крупных данных

сложно говорить о базовых концепциях в ключе "производительности" когда обычно оверхеды по производительности дают неудачные решения то есть, с моей точки зрения, лучше пытаться удачно реализовать логику более высшего порядка, а низшие инструменты юзать какие удобно

когда можно измерить нагрузку, я пробую несколько вариантов и смотрю результаты

такой гиганский пайп грубо говоря между точкой А и Б, где куча логики по середине

и в оперативку разом оно не влезет

ну вроде как это дело небыстрое, поэтому смысла нет возвращать калбеком/промисом в конце большой массив, есть смысл по мере получения

Если парсить много, то нужна очередь задач с перезапуском неудачных.

Если выкачивать большие файлы, то без стримов вроде никак.

между нами, девочками: мало кто думает "вот блин, я оптимизировал все что можно и все идеально, но вот из-за того что я выбрал rxjs вместо promises у меня цикл тормозит под нагрузкой"... чаще всего проблема "блин, все тормозит и я хз где косяк" :)

Стримы- не о парсинге кучи страниц

Стрим- это поток однородных данных, грубо говоря аудио-поток (интернет радио), видео, большие файлы

Или если файл генерируется на ходу (архивация, зашифровывание)

Если у тебя реально дохрена данных, лучше использовать очередь задач Я парсил 100000 страниц в один проход, пришлось увеличивать максимум разрешенной памяти у процесса ноды

Чтобы не переписывать код

А так- промисы. асинки сейчас не самый оптимальный вариант в плане памяти для этой задачи (имхо) Я бы использовал обычные промисы для парсинга

Может кто-нибудь подскажет хороший пакет для манипуляции с домом прям с сервера ноды. То есть изменять инпуты там, кнопки нажимать

Заранее спасибо

Может кто-нибудь подскажет хороший пакет для манипуляции с домом прям с сервера ноды. То есть изменять инпуты там, кнопки нажимать

если гуй ещё не готов, то react+redux

там без проблем такое сделать

Ну с react+redux то понятно) меня вопрос интересует, можно ли вообще на уже готовой странице, которую не сама нода отдаёт нода что-то делать с домом

ну да

меняешь стейт, меняется страница

Без реакта

Реакта нет тут вообще

Реакта нет тут вообще

Задача непонятна

Тебе нужно стянуть документ с другого сайта?

Или ты отдал документ и хочешь его с сервера изменить?

Стянуть не проблема, нужно именно в формочки на нём пописать что-нибудь

web driver, selenium

Евенты там подёргать разные

phantom js

Я не знаю, что из этого лучше, только парсил документ Но что-то из этого тебе явно подойдет

Гляну - отпишу, спасибо

Забудьте про фантом :\

Забудьте про фантом :\

Я его не зря последним назвал

Хром "без башки" ещё не вышел?

Евенты там подёргать разные

отдаешь сервером js код с теми действиями который надо сделать, на странице запрашиваешь этот js код и просто выполняешь

А чем фантом так плох?

отдаешь сервером js код с теми действиями который надо сделать, на странице запрашиваешь этот js код и просто выполняешь

как я понял, он хочеть на чужих сайтах изменять код

как я понял, он хочеть на чужих сайтах изменять код

можно и так сказать. Я мог бы это и без ноды делать, просто js выполнять ручками, но нодой хочу автоматизировать эти действия

правильно

а ты хочешь все формы отлавливать на сайтах? писать туда что-то и отправлять?

Не все формы. Там одна форма, я хочу её заспамить немного разными словами, цифорками и прочими приблудами

ERROR: S client not available

увеличить член бесплатно без смс и регистрации?

увеличить член бесплатно без смс и регистрации?

Теперь придётся покидать чат и скрываться в лесу

На самом деле нет

увеличить член бесплатно без смс и регистрации?

если без регистрацци, то там форм же нет ?

Не все формы. Там одна форма, я хочу её заспамить немного разными словами, цифорками и прочими приблудами

ооо, ты хочешь забить их бд! круто!

Кстати вариант, но ты не угадал)

Дам подсказку: на сайте нет капчи

Дам подсказку: на сайте нет капчи

кстати, сейчас капча есть, но она просто не отображаеться)

раньше когда мы сладывали из капчи картинки, на самом деле мы обучали нейроную сеть, сейчас она уже натаскана, и сама определяет где человек, а где нет, но если она засомневаеться она все же предложит ввести капчю (но это если гугловская капча)

Это на нормальных сайтах с гугловской капчей так

А тут сайт на пхп без капчи

Свободный воскресный вечер сам заставил меня сделать что-нибудь интересное

ну если сайт сделал неопытный разраб. Можно проверить его на все известные уязвимости с помощью нодовских модулей

А тут сайт на пхп без капчи

https://www.npmjs.com/package/nsp

О, спасибо огромное

сам еще не юзал nsp, могу ошибаться о его предназначении (он вроде проверяет модули твоего сервера на уязвимость)

Может кто подсказать детальный мануал, по ботам телеграма?

интересует именно webhook

а что в вебхуком непонятно?

pm2 logs ?

pm2 logs ?

наверное ошибка в том, что он запускает сам себя и т.д. окей, альтернатива только через другой файл запускать

можно ли как-то зашифровать файл, чтобы его можно было запускать?)

т.е сохранял свою работоспособность

можно ли как-то зашифровать файл, чтобы его можно было запускать?)

Пиши на плюсах :-)

Пиши на плюсах :-)

???

можно ли как-то зашифровать файл, чтобы его можно было запускать?)

смотри в сторону бинарных упаковщиков

да у меня была идея сделать один бинарник, который запускает внутри себя демона и все

но так нельзя сделать(я не знаю по крайне мере), чтобы он не входил в рекурсию

может все таки, как-то можно сделать, чтобы он в рекурсию не ввходил, через какую-нибудь проверку процессов...запутался

зачем тебе это надо?