а понял спасибо

тогда буду делать не приривные интервалы для поиска вариантов

да, просто таймштамп хранит

а после уже разные цены брать по 1 комнате отдельно

Спасибо вам !

Что сейчас модно для быстрого написания веб-форм с валидацией?

Именно на фротенде

Что сейчас модно для быстрого написания веб-форм с валидацией?

что ты имеешь ввиду? либу какую-нибудь или чё

что ты имеешь ввиду? либу какую-нибудь или чё

Да, набор библиотек или что там

Да, набор библиотек или что там

Если jquery то https://jqueryvalidation.org/, если ангуляр или реакт я всегда самопис делал

Пипл, есть инфа, приводит ли использование Proxy к деоптимизациям в NodeJS 8?

Всем привет. Ребят подскажите кто и что обычно использует для парсинга сайтов ? Интересует не часть парсинга сайтов, а как организовать процесс, когда есть известное количество запросов, например 20 тыс. и как сделать очередность. Пробовал bluebird Promise.map, но как-то вообще нет контроля там. Поделитесь плиз наработками кто и как делал.

Всем привет. Ребят подскажите кто и что обычно использует для парсинга сайтов ? Интересует не часть парсинга сайтов, а как организовать процесс, когда есть известное количество запросов, например 20 тыс. и как сделать очередность. Пробовал bluebird Promise.map, но как-то вообще нет контроля там. Поделитесь плиз наработками кто и как делал.

Очередью

Берёшь массив, кладёшь в него все, по очереди достаешь и запускаешь

а кто с Bull работал? раз уж про очереди

у меня вот эта гавнина не работает как хотелось бы this.sendQueue.on('failed', (job, err) => { job.delay = 1000; job.retry(); }); что я не так делаю?

может этот delay надо где-то еще указывать??

Валидация параметров в API, занимает ~70% кода, виношу в отдельную мидлварю, на ваш взгляд каков вариант вызова лучше? или какой у Вас вариант? routes.post('/user', [ validator({ params:['ruleName',...], body:['ruleName',....], query:['ruleName', ...], }) ]); или routes.porst('/user', [ validator([ 'ruleName:params', 'ruleName:query' ]) ]);

лучше сделать микросервис и завернуть его в докер

микросервис для валидации? и делать два запроса? Оо

Это шутка такая. Смешно должно быть. Смейся давай.

Это шутка такая. Смешно должно быть. Смейся давай.

Доброе утро понедельника)

Всем привет. Ребят подскажите кто и что обычно использует для парсинга сайтов ? Интересует не часть парсинга сайтов, а как организовать процесс, когда есть известное количество запросов, например 20 тыс. и как сделать очередность. Пробовал bluebird Promise.map, но как-то вообще нет контроля там. Поделитесь плиз наработками кто и как делал.

Throttle, если надо искусственно количество запросов в секунду ограничить. Ну или delay по старинке

Еще конечно вопрос сколько параллельных запросов одновременно надо

Еще конечно вопрос сколько параллельных запросов одновременно надо

Да в этом вопрос.

Throttle, если надо искусственно количество запросов в секунду ограничить. Ну или delay по старинке

А в чём заключается способ ? Просто ставить задержку между пачками запросов ?

Да в этом вопрос.

Если речь идет о разовой обработке, то урлы в массив и запустить паралленьно 20-50 раз функцию, которая будет вытаскивать из массива урл обрабатывать и если массив не пустой снова себя вызывать

По очередям есть раббит который умеет ограничивать количество одновременных работ и народ хвалил kue он тоже такое умеет. Про bull не в курсе

В общем сейчас думаю сделать так. Взять очередь. и на основе неё сделать пул из ограниченного количества тасков. Задача отработалась, чекаем очередь - если меньше заданного - докидываем и ждём. Вылетел по таймауту - ставим заново в очередь делаем инкремент количества попыток и ждём. Схема рабочая ? Или что-нибудь улучшить можно ещё ?

В общем сейчас думаю сделать так. Взять очередь. и на основе неё сделать пул из ограниченного количества тасков. Задача отработалась, чекаем очередь - если меньше заданного - докидываем и ждём. Вылетел по таймауту - ставим заново в очередь делаем инкремент количества попыток и ждём. Схема рабочая ? Или что-нибудь улучшить можно ещё ?

Imho, проще очередь наполнить раз и ограничивать кол-во процессов обработчиком

Так будет хотя бы видно сколько осталось обработать

Ну получается по идее будет 2 очереди тогда.

1 - для реализации пула, второй просто очередь.

Imho, проще очередь наполнить раз и ограничивать кол-во процессов обработчиком

В Kue реализуемо ?

Нет, одна. Очередь и обработчик заданий из очереди. В kue видел что-то похожее в доках

Всем привет, может кто знает как изменить размер ячейки в excel

Кодом естественно

Что подумал, а если задать размер ячеек вручную, и использовать его как шаблон. Если в него записать данные рамзеры не собьются?

Возьми да попробуй.

Я то попробую, но пока это сделаю может кто скажет

Просто идея только на стадии планировании

Что подумал, а если задать размер ячеек вручную, и использовать его как шаблон. Если в него записать данные рамзеры не собьются?

https://www.npmjs.com/package/xlsx эта штука вроде умеет

Место на карте http://go.2gis.com/joa4gt

https://www.npmjs.com/package/xlsx эта штука вроде умеет

Так вот с ним и рабол, но для чтения, а вот с записью пока не сталкивался. Вот и спросил

там в доках есть абзац про форматирование

Может кому полезно будет.

t.me/folderarchive — самый большой канал, где бесплатно сливают платный качественный контент и курсы.

Есть какая-нибудь дичь для автотестирования входящих параметров на апихах? Типа описал жсон схему валидного запроса, а он сделал кучу хитрых невалидных, типа отрицательных чисел и т.д?

жметр

Пересел тут на vs code точеный. Подскажите "нативный" способ использования repl в дебаге.

Подскажите какой нибудь инструмент, который отображает в консоле состояние объекта в каждый момент времени. Я хочу видеть что происходит с модельком, какие изменеия там происходят при определенных действиях. Есть ли что то готовое для этого?

Подскажите какой нибудь инструмент, который отображает в консоле состояние объекта в каждый момент времени. Я хочу видеть что происходит с модельком, какие изменеия там происходят при определенных действиях. Есть ли что то готовое для этого?

Простой деббаггер в вебшторме не подойдет?

Простой деббаггер в вебшторме не подойдет?

как там вывести все поля объекта и видеть их постоянно перед глазами?

как там вывести все поля объекта и видеть их постоянно перед глазами?

Надо в watch добавить переменную, но она должна быть обязательно в области видимости, поэтому брейкпоинты надо ставить там, где она есть. А так там в виде дерева она будет видна со всеми свойствами

Ну с watch я погорячился, не надо, она и так будет видна в списке.

без брейкпоинта нельзя увидеть переменные?

Разве что глобальные.

да, про глобальную говорю) что то пока не удается найти как тут смотреть

Ребят а проводилось ли голосование того, кто и как юзает nodejs. Кто чисто для frontend, а кто для backend и их комбинации ?

Я имею ввиду в данной группе.

node js for frontend???

node js for frontend???

Ну да. Сборка фронтенда и так далее.

типа вебпак?

типа вебпак?

Да.

create-react-app

node js for frontend???

Почему не-то? Server side render, например.

Парни, кто-то знает редис? Повесил его перед запросом в монгу. Данные успешно кеширует, и если нужного запроса нет, то лезет в монгу. Но проблема - если я обновлю данные в монге, то редис по прежнему возвращает свои значения по этому же ключу, так как думает что у него все есть и не лезет в монгу. Как подцепить сюда логику, чтоб после апдейта монги, данные в редисе тоже обновлялись? Сервер на ноде.

Парни, кто-то знает редис? Повесил его перед запросом в монгу. Данные успешно кеширует, и если нужного запроса нет, то лезет в монгу. Но проблема - если я обновлю данные в монге, то редис по прежнему возвращает свои значения по этому же ключу, так как думает что у него все есть и не лезет в монгу. Как подцепить сюда логику, чтоб после апдейта монги, данные в редисе тоже обновлялись? Сервер на ноде.

сделать инвалидейт кеша?

всем привет, подскажите модуль для работы с прокси

или сервисы какие

Парни, кто-то знает редис? Повесил его перед запросом в монгу. Данные успешно кеширует, и если нужного запроса нет, то лезет в монгу. Но проблема - если я обновлю данные в монге, то редис по прежнему возвращает свои значения по этому же ключу, так как думает что у него все есть и не лезет в монгу. Как подцепить сюда логику, чтоб после апдейта монги, данные в редисе тоже обновлялись? Сервер на ноде.

Никак. Это знаменитая проблема инвалидации кеша. Даже если и решишь путем дублирования запросов на обновления не только монги но и редиса у тебя приложение скорее всего будет подвержено race condition атакам. Решение проблемы - использовать что-то одно - либо монгу либо редис

Никак. Это знаменитая проблема инвалидации кеша. Даже если и решишь путем дублирования запросов на обновления не только монги но и редиса у тебя приложение скорее всего будет подвержено race condition атакам. Решение проблемы - использовать что-то одно - либо монгу либо редис

Ничего себе, не знал что так серьезно. Но ведь используют редис для кешировование запросов каким то образом же. В том числе из бд.

Парни, кто-то знает редис? Повесил его перед запросом в монгу. Данные успешно кеширует, и если нужного запроса нет, то лезет в монгу. Но проблема - если я обновлю данные в монге, то редис по прежнему возвращает свои значения по этому же ключу, так как думает что у него все есть и не лезет в монгу. Как подцепить сюда логику, чтоб после апдейта монги, данные в редисе тоже обновлялись? Сервер на ноде.

Одно из решений - использовать временный кеш, который будет инвалидироваться сам через определенное время.

Одно из решений - использовать временный кеш, который будет инвалидироваться сам через определенное время.

Это настраивать в самом редисе?

https://redis.io/commands/expire

Это звучит как то что нужно. Обнулять кеш каждые 5 минут например

Спасибо, почитаю!

Это звучит как то что нужно. Обнулять кеш каждые 5 минут например

Почему бы не сбрасывать этот ключ в редисе при обновлении данных?

Ничего себе, не знал что так серьезно. Но ведь используют редис для кешировование запросов каким то образом же. В том числе из бд.

Если нужен кеш то всегда проще хранить базу данных в оперативке чем строить костыли синхронизации отдельного кеша

Почему бы не сбрасывать этот ключ в редисе при обновлении данных?

Это ещё лучше. Как? Можно почитать ссылку? Это надо монгу и редис настраивать?