Альчик лянга

фига это че-то импортное

ну да неподумал это ж наши местные забавы извиняйте, просвещения для https://ru.wikipedia.org/wiki/%D0%90%D1%81%D1%8B%D0%BA https://ru.wikipedia.org/wiki/%D0%9B%D1%8F%D0%BD%D0%B3%D0%B0

ну да неподумал это ж наши местные забавы извиняйте, просвещения для https://ru.wikipedia.org/wiki/%D0%90%D1%81%D1%8B%D0%BA https://ru.wikipedia.org/wiki/%D0%9B%D1%8F%D0%BD%D0%B3%D0%B0

я прям прослезился вспомнив этот адок)

у нас земельки (они же ножички) процветали

о, прикольно. там про безотходное производство

в альчике

))

норм игра

в vr бы погонял

возвращаясь к языкам

кажется придумал самую тупую игру

симулятор гошника

причем люди думают, что это игра, а ты потом микросервисы запускаешь

напиши ии которая заменит гошников, как тебе цель жизни?)

это типа как нанять людей, только наоборот

они за подписку платят

план очь хитрый, держи в курсе)

а лучше не подписку, а шлемы всякие

фри-ту-плэй

и как в доте какой-нибудь

Кто-нибудь 4.x ещё пользуется тут?

Поставил ентот ваш npm@5. Yarn: 44s, NPM@5: 19s. Пойду ка я обновлять остальные проекты)

C Node 8 в Travis всё норм собирается.

Народ, маленький опрос: Вы пользуетесь загрузкой переменных среды из файлов или используете только переданные параметры (process.env и всё)?

Народ, маленький опрос: Вы пользуетесь загрузкой переменных среды из файлов или используете только переданные параметры (process.env и всё)?

Привет. Зависит от того как у вас среды разворачиваются и с какой периодичностью, какое количество сред. Автомат, часто, много - из файлов.

Поставил ентот ваш npm@5. Yarn: 44s, NPM@5: 19s. Пойду ка я обновлять остальные проекты)

ого

товарищи подскажите как хранить повторяющие события приложуха типа календаря может есть пример? как потом поиск делать?

товарищи подскажите как хранить повторяющие события приложуха типа календаря может есть пример? как потом поиск делать?

Я использую RRULE из RFC про iCalendar. Для ноды реализовано Мозиллой в ical.js

Я храню правило текстом в колонке БД, но, если нужен поиск, то можно разобрать правило на поля и хранить их отдельно (например, время начала, интервал повтора и т.д.)

кажется придумал самую тупую игру

Чувствую какую-то ненависть к го. Теперь даже не знаю, что ты больше ненавидишь: js, python или go)

Чувствую какую-то ненависть к го. Теперь даже не знаю, что ты больше ненавидишь: js, python или go)

ruby еще забыл

Похапе же

ruby еще забыл

Я просто не видел, как Сергей рубистов хейтил)

У меня стаж похапе был 15 лет. От этого не умирают

Но возврата не хочу

звучит как стаж курения

всем привет ребята

вообщем делаю сбор с сайта и у меня такие траблы со сбором

То есть она отправляет запросы сразу 10 страницам и потом по очереди собирает базу с страниц. Так вот, ставлю 10 страниц и все нормально, как только ставлю 100 сайт падает и приходиться вручную редактировать конфиг ставить 10 затем 20 затем 30 затем 40 затем 50, чтобы по очереди по 10 страниц собирал базу

Вот на скрине например одновременно отправил 10 запросов, затем уже начал сбор. По 10 руками вводит и по очереди не вариант, так как мне нужно собрать базу с несколько десятков тысяч страниц. Как сделать так, чтобы поставил сбор с 100к базы, а он сам по себе отправлял запросы сначала на 10 страниц и сделал сбор затем на следующую десятку и сбор и так по очереди 10 20 30 40 50 60 70 80 90 100 и так далее.

{ "types": 2, "dopage": 10, "PHPSESSID": "osaqxghgsp2s6sto19hs4fmp64034200", "delay": 2000 } мой config

написано на node, по этому хочу спросить у знающих как решить эту проблему Заранее спасибо

Чую не благородными делами занимаетесь

нет, собираю свою клиентскую базу с других ресурсов для дальнейшего таргетирования

Я не совсем понял задачу, но ответ кажись у вас есть: "отправлял запросы сначала на 10 страниц и сделал сбор затем на следующую десятку и сбор и так по очереди 10 20 30 40 50 60 70 80 90 100 и так далее.". Решение в лоб - бегите bash скриптом.

написано на node, по этому хочу спросить у знающих как решить эту проблему Заранее спасибо

Bull, bee-queue

Вообщем тебе нужен job раннер

я просто думал, можно в свои config что то дописать чтобы сканировал по очереди 10 20 30 40 50 страниц но чтобы делал автоматом а не так чтобы я каждый раз вручную менял до какой страницы парсить

парсишь за раз по 10 элементов, на каждом элементе делаешь page+=1

ставишь какой-то барьер типа if page ===1000 break

или в чем проблема?

{ "types": 2, "dopage": 580, "PHPSESSID": "sadsvtwer23423s200", "delay": 1000 } dopage - это парсить до какой страницы ставлю 10 отсканировал 10, в page сохранилось до какой страницы отсканировал, затем меняю dopage на 20 затем до 30 чтобы отправлялось по 10 запросов и сайт не зависал а если ставлю по 1000 то одновременно отсылаются 1000 запросов и сайт лежит мне нужно 10000 страниц отсканировалось и чтобы запросы отправлялись по очереди по 10

отправлю символическую 100 рублей если кто нибудь поможет, просто уж замучился

парси в 1 поток

тут видимо по 10 потоков идет, если 10 запросов одновременно отправляются

парси в 1 поток

1000 запросов одновременно. мы тутвсем офисом ржем

Ещё раз, что такое 'dopage'? Это до какой страницы он "допарсил"?

Нет, до какой страницы парусить

ERROR: S client not available

Парсить, dopage

1000 запросов одновременно. мы тутвсем офисом ржем

Вы понимаете над чем?

1000 запросов одновременно. мы тутвсем офисом ржем

Да ладно, может у чуваков там похапэ на 486 живёт

Ещё раз, что такое 'dopage'? Это до какой страницы он "допарсил"?

А в page.txt сохраняется число страниц до какого он допарсил

Воот

Просто запускайте этот скрипт последовательно N раз, где N = всего пользователей / dopage.

Я и так делаю, сначала в dopage пишу 10, отсканировал, затем редактирую в config.json, dopage на 20, затем на 30 и так все нормально идёт

Кто-нибудь, напишите человеку bash for https://habrahabr.ru/post/52871/

Но мне нужно отсканировать сотни тысяч станиц, и руками по очереди вводит 10 20 30 40 не вариант.

Или вы там виндой балуетесь?

Не понял?

Видимо этот парсер написан был на node Редактирую конфиг dopage жму start.bat и он сканирует Мне нужно просто чтобы по 1 сканировал сьраницы а не одновременно по 100 запросов отправлял.

Пфуф

Хелп, хотябы за вас 100 рублей за такси оплачу

Для программиста это не деньги, но хотябы желание было помочь)

Ну так тебе надо увеличивать не dopage (это сколько параррельно парсить), а номер страницы в твоём этом page.txt

Да ладно, может у чуваков там похапэ на 486 живёт

я когда одминил ставил ограничения 8-10 потоков на клиента.... иначе писецмана

а он 1000

ха

Ну так тебе надо увеличивать не dopage (это сколько параррельно парсить), а номер страницы в твоём этом page.txt

Не не, например поставил в dopage 10, отсканировал 10 и в page.txt автоматом пишется 10, чтобы потом когда я поставил в dopage 20, он начал просить с 11 страницы

Но мне нужно отсканировать сотни тысяч станиц, и руками по очереди вводит 10 20 30 40 не вариант.

Хелп, хотябы за вас 100 рублей за такси оплачу

давай еще жги

Для программиста это не деньги, но хотябы желание было помочь)

Просто помогай потом другим

Эй, не обижай джуна =)

я тут парсер одного агрегатора 30+ часов уже пишу

особый кайф названия городов и гостиниц

и ахулион опечаток в турагенствах

100 рублей