Я о том что например у меня sideikiq воркер обарабатывает один твитер аккаунт в 100 потоков, типа парсит 100 тысяч твитов за 2-3 минуты (цифры так из потолка относительно). Или 100 воркеров парсят 100 сайтов за 3-5 секунд. Но больше начинаются лаги в парсинге, при том, что канал сервера забивается на небольшой процент при этом и CPU тоже. Даже почему-то скрипт на python который делает подобное работает в 2 раза быстрее. Каждый поток еще работает через прокси при этом. Но иногда упираюсь в потолок, что 100 воркеров sidekiq собирают данные по скорости как 30 воркеров. Я конечно не топ разработчик, дай бог на мидла сойду, поэтому и пытаюсь спросить совета у шарящих людей :) И почему-то по наблюдениям парсинга руби вообще не очень хорошо работают в этом плане. Даже инициализация воркера до парсинга занимает в Ruby почему-то 3-5 секунд, в python 1-2 секунды. Другие языки не пробовал. В этом и вопрос. Что там про Go/Rust говорят. Я понимаю что грамотное распределение и масштабирование поможет решить все проблемы. Но хотелось бы начать проблемы не с мастшабирования, ибо сейчас сервак чуть меньше 100$/мес стоит с 32гб памяти, xeon какой- то и так далее, а языка, который работает быстрее чем ruby.

Я о том что например у меня sideikiq воркер обарабатывает один твитер аккаунт в 100 потоков, типа парсит 100 тысяч твитов за 2-3 минуты (цифры так из потолка относительно). Или 100 воркеров парсят 100 сайтов за 3-5 секунд. Но больше начинаются лаги в парсинге, при том, что канал сервера забивается на небольшой процент при этом и CPU тоже. Даже почему-то скрипт на python который делает подобное работает в 2 раза быстрее. Каждый поток еще работает через прокси при этом. Но иногда упираюсь в потолок, что 100 воркеров sidekiq собирают данные по скорости как 30 воркеров. Я конечно не топ разработчик, дай бог на мидла сойду, поэтому и пытаюсь спросить совета у шарящих людей :) И почему-то по наблюдениям парсинга руби вообще не очень хорошо работают в этом плане. Даже инициализация воркера до парсинга занимает в Ruby почему-то 3-5 секунд, в python 1-2 секунды. Другие языки не пробовал. В этом и вопрос. Что там про Go/Rust говорят. Я понимаю что грамотное распределение и масштабирование поможет решить все проблемы. Но хотелось бы начать проблемы не с мастшабирования, ибо сейчас сервак чуть меньше 100$/мес стоит с 32гб памяти, xeon какой- то и так далее, а языка, который работает быстрее чем ruby.

Слушай, ты не соврал, ты точно Он. Ладно по делу. Если говоришь что CPU и RAM в порядке надо диагностикку провести, это один и тот жне сервер?

Я сам его стебал по поводу парсинга)

Значит я что-то не так делаю, судя по Вашему ответу)

Значит я что-то не так делаю, судя по Вашему ответу)

Ты на мои вопросы по существу ответь ;)

Один сервер. Видимо

Один сервер. Видимо

ну давай он может расскажет :)

Кот никому не нужен (это сообщение для видо, он мне на кнопки нажимает, а я угрожаю, что отдам)

Ты уже работаешь, так что там у тебя под капотом?

обычный стек docker, sidekiq, pg, ruby, grape для api на фронте react c api работающий, ну то не важно. я понимаю что надо расширять стек наверное и масштабировать все как-то. но с этим я разберусь. я хочу изначально спросить как парсить многопточно в огромное кол-во потоков)

я не особо и жалуюсь сейчас, хочется прыгнуть выше, 90% времени работы читаю что-то не знаю в каком направлении шагать

Слушай, ты не соврал, ты точно Он. Ладно по делу. Если говоришь что CPU и RAM в порядке надо диагностикку провести, это один и тот жне сервер?

Не, не он, стиль изложения совсем другой

я не особо и жалуюсь сейчас, хочется прыгнуть выше, 90% времени работы читаю что-то не знаю в каком направлении шагать

Ты любишь перл?

Чтобы не созовать всякого геммора вроде блокировок и други семофорв, при использования трединга используй очереди

Есть такая в руби штука

Году в 2009 пользовался спамером одним на перле и допиливал его немного) Не знаю вообще его) Это тест на МАСТЕРА ЛИРа?))

Сто пудов тест на нег :))

Году в 2009 пользовался спамером одним на перле и допиливал его немного) Не знаю вообще его) Это тест на МАСТЕРА ЛИРа?))

Типа того )

Ну не только в руби.

Очеь жалко что в том же го, регулярки очень долгие, иначе посоветовал бы переписать всё туда, работае после компиляции быстрее, конечно. Прям сильно, но у тебя именно прасинг.

Итак, решение с моей точки зрения:

я не особо и жалуюсь сейчас, хочется прыгнуть выше, 90% времени работы читаю что-то не знаю в каком направлении шагать

А не пробовал несколько маленьких серверов вместо одного большого?

Регулярок в парсинге нет практически

Nokogiri использую для работы с данными сайтов

Внатуре МАСТЕР ЛИР какой-то получаюсь... )))

Внатуре МАСТЕР ЛИР какой-то получаюсь... )))

Перла для полной картины не хватает

И сообщений из одного слова

Ох уж это флудосуббота)))

1.Множим серваки, на каждому выдаём задачу, мол парсить отсель до сель. Используем трединг, queue. что такое - загуглишь, тыж не Мастер Лир ;))) . В целом рыба такая, получаешь в массив, например, список ссылок, потом создаёшь работающее на твоём железе кол-во воркеров, читай тредов, потом в очередь добавляешь все адреса, и в конце добавляешь.. Ну например слово die по ко-ву воркеров

2. Каждая процедура(тред), получает данные из очереди обрабатыает из, помещаая в очередь результата. Для сохранения результата, создаётся ещё один тред который эту очередь обрабатывает, и пишет в базу/файл. По получению слова die тред умирает

3. По завершению всех тредов, программа закрывается

Могу показать пример

То что ты выше описал вроде сайдкик из коробки делает. Разве нет?

Я хз что такое сайдкик. Я на голом руби пишу ;)

Напомните пожалуйста, что там за сайт, где удобно выложить код? С гитхабом связан. Я из командной строки умею, а вот так что-то не пользовался

Ну там не надо с тредами работать. Просто пишешь воркер. И ввставляешь настройки типа название очереди, максимальное количество паралельных поток для этой очереди. Сколько раз перезапускать если упадет и т.д.

Ну, интересно же хнать что внутри? Я пытался даже видимо свой сайдкик написать, типа чтоб любую функцию можно было замногопточить. Он работало, но что-то не так было, не помню, лет 5 прошло. Тоже, наверное, выложить могу

А вы всей толпой поругаете, я это люблю, очень образовательно

Введение в алгоритм A* / Хабрахабр https://habrahabr.ru/post/331192/

чтобы решить эту задачу не обязательно читать про алгоритмы, т.к. условия соптимизировать путь нет

То что ты выше описал вроде сайдкик из коробки делает. Разве нет?

Так я через Skidekiq и работаю, очереди и все такое

чтобы решить эту задачу не обязательно читать про алгоритмы, т.к. условия соптимизировать путь нет

А как же то самое? В любом лабиринти всегда поворачива на лево? ;))

Так я через Skidekiq и работаю, очереди и все такое

То я не тебе писал. :)

чтобы решить эту задачу не обязательно читать про алгоритмы, т.к. условия соптимизировать путь нет

Там не только оптимальные пути описаны. Просто посмотреть на подходы к решению. А не тупо циклы друг в друга вкладывать.

А как же то самое? В любом лабиринти всегда поворачива на лево? ;))

есть способы намного проще. Ну т.е. нафига бы я вам стал графы подсовывать, чтобы жизнь сладкой не казалась? Задача хорошая, решение простое. Сделать ее - большой фан. Без графов можно обойтись. Ну и практика тоже поможет. Одному челу недавно похожую задачу задали в гугле

есть способы намного проще. Ну т.е. нафига бы я вам стал графы подсовывать, чтобы жизнь сладкой не казалась? Задача хорошая, решение простое. Сделать ее - большой фан. Без графов можно обойтись. Ну и практика тоже поможет. Одному челу недавно похожую задачу задали в гугле

Блин, ты меня заинтриговал. Завтра попробую решить.

Я раньше парсингом занимался без skidekiq. Хостинг Vscale выдавал по API сервер за 1-2 рубля в час 4-ядерный. Я через скрипт из базы распределял задачи, а потом создавал сервера по API и на них через Ansible закачивал скрипты с данными и тасками, которые у тебя их обрабатывали и на удаленный сервеак засовывали данные. Выходило быстерее, чем сейчас но неудобно.

Нашёл сервис. если нужно, скажите, поделюсь своим тред-быдлокодом

А как же то самое? В любом лабиринти всегда поворачива на лево? ;))

так я так и решил, только всегда направо

так я так и решил, только всегда направо

Фундаментальна ошибка была именно в этом ;)))))

Фундаментальна ошибка была именно в этом ;)))))

это ничего не меняет

это ничего не меняет

к тому же если влево, то мой вправо в данном лабиринте быстрее путь найдет ?

Нет ребят, лень искать, но тут нужен стикер "Сарказм"

жаль что я не сразу понял

можно дажи пройтись по всем направлениям чтоб наверняка и выбрать самый короткий

жаль что я не сразу понял

Я попробую тоже написать на днях, думаю будет время. Потом опытом поделимся.

оригинальное решение я пока что не понял

как и не понял, почему так плохо юзать рекурсию, понимаю что это не производительно, но ведь никто и не гонится за производительностью в таких задачах. В другом языке я бы мог сделать более элегантное и глупое решение

Просто об уровне знаний говорит, вот и все.

Сделал сразу и быстро и просто, значит мастер.

как и не понял, почему так плохо юзать рекурсию, понимаю что это не производительно, но ведь никто и не гонится за производительностью в таких задачах. В другом языке я бы мог сделать более элегантное и глупое решение

Да при чем тут производительность

у тебя ограниченный стек вызовов

Сделал сразу и быстро и просто, значит мастер.

Лир

если ты используешь рекурсию - значит ты не знаешь длинну входящих данных, значит с большой вероятностью твоя программа упадет

и это будет не эксепшен, который можно отловить и выйти, а просто упадет

если по твоему нормально писать код, который самопроизвольно фатально падает, то рекурсия - вполне норм

ERROR: S client not available

если пишешь на функциональном языке, типа эрланга, то рекурсия вполне норм

во всех остальных случаях она неприменима

и это будет не эксепшен, который можно отловить и выйти, а просто упадет

нармально для каких-то поделок, я так не предсталвяю на кой мне рекурсия .

во всех остальных случаях она неприменима

об этом и речь

не надо учиться писать код для поделок, надо учитсья писать нормальный код, который ты потом покажешь на собеседовании что бы тебя взяли на работу

и который потом будет приносить тебе деньги

Только я не понимаю как мне решить эту проблему

не используя графы и рекурсию, т.е. оставшись при том же методе ''всегда поворачивай направо если не можешь идти вперед"

тяжело сказать, не зная задачи, но ты можешь просто писать весь пути в массив, к примеру, и в бесконечном цикле просто добавлять в конец массива значения

если надо пойти обратно, просто по шагам удаляй их

я как бы так и делаю

а вот это интересно

лучше для этого конечно подойдет стек, а не массив, он чутка быстрее, но в руби стеков нет )

хотя можно при желании реализовать, но смысла нет

значит вывод, тем алгоритмом что я пытаюсь решить задачу, на RUBY её не решить, правильно?

руби не пр опроизводительность - руби про быстро написанный красивый и хорошо читаемый код

рекурсивно - нет

так а иначе её и не решить этим алгоритмом

понимаешь, даже если ты напишешь хвостовую рекрсию, и настроишь компилятор под нее, то он просто преобразует твою рекурсию в бесконечный цикл

но ты сам можешь написать этот цикл, так зачем тогда эти пляски с бубном?

я не понимаю

так я уже написал бесконечный цикл

который записывает путь в конец массива

http://wm-help.net/lib/b/book/827961078/264

вот тебе пример решения классической задачи с башнями

рекурсивное и не рекурсивное

разница в том, вызывает ли метод сам себя, или он вызывается в итерациях цикла

все

так в руби нет ни рекурсии ни стеков, о чем речь вообще тогда я не пойму этого никак