Здарова, столкнулся с такой проблемой, грамотно сформулировать не смогу, а потому лучше объясню на примере. https://www.twitch.tv/popout/bratishkinoff/chat?popout= Нужно спарсить вкладку messages из irc-ws.chat.twitch.tv irc-ws.chat.twitch.tv является WebSocket'om, а потому, как это сделать - не понятно. P.S. В Интернете не нашёл ничего подобного.

А что, официального апи нету с документацией?

Есть, но у меня поставлена конкретная задача, нужно спарсить.

пайтест весь день лежит, чтобы ты понимал

Ебанулись совсем

Между Api и парсингом огромная разница. Для использования Api нужно регистрироваться, а так же создавать токен(На твиче немного запарнее чем должно быть), при этом будет ограничение на 100 запросов в минуту. Основная задача - получить нужную информацию без каких-либо ограничений/регистраций. Есть Идеи?)

Между Api и парсингом огромная разница. Для использования Api нужно регистрироваться, а так же создавать токен(На твиче немного запарнее чем должно быть), при этом будет ограничение на 100 запросов в минуту. Основная задача - получить нужную информацию без каких-либо ограничений/регистраций. Есть Идеи?)

Вы же понимаете, что за парсинг твич вас еще быстрее ограничит?

Между Api и парсингом огромная разница. Для использования Api нужно регистрироваться, а так же создавать токен(На твиче немного запарнее чем должно быть), при этом будет ограничение на 100 запросов в минуту. Основная задача - получить нужную информацию без каких-либо ограничений/регистраций. Есть Идеи?)

Вы же понимаете, что за парсинг твич вас еще быстрее ограничит?

Ну арендуйте где-то 50 прокси серваков и через них парсите

Если у них нормально настроены rate limits, то хрен тебе а не парсинг

Это конечно всё клёво, но мне нужно понять как парсить вебсокеты, твич взят для примера. Мне лишь нужна практичная информация о том, как это сделать.

Примерно так же как парсить udp сокеты

Это конечно всё клёво, но мне нужно понять как парсить вебсокеты, твич взят для примера. Мне лишь нужна практичная информация о том, как это сделать.

...и делаешь один запрос в секунду)

Этого вполне хватит. Может кто участок кода кинуть?

Этого вполне хватит. Может кто участок кода кинуть?

Ты селениум видел вообще?

А про вебсокеты что-то слышал?

Но не вникал, судя по всему

не будет ли эффективнее просто запихать это в монгу?

Нормальный м2м в монге появился?

если я буду это в монге делать, то я просто в жсоне пропишу: "someProperty":["arg1", "arg2", "arg3"]

если я буду это в монге делать, то я просто в жсоне пропишу: "someProperty":["arg1", "arg2", "arg3"]

А монга - нет

Такое ты можешь и в постгрес положить полем

про array_field думал(в постгресе)

Если у тебя не будет частичного обновления этого списка и не нужен поиск - клади как блоб

будет

Подскажите пожалуйста, как можно сохранить все значения в словаре с такими же 3 ключами? Грубо говоря и Александра тоже)

да

Грубо, можно конкурентно добавить два элемента в такой список?

Грубо, можно конкурентно добавить два элемента в такой список?

Подскажите пожалуйста, как можно сохранить все значения в словаре с такими же 3 ключами? Грубо говоря и Александра тоже)

это не в ту степь

в список можно

почему?

Я к тому, почему не стоит брать постгрес?

если в таблице много индексов и % записи большой то бери мускуль

если нужны крутые коммерческие фичи как права доступа, врайтабле вью то бери постгрес