орнул с udp api

мне прям очень интересно стало

Трабл в том что pyspider принимает url для парсинга, я же думал передавать id

Трабл в том что pyspider принимает url для парсинга, я же думал передавать id

???

орнул с udp api

Сайт на perl написан:D

сайт?

сайт на UDP?

А что, так можно было/

давай ты протрезвеешь, часов через 12-24, и напишешь еще раз, пожалуйста, когда тебя отпустит?)

ну или адрес "сайта" скинешь

видимо, ипв4, раз урлы он не понимает

Здравствуйте. Я зашёл не зная предыдущего диалога. В смысле сайт на udp?

давай ты протрезвеешь, часов через 12-24, и напишешь еще раз, пожалуйста, когда тебя отпустит?)

А что не понятно? Движок сайта написан на perl, апи у этого сайта udp.

Здравствуйте. Я зашёл не зная предыдущего диалога. В смысле сайт на udp?

Да не сайт:D

так, здесь, видимо, какая-то подмена понятий

что значит "апи у этого сайта udp"?

что такое UDP, начнем с этого?

ну, как ты это понимаешь или как этот сайт это понимает

http://wiki.anidb.net/w/UDP_API_Definition

Читайте

сука, с этого надо было начинать. не все здесь анимеебы.

:(

> The UDP API is not an appropriate choice if you desire to download a local copy of the AniDB database.

написано же вторым, блять, пунктом.

написано же вторым, блять, пунктом.

Как раз таки оно отдает все что надо, в отличии от HTTP API

Проблема не в апи

ну неудивительно, не каждый дрочер захочет с этим UDP API возиться.

ну тогда socket'ы, очевидно.

или искать готовые клиенты

Та ебанврот

ну ок. в чем проблема?

Я же говрю дело не в апи

Я сним работаю нормально, принимаю данные.

Могу обработать

молодец, ну и?)

Ну и хотел автоматизировать это дело, м помощью pyspider'а

о чём рассказывать будешь?

serverless архитектура

там же есть описания докладов на сайте

автоматизировать _какое_ дело?

берешь то, как ты принимаешь данные @ автоматизируешь

все еще не понял, в чем проблема

и какую задачу ты хочешь решить конкретно

???

и надеюсь, ты все-таки хорошо почитал статью в вики, которую сам скинул, потому что > The API should not be used to "download" AniDB. If such attempts are detected you will get banned. а еще статусы Possible return codes for all commands: 505 ILLEGAL INPUT OR ACCESS DENIED 555 BANNED указаны самыми первыми в списке, лол.

все еще не понял, в чем проблема

Какие есть способы автоматизации? И с помощью чего ее можно реализовать?

автоматизации чего? давай с самого начала, че те нужно вообще?

?

Ок сейчас

все языки программирования (ну ладно, кроме, может, брейнфака) были созданы для автоматизации.

Про апи не буду говорить, ок:

можно взять их, например.

Ну на php я без проблем это сделаю

Интересно на питоне

ну вот как ты это делаешь на пхп? скачал список анимы проходишься по списку и запрашиваешь по одному idшнику каждую конкретную аниму подробно типа того?

+

вот. а теперь берешь питон. качаешь список анимы. проходишься по спику и запрашиваешь по одному idшнику каждую конкретную аниму.

Уже

есть все id

ну а в чем проблема. сохранить? после того, как запросил и получил данные, кидаешь в базу.

Вот вот

или файлы сохраняешь, или че там.

Ребят, кто-нибудь тут возился с telegram api?

Есть пару вопросов, если есть время

telethon, говорят, на нативном апи работает

Дело не в нативности

А в ожидании ответа пользователя в диалоге с ботом

а, ты про bot api

ERROR: S client not available

тогда здесь и в @ru_python_beginners это полчата

лучше сразу тогда вопросы задавать, чем человека выискивать

еще @botoid есть

ну а в чем проблема. сохранить? после того, как запросил и получил данные, кидаешь в базу.

А теперь то что нужно: rabbitmq или redis ?

Что бы писать задачи в очередь, и выполнять их потом неспеша

хуясе вопрос. мне кажется, от rabbitmq ты охуеешь, хоть он и подходит в качестве бекенда для очереди

возьми редис с селери или rq и не еби себе мозг )

хуясе вопрос. мне кажется, от rabbitmq ты охуеешь, хоть он и подходит в качестве бекенда для очереди

rabbitmq как то хотел попробовать, но руки не дошли:D

возьми редис с селери или rq и не еби себе мозг )

А что нибудь с web ui/gui есть?

rabbitmq как то хотел попробовать, но руки не дошли:D

он очень тяжелый и развесистый

А что нибудь с web ui/gui есть?

Лол

Db inspector

А что нибудь с web ui/gui есть?

ээ. celery?

но нахуя?

А что нибудь с web ui/gui есть?

для редиски есть гуй вроде

очередь просто будет класть в базу таском

или че там.

не, ну мониторинг иметь - дело полезное

не, ну мониторинг иметь - дело полезное

+)

мониторинг для любительского выкачивания бд с анимой?

мониторинг для любительского выкачивания бд с анимой?

чисто бд

celery flower, в общем

+)

ну, тогда сделай правильно - поставь рядом prometheus + grafana и репорть туда из своих скриптов

гыгыгыгы

или кликхаус

но это уже совсем другой уровень

+ выкачивать 200+К страниц:D

можно еще jmeter воткнуть

можно еще jmeter воткнуть

не, нафиг

а то будет потом регулярками жсон парсить

как "нафиг". проводить нагрузочное тестирование собственной базы

как отдельные личности