и фактически в один поток в среднем скорость в 1 rps получается

Ну так он может в многопоток

это конечно средняя температура по больнице, но все же. и это еще без учета crawl-delay

а это супер этично?

ну и как бы по итогу. Питон тут ничего предложить не может, чего в го нет

Нет, но и парсинг, как бы тоже не супер этично.

Только большего количества программистов.

а го может предложить то, чего нет в Питоне

Например? Сорри, что переспрашиваю, мог не увидеть.

1. Производительность. 2. Не надо скейлится процессами. Шаред мемори тут очень полезна. 3. Типизация. Сильно упрощает разработку.

да посмотри скока тут работу ищут))

Если нужен краулер то это colly и он на базе goquery сделан.

да нифига не спорно третье. в сто раз спокойнее живется когда знаешь, что передал именно то, что ожидается

и фактически в один поток в среднем скорость в 1 rps получается

2 суток.

кто запрещает?

не знаю про какую ты систему, но как бы

Ок

Если будите писать что то, не забывайте выкладывать исходники. Сами то мы не писатели но покритикуем )

Вопрос для знатоков. Представьте, мы получаем входящий запрос от клиента на сервер. Как мы можем идентифицировать клиента? У нас нет возможности использовать куки, нет возможности делать авторизацию, нет возможности использовать IP как идентификатор (может быть 2 и более клиентов с одним IP). Как нам разделить запросы? ДОбавлю. Идентифицировать, что запросы идут от клиента 1, а эти запросы идут от клиента 2. Добавлю. Нам нужно их идентифицировать и разделять не более, чем на 1 час Запрос делается браузером.

Вопрос для знатоков. Представьте, мы получаем входящий запрос от клиента на сервер. Как мы можем идентифицировать клиента? У нас нет возможности использовать куки, нет возможности делать авторизацию, нет возможности использовать IP как идентификатор (может быть 2 и более клиентов с одним IP). Как нам разделить запросы? ДОбавлю. Идентифицировать, что запросы идут от клиента 1, а эти запросы идут от клиента 2. Добавлю. Нам нужно их идентифицировать и разделять не более, чем на 1 час Запрос делается браузером.

Ы Каждому клиенту свой домен

а задача сферическая в вакууме?

Как мне видится, связка юзерАгент + IP + ещё что то серверное...

о, я и не думал, что у нас при таких условиях есть юзер агент))

ну куку-то браузеру ты можешь дать

ну куку-то браузеру ты можешь дать

Я поясню - почему без кук. Я уверен, что через пару лет на территории Европы куки запретят совсем, можно подготовиться заранее)

ранняя оптимизация зло, гооврят

Я поясню - почему без кук. Я уверен, что через пару лет на территории Европы куки запретят совсем, можно подготовиться заранее)

не может такого быть. это бред

Не бред, про биток тоже говорили - кому он нужен (эх, почему я не прикупил на одну зарплату, когда они были по баксу...)

Я поясню - почему без кук. Я уверен, что через пару лет на территории Европы куки запретят совсем, можно подготовиться заранее)

получается можно любые слова аргументировать битком

Любой бред 👍👌

-завтра в магазинах перестанут продавать мясо, веганы захватят мир -нет, это бред -про биток тоже говорили бред