Александр
они написали мол у тебя куки отключены похоже твои запросы автоматические
Aleksandr
у меня иногда при входе на яндекс мессадж — ваш айпи был замечен в парсинге, а введика капчу
это понятно. у меня то же было такое с гуглом одном время. но если парсить например через chrome headless не превышая разумные лимиты, думаешь будет капча? (наверняка это уже все проверено, парсящими в промышленных масштбах)
Александр
я в бывает быстрее чем парсер обновляю яндекс но не улетаю в бан
Constantine️
это понятно. у меня то же было такое с гуглом одном время. но если парсить например через chrome headless не превышая разумные лимиты, думаешь будет капча? (наверняка это уже все проверено, парсящими в промышленных масштбах)
это уже прям верный путь, ага. но опять же, лимиты надо будет нащупать и надеяться, что не поймают на линейной частоте запросов
Александр
а заместо проксей можно tor использовать?
Александр
ктонибудь такое пробывал при парсинге?
Constantine️
пробовали для фейсбука
Constantine️
живой вариант
Constantine️
но для начала пробуй headless
Pawel
не путайте мягкое с теплым, яндекс детектит, что ваш айпи дергает их сервис. хотите обойти? ищите хорошие прокси на каждый запрос
проще заплатить за сервис расшифровки капчи чем манаться с проксями
Pawel
Александр
спасибо попробую им
Constantine️
проще заплатить за сервис расшифровки капчи чем манаться с проксями
проще не гадать по кофейной гуще )
Constantine️
индусы также ошибаются 🙂
Pawel
это был намёк а не гадание 🤞индусы красавчики, всё грамотно пиздячат
Pawel
для бота 1 ошибка на 100 капч ниачом
abcd
Куда можно залить код, чтобы не с локалхоста заходить , а например с другого адреса (глобального)
Oleksii
1) Купить VPS (DigitalOcean, Linode, AWS EC2 etc)
2) Если нужно просто запустить, чтобы кому-то что-то показать, то можно использовать ngrok.io
Anonymous
Или залить на heroku (если это не tcp || udp сервер)
Anonymous
У меня там бот хостится с бд бесплатно😄
Pawel
Это тебя глючит что он хостится. Херока грохает бесплатные гемы на которые не приходит запросов больше пол часа
Cat
ничего страшного, потом поднимает
долго, но поднимает
PS: можно делать фейковые запросы раз в 25 минут
Pawel
Можно ли назвать ботом то что надо пинать раз в по часа - вопрос.
Cat
не поверишь, но телеграм пинает ботов раз в несколько часов пустым апдейтом
Anonymous
Херока поднимается за 3-4 секунды
.
Очередной вопрос по многопоточке. Ставлю GOMAXPROCS=1. Допустим у меня в треде очередь горутин, и одна из этих горутин совершает syscall. Что в этом случает делает планировщик? Создаёт новый тред и перекидывает горутины из очереди туда и выполняет их?
Michael
Очередной вопрос по многопоточке. Ставлю GOMAXPROCS=1. Допустим у меня в треде очередь горутин, и одна из этих горутин совершает syscall. Что в этом случает делает планировщик? Создаёт новый тред и перекидывает горутины из очереди туда и выполняет их?
точно не скажу, но сисколы есть асинхронные. т.е. ответ приходит по событию от OS
.
Но в этот момент тред блокируется, верно?
.
Насколько я помню, блокируется
Cat
так можно же проверить
Cat
предполагаю, что задача просто откладывается, и после этого либо поллится, либо ожидается ответ от ОС
Cat
(но по-прежнему жаль, что эта нформация ничего не даёт)
Cat
через top
.
В pprof что ли?
Cat
не знаю, любыми удобными вам способами
Aleksandr
Можно ли назвать ботом то что надо пинать раз в по часа - вопрос.
следующий вопрос: где хостить бота, который будет дергать бота на хероку
Cat
по логам выяснилось, что приходил пустой апдейт
Aleksandr
то есть пруфа нет)
Aleksandr
вебхук или лонгполл?
Aleksandr
хотя не суть. пустой апдейт не описанный в доке - это сказка
Aleksandr
так что вы уже двоем заблуждаетесь?
Cat
в N-ером
Aleksandr
угу
Anonymous
ага, у меня бот падал после неактивности в несколько часов
А у меня бот для телеграма сутками не падает
Cat
у меня он падал потому что я не правильно парсил пустой апдейт
Cat
изначально мне было лень и я просто панику впаял на else-кейс
Aleksandr
у меня он падал потому что я не правильно парсил пустой апдейт
слушай, тут через люди спрашивают почему падает на чтении update.Message, забывая о том, что апдейты бывают разных типов, а значит Message может быть nil.
Aleksandr
а пустой апдейт - это сказки
.
Очередной вопрос по многопоточке. Ставлю GOMAXPROCS=1. Допустим у меня в треде очередь горутин, и одна из этих горутин совершает syscall. Что в этом случает делает планировщик? Создаёт новый тред и перекидывает горутины из очереди туда и выполняет их?
И все таки хотелось бы узнать ответ, самому отследить очень сложно
Slava
если по простому - то сискол остаётся на треде, а рантайм го берёт другой тред из пула(или создаёт новый) и перекидывает очередь горутин на новый тред
Slava
если по сложному, то не со всеми сисколами всегда так
Slava
есть оптимизации разные, чтобы не переключаться между тредами на быстрых сисколах
Roman
.
Отлично, понял, спасибо
.
Где об этом можно почитать в деталях?
Roman
.
Кучу статей перечитал, но все равно они не покрывают многие вопросы
.
Я вот не понимаю одной, наверняка фундаментальной, вещи
.
Зачем мы указываем количество логических процессоров? На что это влияет?
.
Через GOMAXPROCS
Slava
на количество одновременно выполняющихся горутин
.
А как? 🤔
.
Насколько я понял, треды ОС создаются независимо от количества процессоров
Slava
что как?
.
И горутины исполняются в тредах
Slava
рантайм го контроллирует что выполняется в тредах, так он и ограничивает
Slava
Где об этом можно почитать в деталях?
https://github.com/golang/go/blob/master/src/runtime/proc.go
.
Но потом прочел другое