а как он это узнает?
Способов, узнать, что браузером управляет автоматизированное ПО довольно много. Можешь сначала почитать что такое fingerprint (пример). Потом почитать блог Антуана Вастеля, у него есть довольно интересные способы идентификации ботов.
P.S.: Это всё к тому что у разработчиков сайта есть такая возможность. Но это не значит что сайт что-нибудь из этого использует. Нужно с каждым сайтом отдельно разбираться. А универсальное решение вряд ли существует.