а чем именно гошка помогла в прикидываниях? я не понимаю в чем сдеть зависимость от языка

в данном проекте это только функционал либы

если было бы таковое в пхп - не вопрос, пробовали к слову питон - не особо устроил, но там тоже все сработало

"было бы таковое в пхп" - так что именно то?)

функционал который позволяет без проблем запросить какую-либо урлу к примеру из амазон, ибей или гугла, и тебя не пошлют лесом мол ты робот иди отдыхай

дай линк на эту либу

го?

да

функционал который позволяет без проблем запросить какую-либо урлу к примеру из амазон, ибей или гугла, и тебя не пошлют лесом мол ты робот иди отдыхай

тор?

могу завтра скинуть,

вообще в 98% случаев достаточно отправлять обратно куку, юзер агент ставить более-менее реальный и не прыгать по айпихам разным

в общем прикинуться юзером не есть проблема

проблема там где для этого есть целые алгоритмческие сети для выявления такой активности, но я такого честно на практике парсинга не встречал

я не претендую на гуру парсинга, владение курлом и т.п.

Или вообще селениум, там и джаваскрипт выполняется

вообще не понял при чем там го

а так пул тор сети, к нему пачка проксей, главное чтобы на проксе не было форварда айпишника бгг

амазон ебей не знают какой у тебя язык

тору прокся не очень то и нужна

тор сеть - первый повод словить блок

тору прокся не очень то и нужна

тор это дополнение к проксям

они такие if yazik == go {give_access} ??

тор сеть - первый повод словить блок

это ещё нужно выкупить, что к тебе через тор сервак пришли

под тором нужно каждый раз себе новый айпишник выбивать, а это мутняк)

а ты думаешь что адреса этих серваков такая тайна?

ну защиту от тора делают, я помню разбирался. есть лайв список нод и тд.

ну вот...

но ебей не защищается от тора

или амазон

они разрешают заходить

не знал о списке

обьясни почему го не определяентся амазоном?

Или вообще селениум, там и джаваскрипт выполняется

лучше chrome headless)

я бы сказал так, прежде чем делать выводы попробуйте решить мало мальски реальную задачку. Нам после того как нарисовали проблему я думал все будет легко и не принужденно, как вывод я начал изучать го и кое-что на нем написал :)

я бы сказал так, прежде чем делать выводы попробуйте решить мало мальски реальную задачку. Нам после того как нарисовали проблему я думал все будет легко и не принужденно, как вывод я начал изучать го и кое-что на нем написал :)

делал штуку для парсинга конкурентлов и подстройки цен. через тор ))

лучше chrome headless)

Там можно мышкой шевелить? Эмулировать

спарсить кого-то и я могу, речь идет о маркетплейсах серьезных дядек

это именно было то, о чем ты говоришь

и не могу понять как го не определяется сервисами

делал парсинг каталогов у тонны производителей и поставщиков, если там спалят что ты скрейпишь их, то могут быть проблемы у твоей компании на юридическом уровне... для этого сильно выебывались с прикидыванием что ты юзер

но в конечном итоге через некоторое время проект закрыли)

но в конечном итоге через некоторое время проект закрыли)

та ж фигня)

хотя интересно было)

а щас полученные знания для защиты от скрейперов будем использовать)

сейчас у нас на каждой ноде свой ип-ник, пока не релизовано но будет так что разбросаем их по разным локациям, для запроса страницы используется дефолтный браузер

не, наша компания не закрылась)) просто как-то очково начальству, что это может в серьезные последствия вылезти) поэтому мы просто договариваемся напрямую с теми кого хотели парсить и нам предоставляют легально каталоги и все такое)

сложно в америке все как-то, нам этого не понять)

не, наша компания не закрылась)) просто как-то очково начальству, что это может в серьезные последствия вылезти) поэтому мы просто договариваемся напрямую с теми кого хотели парсить и нам предоставляют легально каталоги и все такое)

все правильно делаете

не, наша компания не закрылась)) просто как-то очково начальству, что это может в серьезные последствия вылезти) поэтому мы просто договариваемся напрямую с теми кого хотели парсить и нам предоставляют легально каталоги и все такое)

Мы работали с рынком РФ, иногда нас банили, но менеджеры находили новые доступы на сайты поставщиков, о юридической ответственности речи не было)

я понимаю такое - "мы взяли го, потому что там с корутинами можно удобно делать скрейпинг с одновременным кол-вом 1000+ запросов и при этом с небольшим потреблением ресурсов"

но мы взяли го, чтобы нас не палили.. эт такое)

Мы работали с рынком РФ, иногда нас банили, но менеджеры находили новые доступы на сайты поставщиков, о юридической ответственности речи не было)

Договариваться в этом плане стрёмно — актуальность и объективность информации может вызвать вопросы

у нас даже за ДДОС ничего предьявить не смогут

а ты говоришь парсинг))

скрейпинг*

уже сделал скриншоты чата, отправляю в нужные службы

на го да было много либ почему то именно для ебея и амазона и заказов на их парсинг гошкой

не могу понять в чем суть именно го )) решает же клиент, а не язык. а так да, он быстрый, того и выбирают

ну быстрый это спорно))

когда есть джава)

как понимаю это стеб? :)

прост мб удобно парсить в несколько потоков, или предоставляет высокоуровневое апи которое ходит по сайту ждет ответов, парсит, выполнят действия

здорово, к примеру го это умеет

ERROR: S client not available

у стима такая же обертка на ноде ну и там только один пакет который активно пилится одним разрабом

асинхронный curl и у пхп есть)

поэтому все что связано со стимом в основном на ноде пишут)

чтоб не изобретать велик

в несколько потоков парсить это если ты в cpu упираешься

и в несколько потоков можно и на пхп)

сложно себе представить парсинг который будет тебя жать в ресурсах cpu

и в несколько потоков можно и на пхп)

даже на паскале можно )))

выкачиваешь страницу на пару мб и погнал кривой xml парсить)

когда есть джава)

так ее вроде нода даже уделывает)

так ее вроде нода даже уделывает)

в чем и с какой это радости?

ну тем же чем джава уделывает го )

https://www.techempower.com/benchmarks/

та ничем не уделывает. джава для обизян. пхп рулит.

https://www.techempower.com/benchmarks/

бенчмарк фреймворков?)

при этом я не вижу netty

там все подряд)

спринг есть

спринг это фреймворк

а не сервер

это как симфони

а симфони ты можешь по-разному запускать

fpm, php-pm и тд

а там netty, jetty, undertow, tomcat и тд

в го вроде все поверх fast http или как там его

а на ноде express

да

го это и есть веб сервер

ну fasthttp там в самом верху

ну слушать 80й порт можно и на головй джаве

а вот как ты будешь хендлить входящие запросы за это уже отвечают все выше перечисленные сервера

где-то неблокирующие NIO, где-то тредпулы