🖥 Golang Web Scraping Awesome-Web-Scraping – Список инструментов, библиотек программирования и веб-сервисов, используемых при парсинге и обработке данных. 🖥 Github @Golang_google

А есть вообще какие-нибудь нормальные книги по современному парсингу? Достать блок из сайта с 2010ых все горазды, а когда там везде жс, или работает через раз, потому что в гугле все сводится к новичковым примерам и переложить это на реальную задачу довольно сложно

не думаю,что парсинг бывает современный, и справляющийся со всей динамичностью фронтенд фремфорков. Первая работа была на парсинге и это всегда боль, если не парсишь сам у себя. Меняется какой-то див и все лежит. Хотя тулы скорее всего есть хорошие, но книги и что-то вроде "современный парсинг" -я не думаю)

++++++ еще когда классы в этих дивах динамически меняются время от времени, просто селениум - путь страданий, вообще парсить - путь страданий, но я вот такое заметил, что везде хеллоу ворлд а как доходит до дела так ничего толкового

такое можно парсить через апишку, если контент на сайте меряется динамически, значит он приходит откуда-то)

апи закрыто и наверняка довольно защищенно, или я просто не знаю как их вытягивать

если оно работает в браузере, то оно уже не защищено)

как минимум запросы могут быть разрешены лишь для определенного хоста, и даже если вытянуть эти запросы они просто не будут работать

это все не работае при отправки запросов с бекенда cors на работает в принципе, а проверки заголовков и можешь обмануть отправив свои заголовки

Правда? Почему?

потому что общение клиента с бекендом не может быть защищено так, чтобы кто-то не мог получить доступ к api. так как из браузера ты можешь получить любые секретные и скрытые данные. Браузер выполняет весь код у тебя на устройстве. Даже шифрование данных не помогает, потому что ты всегда можешь отловить состояние до шифрования, а так же можешь тупо скопировать алгоритм шифрования и повторить его самостоятельно единственная защита ssr, который сейчас выходит из моды и используется в основном для seo, иногда конечно для безопасности но любые динамические данные не могут выполняться в ssr, так как он умеет только в рендеринг на сервере, а это требует перезагрузки

Можно подгружать динамические данные в виде html с сервера и встраивать их в страницу, например туда где есть пагинация

ну так это же все равно api, делать к которому запросы почти всегда намного проще раз ве что код от китайского умельца может подарить пару бессонных ночей

Это динамический сср)

как минимум запросы могут быть разрешены лишь для определенного хоста, и даже если вытянуть эти запросы они просто не будут работать

Прежде чем о чем то таком думать нужно точно понять что тебе нужно от и до и зачем

Там на самом деле работы мало прям ваще

Может скинешь весь код в плейграунд?

закомментировал в итоге апенд в теле рекурсии

Вот здесь такая же проблема или похожая. Если апендить слайс и давать в рекурсию все запрывается, если в вызове рекурсии делать апенд все работает как часы: https://go.dev/play/p/r7Vv_kiJQUG

Ребят не знаете почему в рекурсии не работает нормальный аппенд и надо копию мэйкать у массива?

а для чего вот это порно res *[]string?

Вот здесь такая же проблема или похожая. Если апендить слайс и давать в рекурсию все запрывается, если в вызове рекурсии делать апенд все работает как часы: https://go.dev/play/p/r7Vv_kiJQUG

я на литкоде вижу довольно часто эту тему, товарищи сказали что тоже в курсе что надо мейкать новые слайсы но не шарят почему так происходит

ощущение что какой-то датарейс хотя это вобще последовательная програмка

там вобще ничего со слайсом не происходило, просто его хотел добавить в результирующий

а здесь?

Как нарисовать на бумажке то?

ну сходил в туалет, покакал и потом пальцем рисует. как говорится, натур-продукт)

MVP design

Всем Привет, как можно сделать так, чтобы работали валидаторы по типу gte, lte на кастомные типы: type Date struct { time.Time } type DateRange struct { Min Date json:"min" validate:"required" Max Date json:"max" validate:"required,gtefield=Min" }

Всем Привет, как можно сделать так, чтобы работали валидаторы по типу gte, lte на кастомные типы: type Date struct { time.Time } type DateRange struct { Min Date json:"min" validate:"required" Max Date json:"max" validate:"required,gtefield=Min" }

Скорее всего никак, валидатор не поддерживает

Ребзя, всем привет Подскажите пожалуйста - а как работать в го с логерами? Допустим в той же пыхе я могу в инстанс объекта прокинуть сконфигурированный логгер и пользовать где хочу в рамках этого инстанса В Го мне не понятно как это сделать Пакет log Нужно сконфижить лог чтобы он писал в отдельный файл И дальше чтобы его можно было в влюбой функции дернуть https://go.dev/play/p/WkNByaPP1en Спасибо за ответ

Ребзя, всем привет Подскажите пожалуйста - а как работать в го с логерами? Допустим в той же пыхе я могу в инстанс объекта прокинуть сконфигурированный логгер и пользовать где хочу в рамках этого инстанса В Го мне не понятно как это сделать Пакет log Нужно сконфижить лог чтобы он писал в отдельный файл И дальше чтобы его можно было в влюбой функции дернуть https://go.dev/play/p/WkNByaPP1en Спасибо за ответ

Вынести в отдельный пакет и дергай

Ребзя, всем привет Подскажите пожалуйста - а как работать в го с логерами? Допустим в той же пыхе я могу в инстанс объекта прокинуть сконфигурированный логгер и пользовать где хочу в рамках этого инстанса В Го мне не понятно как это сделать Пакет log Нужно сконфижить лог чтобы он писал в отдельный файл И дальше чтобы его можно было в влюбой функции дернуть https://go.dev/play/p/WkNByaPP1en Спасибо за ответ

ну сходил в туалет, покакал и потом пальцем рисует. как говорится, натур-продукт)

🖥 Devzat Devzat – реализация чата по SSH Поскольку приложения SSH есть буквально на всех платформах, даже на вашем телефоне, вы можете подключиться к Devzat на любом устройстве. Интересные особенности: • Различные комнаты! • Поддержка markdown! Таблицы, заголовки, курсив и все такое • Подсветка синтаксиса кода #Go #SSH #Interesting #Useful 🖥 Github @Golang_google

Всем привет, подскажите кто с гугл апи каким-либо работал. Я чет не догоняю, мне на каждого нового авторизованого пользователя создавать новый клиент через токен для работы с апи? Или как это вообще работает?

Гугл апи то есть OAuth?

Они тут даже в примерах своих все на каждого отдельного пользователя создают. Нет ли способа попроще или какой-то штуки типа админ панели чтоб сразу со всеми юзерами работать можно было?

Хм, странно. По факту апишку можно где хочешь вызывать, просто токен юзера нужно добавлять