alex
это был юморок
Bagasl
это был юморок
прочитал обгуглился)
alex
я так и написал)) - юморист чо
SapDragon
2, но это явно дело вкуса
Sergey
Ребят, как получить анкор найденной ссылки используя colly? гуглил, не находит ничего
Alexander
Alexander
ну вот тут Text() скорее всего
Sergey
спасибо! попробую ща
Alexander
даже просто поле Text
Sergey
даже просто поле Text
супер! работает!
Sergey
спасибо ещё раз)
Alexander
вообще вон, что хочешь то и делай через goquery.Selection исходный
Sergey
вообще вон, что хочешь то и делай через goquery.Selection исходный
а ты случайно не пробовал весь инет парсить? много ли места занимать база будет, если только анкоры и домены сохранять, вез текста страниц
Sergey
ну кроме инсты, фб, вк, вп, lj и прочих гигантов кончено
Sergey
и вопрос не по теме, тут кликхаус, касандру или монгу лучше юзать?
Sergey
или мож postges?
Sergey
хочу свою базу сделать для проверки бэклинков))
Alexander
весь не пробовал. но урлы дикое место занимают. приходится хранить, чтобы не посещать
Alexander
не знаю, как иначе
Alexander
опять же все перелинковано, и один домен открывает урлы на другой, которые ты не нашел. там очень много неудобных вещей. есть сайты бесконечно генерящие урлы, притом, что в роботс.тхт никаких запретов нет. много нюансов
Sergey
весь не пробовал. но урлы дикое место занимают. приходится хранить, чтобы не посещать
я думал сделать так - если больше 500 страниц с сайта, пропускать такой
Alexander
я кликхаус начал юзать в первый раз как раз, чтобы хранить связи (пары интов 64), мускуль не справлялся - просто пролагивало, да и 300гб vs 10гб на кликхаусе печаль
Alexander
и вопрос не по теме, тут кликхаус, касандру или монгу лучше юзать?
Alexander
или мож postges?
Alexander
но он не подходит для маленьких селектов и для апдейтов, поэтому для части функционала он рулит, но не больше
Sergey
на domains-monitor.com 263 816 199 доменов, если сохранять с каждого 100-500 страниц, по идее в 1 тб же уложусь?
Sergey
без текста страниц, считай до 255 символов максимум, чтобы околоанкорный текст ещё парсить, в пределах 255 символов
Alexander
ну урлы бывают вполне больше 255 символов
Alexander
вообще интернет скорее уродливый и кривой. так что готовься
Sergey
ну урлы бывают вполне больше 255 символов
ну можно такие сразу отсекать, даже не заходить по таким урлам
Sergey
думаю таких не много
Maks
Я бы для начала определился с ответом на вопрос
Maks
«А нахуя»
Sergey
«А нахуя»
чтобы не платить за проверки)
Maks
За какие проверки? Я имею ввиду зачем инет парсить
Sergey
ну и просто ради интереса)
Sergey
За какие проверки? Я имею ввиду зачем инет парсить
чтобы бэклинки чекать без ограничений
Maks
А зачем
Sergey
для СЕО
Sergey
ну и не только
Sergey
можно ещё базу по движкам создать
Maks
А сео не любит бэклинки? Мне казалось он уже сильно изменился
Maks
Прежде чем что то делать ответ на 7 вопросов зачем)
Sergey
а потом конкретный движок чекать на формы различные, комментов и т.д.
Maks
Лично я не вижу в этом смысла) с сео может и есть какие то запарки, тут не шарю)
Sergey
А сео не любит бэклинки? Мне казалось он уже сильно изменился
почему не любит? для икса всё работает, да и для позиций тоже, не только поведенческие учитываются
Maks
А, ты имеешь ввиду что бы свой сео инструмент написать
Maks
Что бы одну страницу дважды не посещать
Sergey
Что бы одну страницу дважды не посещать
не понял. не, просто чтобы не платить платным сервисам проверок бэков
Maks
А есть ли смысл? Ты же сео оптимизируешь для определенных поисковиков. У них могут разниться алгоритмы и механизмы какие то. И у всех есть вроде как свои инструменты для этого
Maks
Что бы проверить на сколько хорошо настроено сео
Maks
Тем более что никто не говорит как у них работает сео оптимизация и как лучше сделать на сайте что бы быть выше)
Maks
Ну так сами роботы их разве не говорят что у тебя есть какие то проблемы? Роботы поисковиков этих
Sergey
внутренняя оптимизация это одно, внешняя другое
Tonny 🐍
Привет, кто может отредактировать код, чтобы замыкания работали как надо? https://pastebin.com/uNVbxpaN
🅞leksiy
Они и так работали как надо, вопрос только в том, что замыкаешь. В твоем случае i в каждой итерации на протяжении всего цикла - одна и та же переменная.
Tonny 🐍
for i := range arr { i := i
Спасибо! А почему значение i ожно и тоже для всего цикла?
🅞leksiy
Прикольный ГО уже сколько лет без обновлений?
О чем речь? Если о "Awesome Go", то он постоянно обновляется. Два дня назад последние правки.
Andrey
Спасибо! А почему значение i ожно и тоже для всего цикла?
Потому что for пишет индекс и значение в один и тот же адрес памяти
🅞leksiy
Спасибо! А почему значение i ожно и тоже для всего цикла?
В циклах go используется одна переменная, в ней с каждой итерацией заменяется значение. Если взять полный цикл for i := 0; i < 5; i++ {...}, то можно заметить, что переменная i создается один раз со значением 0, а дальше инкрементится. В циклах с range происходит так же. Значение то меняется, но когда вызывается for f := range fns {, первый цикл уже отработал, в переменной i осталось последнее значение. И каждая ф-я из массива его и выведет.
Ilya
С чем не совпадает?
Ilya
А у тебя регион +2 от Гринвича?
Ilya
Вот и ответ.
Maks
Пацаны
Maks
подскажите что по nginx почитать что бы всё понять прям
Herman
так ты ж тимлид
Herman
какое nginx
Maks
Я не лид)
Herman
ну вроде собирался
Herman
не?