У меня в конце билда стоит удаление лишнего:
docker rmi $(docker images -a -q —filter dangling=true)
Тоже норм
Alexander 🐕
Evgeny
у тебя остается кеш актуальных имаджей и не висят хвосты
Alexander 🐕
Тогда заббикс не было
Alexander 🐕
А мне normique
Recluse
а, все уже заперлили
Recluse
гг
Jktü
Gennadiy
Anonymous
Там вроде виртуалки, могут эксплуатировать скомпрометированные.
Anonymous
Viktor
Gennadiy
вот и я думаю, но подсеть не одна походу
Gennadiy
на все ip писать abuse?)
Viktor
а что-то страшное делает?
Gennadiy
сайты грузит) мы еле выдерживаем)
Viktor
я примеру гоняю несколько краулеров, все делаем по robots
Gennadiy
у нас в роботс для ботов стоит перерыв в 20 секунд, но этому краулеру видимо пофиг)
Gennadiy
хм, ща
Gennadiy
а, majestic что ли?)
Gennadiy
мы их через fail2ban баним уже)
Viktor
а зачем?
Viktor
он robots читает
Viktor
не нарушает его
Aleksandr
чем кстати majestic занимается? так часто его вижу
Gennadiy
Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:45.0) Gecko/20100101 Firefox/45.0
Gennadiy
я, конечно, не утверждаю, что у нас всё прям оптимизированно, но 12 тредов загружать по полной как-то не хорошо
Aleksandr
ого, раньше он выглядел как-то попроще
Aleksandr
или по крайней мере его манифест, который шёл ссылкой в useragent
Alexander 🐕
Дамы и господа!
Alexander
чем кстати majestic занимается? так часто его вижу
https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D0%B4%D0%B6%D0%B5%D1%81%D1%82%D0%B8%D0%BA-12
Alexander 🐕
А в этом чате есть пятничные селфи?
nvkv
Alexander 🐕
Че сразу я-то
Aleksandr
https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D0%B4%D0%B6%D0%B5%D1%81%D1%82%D0%B8%D0%BA-12
:о какое символичное название
Alexander 🐕
Мной и так весь энторнет забит
Gennadiy
User-agent: *
Disallow: <всякие disallow>
Crawl-Delay: 20
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Viktor
для тех кому мадж мешает - http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
Gennadiy
для тех кому мадж мешает - http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
хм, согласен, спасибо)
Alexander
Gennadiy
=)
Gennadiy
Anonymous
IP один и тот же ?
А то вон bing, умеет и понимает robots.txt. Но для каждого конкретного сервера.
В итоге, когда пяток-десяток краулеров набегает - тоже не весело становится. Хотя каждый конкретный бот вполне себе понимает robots.txt
Viktor
ну давайте совсем индексирование запретим
Gennadiy
Gennadiy
для индексации нужны разумные ограничения)
Alexander 🐕
Че за хуйлоад вы тут развели?
Gennadiy
яндекс я фейл2банов заблочил разок, теперь поправил конфиг)
Alexander 🐕
Если у вас сайт бота не тащит - запустите профайлер
Alexander 🐕
100 rps is not dat high
Gennadiy
хм, я на самом деле не ориентируюсь пока в степенях нормальности нагрузки)
Gennadiy
но если 100 это норм, то оптимизация, конечно, так и напрашивается
Viktor
если поисковый бот кладет ваш сервер - что-то вы делаете не так
Gennadiy
страница в среднем отрабатывает 0.7
Viktor
а если вдруг пользователь прийдет?
yopp
niko
Статистику собираешь?
niko
Или вопрос какой
Anonymous
если поисковый бот кладет ваш сервер - что-то вы делаете не так
Нам однажды гуголбот доставлял проблемы. Была идея даже отдельный кластер для него поставить. )
niko
Таймаут к эластику явно не изза кривого лога
niko
Что за кривые данные?)
Dmitry
https://vc.ru/p/penny-lane-vacancy
Dmitry
а мы еще ржем
R-omk
Правилно ли что git submodules нет указателя на конкретный коммит? только ветка?
Anonymous
нет, не правильно
R-omk
а как тогда?
Anonymous
есть указатель на конкретный коммит
R-omk
ну и где на него посмотреть?
Dmitrii
Есть знатоки bash?
Igor
Dmitrii
Пытаюсь итерироваться по строкам, строка это пара слов, могут быть разделены пробелом