
Aleksandr
15.07.2016
09:36:04

Alex
15.07.2016
09:36:30

Михаил
15.07.2016
09:38:14
поздно
уже ru_openstack

Google

Михаил
15.07.2016
09:38:22
ща приберусь
https://telegram.me/pro_openstack
как-то так

Andrew
15.07.2016
09:41:23
кстати тут есть кто юзает opennebula?

Dmitry
15.07.2016
09:42:04
парни, кто с нжинкс норм? делать if на уровне server ебловато?

Eugene
15.07.2016
09:42:21
не надо так делать лучше
тебе для чего?

Andrew
15.07.2016
09:42:27

Pavel
15.07.2016
09:43:12
Не делай if

Alex
15.07.2016
09:43:47

Dmitry
15.07.2016
09:44:34
не надо так делать лучше
короче у меня есть реврайты которые надо чтобы работали для somesite.com/someshit и для somesite.com/someshit/
сунул для этого rewrite ^(.+)/+$ $1 permanent;

Alex
15.07.2016
09:45:23
Пацаны

Google

Alex
15.07.2016
09:45:26
Вот смотрите

Dmitry
15.07.2016
09:45:29
но есть одна ссылка которая стала улетать в ту мени реврайтс

Alex
15.07.2016
09:45:41
Есть у нас сборочная машина, которая по коммиту докер имаджи собирает
Как их чистить-то потом?
По крончику?
А, впрочем, вы абсолютно бесполезны
Разве только в качестве огромной резиновой уточки
Пойду на Perl скриптец напишу

Dmitry
15.07.2016
09:48:01
пиши на хаскеле

Evgeny
15.07.2016
09:48:15

Alex
15.07.2016
09:48:38

Alex Milushev
15.07.2016
09:48:43

Alex
15.07.2016
09:48:59

Alex Milushev
15.07.2016
09:49:02
Да
после билда сноси все непотегированное

Alex
15.07.2016
09:49:06
Да перл норм ответ
Щас напишу скриптец

Evgeny
15.07.2016
09:49:19
Да
У меня в конце билда стоит удаление лишнего:
docker rmi $(docker images -a -q —filter dangling=true)

Alex
15.07.2016
09:49:26
Все, что дольше недели лежит - нахер

Alex Milushev
15.07.2016
09:49:31

Alex
15.07.2016
09:49:35

Google

Alex
15.07.2016
09:49:47

Evgeny
15.07.2016
09:49:49
у тебя остается кеш актуальных имаджей и не висят хвосты

Alex
15.07.2016
09:49:53
Тогда заббикс не было

Alex Milushev
15.07.2016
09:50:03

Alex
15.07.2016
09:51:52
А мне normique

Recluse
15.07.2016
09:52:16
а, все уже заперлили
гг

Oleg
15.07.2016
10:13:50
порвал, сука бгхахаха

here1am
15.07.2016
10:35:12
Там вроде виртуалки, могут эксплуатировать скомпрометированные.

Vasiliy
15.07.2016
10:51:26
в abuse напиши ;)

Viktor
15.07.2016
10:53:14
краулер может быть какой-нибудь

Gennadiy
15.07.2016
11:01:12
вот и я думаю, но подсеть не одна походу
на все ip писать abuse?)

Viktor
15.07.2016
11:01:41
а что-то страшное делает?

Gennadiy
15.07.2016
11:01:57
сайты грузит) мы еле выдерживаем)

Viktor
15.07.2016
11:02:10
я примеру гоняю несколько краулеров, все делаем по robots

Gennadiy
15.07.2016
11:02:49
у нас в роботс для ботов стоит перерыв в 20 секунд, но этому краулеру видимо пофиг)
хм, ща

Google

Gennadiy
15.07.2016
11:03:00
а, majestic что ли?)
мы их через fail2ban баним уже)

Viktor
15.07.2016
11:03:25
а зачем?
он robots читает
не нарушает его

Aleksandr
15.07.2016
11:04:09
чем кстати majestic занимается? так часто его вижу

Gennadiy
15.07.2016
11:04:12
Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:45.0) Gecko/20100101 Firefox/45.0

Admin
ERROR: S client not available

Gennadiy
15.07.2016
11:04:29

Viktor
15.07.2016
11:04:38

Gennadiy
15.07.2016
11:04:55
я, конечно, не утверждаю, что у нас всё прям оптимизированно, но 12 тредов загружать по полной как-то не хорошо

Aleksandr
15.07.2016
11:04:55
ого, раньше он выглядел как-то попроще
или по крайней мере его манифест, который шёл ссылкой в useragent

Viktor
15.07.2016
11:05:05

Alex
15.07.2016
11:05:26
Дамы и господа!

Alexander
15.07.2016
11:05:29

Alex
15.07.2016
11:05:32
А в этом чате есть пятничные селфи?

Semyon
15.07.2016
11:05:55

Alex
15.07.2016
11:06:21
Че сразу я-то

Google

Aleksandr
15.07.2016
11:06:26

Alex
15.07.2016
11:06:32
Мной и так весь энторнет забит

Gennadiy
15.07.2016
11:06:39
User-agent: *
Disallow: <всякие disallow>
Crawl-Delay: 20
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Viktor
15.07.2016
11:08:11
для тех кому мадж мешает - http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Gennadiy
15.07.2016
11:15:48
=)

Vasiliy
15.07.2016
11:23:32
IP один и тот же ?
А то вон bing, умеет и понимает robots.txt. Но для каждого конкретного сервера.
В итоге, когда пяток-десяток краулеров набегает - тоже не весело становится. Хотя каждый конкретный бот вполне себе понимает robots.txt

Viktor
15.07.2016
11:24:23
ну давайте совсем индексирование запретим

Gennadiy
15.07.2016
11:24:25
для индексации нужны разумные ограничения)

Alex
15.07.2016
11:24:58
Че за хуйлоад вы тут развели?

Gennadiy
15.07.2016
11:25:06
яндекс я фейл2банов заблочил разок, теперь поправил конфиг)

Alex
15.07.2016
11:25:12
Если у вас сайт бота не тащит - запустите профайлер
100 rps is not dat high

Gennadiy
15.07.2016
11:26:20
хм, я на самом деле не ориентируюсь пока в степенях нормальности нагрузки)
но если 100 это норм, то оптимизация, конечно, так и напрашивается