вообще для меня удивительно другое из этой статьи. Информация о том, что они решили начать делать мониторинг в 2015 году

как же они раньше-то жили?

```Отсутствие встроенных средств управления агентами мониторинга. В коммерческих продуктах такие средства имеются. В Zabbix этого пока нет. Нет даже обновления инструментария на агентов. Конечно, все можно сделать самостоятельно, но лучше бы получить эти возможности «из коробки».``` LLD?

такое ощущение, что парни весьма туго ориентируются в продукте. Вообще там много интересного

Странно, что BMC они не рассматривали

```Отсутствие встроенных средств управления агентами мониторинга. В коммерческих продуктах такие средства имеются. В Zabbix этого пока нет. Нет даже обновления инструментария на агентов. Конечно, все можно сделать самостоятельно, но лучше бы получить эти возможности «из коробки».``` LLD?

Я так думаю они имеют в виду чтобы управлять агентами с сервака - обновлять там, менять конфиги

```Отсутствие встроенных средств управления агентами мониторинга. В коммерческих продуктах такие средства имеются. В Zabbix этого пока нет. Нет даже обновления инструментария на агентов. Конечно, все можно сделать самостоятельно, но лучше бы получить эти возможности «из коробки».``` LLD?

Они имеют в виду, что агенты по мановению волшебной палочки не обновляются и не умеют реконфигурироваться сервером. Но это же правда. Просто нафига это надо-то?

Вообще я был в Сбертехе на собеседовании, они мне показались весьма адекватными людьми. Относительно обновления конфигурации - мы в Открытых Технологиях делали такую штуку для ДИТ Москвы. Федя Константинов запилил: поскольку были запрещены удалённые команды, на агенте дёргалась "как бы метрика", которая запускала скрипт, тот скачивал новый конфиг, замещал им старый и рестартовал агент. Дёшево и сердито.

Если бы были разрешены удалённые команды - было бы проще. Самое забавное, что скрипт спокойно выполнял sudo, не знаю, как такое-то можно было протащить :)

а еще можно конфиги разносить каким-нибудь папетом

Ну и весь энтерпрайз состоит из такого говна и обходных костылей

вообще для меня удивительно другое из этой статьи. Информация о том, что они решили начать делать мониторинг в 2015 году

А до 2015 года они наверно аджайл внедряли))

Ну да. У заказчика-то puppet не поставишь, а в своей конфигурации - фигня вопрос. У меня есть задание ansible , которое дёргает perl'овую CGI-ку, а та формирует конфиг и возращает text/plain'ом, дальше ansible смотрит, изменилась ли конфига , и если изменилась и новая конфига не нулевого размера (мало ли CGI криво отработал) - делает бэкап старой конфиги, заменяет старую на новую и рестартует агент. Если агент стартовал - ОК, если нет - врозвращает старую конфигу на место и снова делает рестарт.

Вернее, не у меня, потому что не я её писал, я просто задание дал осевикам наваять такое :) Но работает отлично

CGI-ка моя :)

Кстати, в Сбертехе мне как раз говорили год назад, что платформа у них не единая ни разу. Этих инсталляций zabbix разрозненных там пруд пруди просто.

не разрешены команды, и дёргание судо по стечению звёзд, как то сложно согласуются в моём не окрепшем мозжечке

Они имеют в виду, что агенты по мановению волшебной палочки не обновляются и не умеют реконфигурироваться сервером. Но это же правда. Просто нафига это надо-то?

а, я понял мысль. Но это логично. Если у меня есть молоток - я не жду, что помимо забивки гвоздей он будет сушить клей и красить ботинки. Молоток – для забивки гвоздей, это нормально. Хочется обновлять конфиги и прочее – нужен SCM или его аналог, благо в том же линуксе есть MAC, есть SeLinux/AppArmor и можно весьма точно и гибко настроить необходимые права

не разрешены команды, и дёргание судо по стечению звёзд, как то сложно согласуются в моём не окрепшем мозжечке

для кастом-метрик все равно нужно судо. но вообще в судо можно очень интересно настроить права доступа

я не про то как это сделать возможным, я про то как это согласуется с ТЗ, по моему кто то кого то просто поимел

не разрешены команды, и дёргание судо по стечению звёзд, как то сложно согласуются в моём не окрепшем мозжечке

Там sudo только на service zabbix-agent restart (подмена конфига только благодаря тому, что права на конфиг zabbix:zabbix, что в свою очередь обеспечивалось поставкой нами "особого zabbix-агента" в rpm-пакете). Но в общем да, удалось протащить через безопасников sudo, а RemoteCommands - не удалось. Очевидно, по соображениям Гладиолуса

Наличие мониторинга доступности IT-услуг. В Zabbix есть встроенная подсистема, которая умеет подсчитывать доступность IT-услуг для дальнейшего использования в SLA. Ага, прекрасно просто. Чувак пишет красивые вещи, но сам, очевидно, IT Services не использовал от слова совсем

Там sudo только на service zabbix-agent restart (подмена конфига только благодаря тому, что права на конфиг zabbix:zabbix, что в свою очередь обеспечивалось поставкой нами "особого zabbix-агента" в rpm-пакете). Но в общем да, удалось протащить через безопасников sudo, а RemoteCommands - не удалось. Очевидно, по соображениям Гладиолуса

нет, по другим соображениям

remote command дает потенциальному атакующему возможность провести атаку на любой хост при успешной атаке сервера мониторинга

причем если ремоут-комманд настроен неудачно – доступ будет сходу с рутовыми правами. ОТ такого безопасник сначала лысеет, а потом седеет

Пока что низкая проработка мониторинга доступности IT-услуг. Здорово, что мониторинг есть, но его нужно еще дорабатывать. Сейчас не предусмотрена возможность как-либо ограничить доступ пользователей к каким-либо отдельным частям сервисно-ресурсной модели (далее СРМ). Если дерево СРМ большое, веб-интерфейс начинает тормозить. Ага, у нас уже на 1000 сервисах вставал раком. Потому что в описаниях триггеров - {ITEM.VALUE}

Пока что низкая проработка мониторинга доступности IT-услуг. Здорово, что мониторинг есть, но его нужно еще дорабатывать. Сейчас не предусмотрена возможность как-либо ограничить доступ пользователей к каким-либо отдельным частям сервисно-ресурсной модели (далее СРМ). Если дерево СРМ большое, веб-интерфейс начинает тормозить. Ага, у нас уже на 1000 сервисах вставал раком. Потому что в описаниях триггеров - {ITEM.VALUE}

не понял этого пассажа

Недостаточная гибкость инвентаризации IT-инфраструктуры. Прямо сегодня с этим работал и в очередной раз тошнило от одного вида этой чудо-таблицы.

Недостаточная гибкость инвентаризации IT-инфраструктуры. Прямо сегодня с этим работал и в очередной раз тошнило от одного вида этой чудо-таблицы.

а это потому, что сбер тюнингует бульдозер в самолет. Инвентаризация в мониторинге – это очень странное решение, как мне кажется

не понял этого пассажа

Чтобы отобразить дерево сервисов, заканчивающееся триггерами, нуджно отобразить описание триггеров, а в них {ITEM.VALUE}. Нетрудно догадаться, к чему это приводит.

Чтобы отобразить дерево сервисов, заканчивающееся триггерами, нуджно отобразить описание триггеров, а в них {ITEM.VALUE}. Нетрудно догадаться, к чему это приводит.

упс)

а это потому, что сбер тюнингует бульдозер в самолет. Инвентаризация в мониторинге – это очень странное решение, как мне кажется

Проблема в том, что в zabbix её для чего-то сделали. И мы в НСПК тоже активно пользуемся инвентаризацией (для текстов оповещений в основном). И Сергей из Сбертеха очень верно заметил, что реализована она в zabbix просто ужасно. Т.е. ну можно в sql сделать свободный key => value, нет в этом нет никакой катастрофической проблемы. Но сделали реально мега-топорно, да ещё с загаждочными полями типа poc_1_name

ну я подозреваю что в заббиксе ее кто-то сделали "потому что захотел" – там не один такой кусочек есть и даже не два

я например так и не понял, почему remote command не может работать через прокси

Хорошо, все плохо и сбертех так себе контора. Но что бы вы выбрали в 2015-м году?

Недостаточная гибкость ролевой модели. В Zabbix предусмотрено всего четыре роли пользователя с жестко фиксированными возможностями. Группы пользователей вполне себе роли. Но к API доступ да, было бы неплохо ограничивать как-то.

Хорошо, все плохо и сбертех так себе контора. Но что бы вы выбрали в 2015-м году?

Конечно, если бы были начальником админов там

Хорошо, все плохо и сбертех так себе контора. Но что бы вы выбрали в 2015-м году?

графит

в 2015 году он уже был неплох

Хорошо, все плохо и сбертех так себе контора. Но что бы вы выбрали в 2015-м году?

Тоже Zabbix :) Ибо изучил до фига альтернатив - и во всех есть косяки, но в zabbix они легко допиливаются напильником, в том числе и фронтенд не сложно поправить.

Конечно, если бы были начальником админов там

Да, в Сбертехе он, кстати, нафиг не нужен ИМХО. Они мониторят приложения, для чего zabbix фигово подходит.

в 2015 я бы взял графит

графит

Это просто хранитель метрик по папкам. Там нет же ничего

Тоже Zabbix :) Ибо изучил до фига альтернатив - и во всех есть косяки, но в zabbix они легко допиливаются напильником, в том числе и фронтенд не сложно поправить.

я проходил эволюцию nagios -> ganglia -> zabbix -> prometheus. Прометеус вполне прилично работает. Заббикс хуже ганглии оказадся

ну да, ну да

Это просто хранитель метрик по папкам. Там нет же ничего

а, сборка? collectd

Да, в Сбертехе он, кстати, нафиг не нужен ИМХО. Они мониторят приложения, для чего zabbix фигово подходит.

Вроде же сервера в основном

у графита до появления го-карбон самым слабым местом был диск

а, сборка? collectd

Я и сам на этой связке сижу и везде ее предлагаю. Но у меня масштабы и запросы не те

у графита до появления го-карбон самым слабым местом был диск

Да, сейчас и правда все отлично с ним стало

я обычным whisper-ом уложил дорогущую HP SAS дисковую систему

у графита до появления го-карбон самым слабым местом был диск

но оно всё равно работало лучше чем Z

Вроде же сервера в основном

Сберсервис хотел у Сбертеха забрать весь мониторинг серверов. И собственно мониторинг серверов Сбертеховцы меньше всего упоминали. Там явно метрик от приложений по объёму на порядок-другой больше

причем нагрузки был дэцл. Но диски сдохли

никто не мешает написать свой собственный экспортер метрик в графит, благо протокол несложный

а системные собирать коллектд

Сберсервис хотел у Сбертеха забрать весь мониторинг серверов. И собственно мониторинг серверов Сбертеховцы меньше всего упоминали. Там явно метрик от приложений по объёму на порядок-другой больше

Если так, то я бы тоже з не брал

никто не мешает написать свой собственный экспортер метрик в графит, благо протокол несложный

Как Экспортёр для графита реально лучше всего collectd подходит. Да и расширяется отлично

нет, смотрите. У вас есть некая энтерпрайз система

А как мы будем этот графит реплицировать и делать HA?

она размазана по огромной куче серверов, там у вас внутри какая-то своя внутренняя жизнь

Да, это так

можно приделать к ней сбоку коллектд, а можно без него экспортировать метрики напрямую

и обычно второй вариант предпочтительнее

ERROR: S client not available

А как мы будем этот графит реплицировать и делать HA?

нормально он реплицируется, через прокси

можно приделать к ней сбоку коллектд, а можно без него экспортировать метрики напрямую

Напрямую - это через агента? Ну collectd и есть этот агент

нет, напрямую из приложения слать метрики сразу в графит

по UDP

Ну это и сейчас у них возможно

там это несложно, насколько я помню. И агент в данной ситуации вам не нужен

ну это к разговору о том, может ли сбер использовать графит. Может, просто не хочет. Не понимает зачем, или не понимает как

Похоже, что они и правда даже не смотрели на него, что печально

это нормально

никто не может знать все

именно для таких случаев существуют сообщества

а так же конференции и best practise

Судя по словам с статье им нужно было тырпрайзное решение с разделением по группам и хостам. Как я понимаю, в графите такого нет и реализовать больно

То есть централизованное решение, но что бы все было с разграничениями.

Судя по словам с статье им нужно было тырпрайзное решение с разделением по группам и хостам. Как я понимаю, в графите такого нет и реализовать больно

Да, это пришлось бы писать с нуля. Но они и так много написали, так что не выглядит сильно сложным

То есть централизованное решение, но что бы все было с разграничениями.

надеюсь, они понимают, что в этом решении плохого

я работал со SCOMM (тогда он назывался сначала MOM а потом - SCOMM) и IBM Tivoli

ни первое ни второе нельзя описать приличным словом

Судя по словам с статье им нужно было тырпрайзное решение с разделением по группам и хостам. Как я понимаю, в графите такого нет и реализовать больно

У них там ещё интеграция с группами AD, причём и хосты ложатся именно в AD-группы. В этом плане у меня всё хуже из-за того, что львиная доля хостов отсутствует в AD, да плюс самих AD уже десятки, как и IPA-серверов

никто не может знать все

Ну уж про графит слышали все, кто хоть чуть-чуть в теме. Если они не знали, то это прям профнепригодность

Да, это пришлось бы писать с нуля. Но они и так много написали, так что не выглядит сильно сложным

Мне кажется, проблема в том, что вот это требование было, а все что пришлось написать не было предусмотрено.

Ну уж про графит слышали все, кто хоть чуть-чуть в теме. Если они не знали, то это прям профнепригодность

enterprise слегка этим отличается

никто не может знать все

Честно говоря, я узнал про графит из гугла. Про пром теперь тоже можно узнать из гугла. Откуда вы берете этих людей, которые не слышали? Или они просто вводят "enterprice monitoring"?

у них там своя атмосфера, надо привыкать

enterprise слегка этим отличается

В моем энтерпрайзе все лучше, судя по всему

А в чём даёт преимущество графит? :)

Честно говоря, я узнал про графит из гугла. Про пром теперь тоже можно узнать из гугла. Откуда вы берете этих людей, которые не слышали? Или они просто вводят "enterprice monitoring"?

нет. Они вообще не гуглят. Они получают образование и потом посещают курсы вендоров

я это тоже проходил (я оттуда сбежал)

А в чём даёт преимущество графит? :)

Система простая как три копейки, поддерживается вообще всеми

там даже профлитературу никто не читает

Система простая как три копейки, поддерживается вообще всеми

А чем сложен Zabbix? И кем не поддерживается?

он сложен баном в этом чяте