prometheus

маршрутизируй метрики. Все там рулится.

Используем федерацию

тоесть вы их по какой то типа локации - под локации - физический контейр - обьединяете практически в одну метрику ?

Нет, это можно в графане отыграть

загружать группы по количеству входных.

Например в шаблоны добавляешь ДЦ а их берешь из активных ДЦ консула а внутри подключаешь метрики уже локальные

1000000 серверов? думаю, у вас уже есть самописная система мониторинга

ААА миллион )) опыта нет, сорри не туда полез )

ну далеко ходить не будем вот яндекс например

у них есть миллион как думаете

Яндекс свою пильнул

и там сильно меньше миллиона )

чем их не устраивали текущие

а google например

тогда не было прометея

у гугла по оценке от 2 до 6 миллионов

прометей - сейчас покрывает все нужные потребности )

ну вот 2 - 6 миллионов ну как мониторить это прометеем

Как написано в FAQ - не все. Просто мы с минусами можем только мерится, а крупные компании пилят свои штуки

федерация

прометей - сейчас покрывает все нужные потребности )

нужные вам

блин ладно я не использовал ))

Это не будет единой базой. Выше же писал, сегментирую, федерация

но он не серебряная пуля

я про федерации

Как написано в FAQ - не все. Просто мы с минусами можем только мерится, а крупные компании пилят свои штуки

"мириться"?

Федерация не пуля, нужно сегментировать

"мириться"?

Да, кажется, я неграмотен. Немного печально :(

Федерация не пуля, нужно сегментировать

сегментировать я не очень понимаю что имеется ввиду

ну например возьмем тот же гугл

Промом можно мониторить не все 1кк серверов, а кусками.

Яндекс свою пильнул

В яндексе графит и сейчас впиливают пром

ну например внедрили они прометей

и хотят просто смотреть статус включен или выключен

Тот же Гугл, согласно слухам, не внедряет мониторинг на уровне компании. У них все по отделам. И в рамках отдела своя веселуха.

нужна ли им графана там?

хм

Тот же Гугл, согласно слухам, не внедряет мониторинг на уровне компании. У них все по отделам. И в рамках отдела своя веселуха.

Это не слухи :)

а вот по поводу отдела типа отдел в россии и у них своя инфраструктура там и они сами ее мониторят ?

или как это работает

Вот у вас 1кк серверов. И там на всех из них крутится одно и то же приложение, что ли? Скорее всего, у вас ряд интегрированных, но не связанных продуктов. Зачем вам мониторить их всей вместе?

"Мониторинг Гугла" это как-то... с непониманием дела. У гогла 100 бизнесов разных. зачем им мониторинг всея гугла?

я вот например интересуюсь как они мониторят и обслуживают чтото типа AWS GoogleCloud

Теоретически, отдел gmail мониторит gmail, отдел youtube мониторит youtube.

подозреваю что у гугла BorgMon

там ведь явно дохрена серверов

GoogleCloud по датацентрам.

я вот например интересуюсь как они мониторят и обслуживают чтото типа AWS GoogleCloud

AWS и GoogleCloud это куча разных сервисов. Отдельно и мониторят.

Ну и да, отдельные сервисы тоже, скорее всего. Причем, вполне может быть, что разными системами.

я вот даже не особо понимаю как построить нормально графический мониторинг графаны на 100 серверов

ну по одному серверу понимаю переключение

Зачем вам графический мониторинг? Всмысле глазами?

а что тебя интересует в этих 100 серверов?

А почему не алертами тогда?

подозреваю что графики нужны начальству

я вот даже не особо понимаю как построить нормально графический мониторинг графаны на 100 серверов

хитмап?

а что тебя интересует в этих 100 серверов?

ну возьмем просто память uptime cpu

В яндексе графит и сейчас впиливают пром

а джагглер куда дели?

подозреваю что графики нужны начальству

графики внушают доверие им и они их любят

Ну и вспоминая тему группы - зачем вообще мониторить сервера?

ну возьмем просто память uptime cpu

ты хочешь это всё видеть на графиках?

кого интересует в наше время мониторинг памяти/аптайма и т.д.

SL-based мониторинг.

Может лучше стоит показывать на графиках uptime, latency и прочие крутые штуки для приложения?

интересует тех, кто занимается планированием капасити

перестаньте смотреть на то, как чувствует себя отдельный сервер. Собирайте эти метрики, но смотрите на них редко.

в кластере может тупо не хватать мощей и надо брать новые хосты

ERROR: S client not available

например.

ну вот у нас начальники любят присылать скрины с вопросами "а что это за провал в пиле?" или "почему тут 90% цпу постоянно занято?"

но да. обычно не надо

"патамушта"

ну, это аггрегейт метрики по аvailable cpu в кластере

а не каждый отдельный сервер.

конечно

ну вот у нас начальники любят присылать скрины с вопросами "а что это за провал в пиле?" или "почему тут 90% цпу постоянно занято?"

Убери эти графики и они перестанут приходить с тупыми вопросами

но для них надо собирать для каждого отдельного сервера

Собирать это одно дело.

Вот тебе и сегментация например

если серверов миллион - делаем один пром, которые сгребает только CPU статистику

ну и иногда полезно для разбора инцидентов

Собирать это одно дело.

cобирать это не такая сложная задача

Ну, в итоге: - Показывайте метрики приложения - Если уж кто-то запросил метрики серверов - показывайте аггрегацию. Перцентили или какую-то другую наркоманию.

у нас вон дружественный отдел собирает три метрики с хоста. аггрегированные. раз в 5 минут. все счастливы.

А может ктото расшарит скрины кто как графическую часть организовал

кстати func now() в проме уже нет уже time()

значит запамятовал

https://grafana.com/dashboards тут есть примеры

Ну, в итоге: - Показывайте метрики приложения - Если уж кто-то запросил метрики серверов - показывайте аггрегацию. Перцентили или какую-то другую наркоманию.

Не, индивидуальные метрики нужны и важны, но смотреть в них надо только лишь для deep-dive в какую-то проблему.

ну и иногда полезно для разбора инцидентов

конечно. но пялиться в них каждый день имхо зло :)

вот теперь правильная формулировка

Если у вас 1к серверов и проблема на каком-то одном - его проще пересоздать, мне кажется.

а если эта проблема будет на одном повторяться

и этот один каждый раз разный?

1к серверов - не показатель

без контекста

1к серверов для одного сервиса? - полностью согласен

на прошлой работы было 3.5к серверов вроде бы

1к серверов на котором 5000 приложений в кластерах по 5? - пересоздать наверное не так-то просто

если под кубером, то как два пальца :)