Просуммирую - автоматическое дискавери типа как у З - это просто мастхэв в нашем случае. Меньше всего хочется забыть добавить какой-нибудь perc-адаптер в одной из сервисных нод или датчик утечки в inrow кулинге от Schneider Electric

Просуммирую - автоматическое дискавери типа как у З - это просто мастхэв в нашем случае. Меньше всего хочется забыть добавить какой-нибудь perc-адаптер в одной из сервисных нод или датчик утечки в inrow кулинге от Schneider Electric

ну короче такого прям решения чтобы прям все в одной коробке нет

Если б я был админом одного кластера конечно он бы у меня был вылизан и каждый бы светодиод мониторился кастомным скриптом, но если кадую неделю новый клсатер на это нет ни времени ни желания.

дискавери делается своими руками а дальше выбирается путь мониторинга push или pull

Я потому про Ansible и спросил, что всем конфигом агента можно управлять зная железо

нагиос в конце концов)

или платное решение возьмите

нагиос это пройденый этап

а чем он не подошёл, он умеет нагрузку легко держать

так же как и платное, хехе. Раньше мы использовали Bright Cluster Manager

как по мне лучше покрутить mysql

и сделать его более живущим

чем переделывать все это

А я вот не уверен что Zabbix и его правила discovery хорошо будут клонироваться. (когда добавите кастомных метрик)

а чем он не подошёл, он умеет нагрузку легко держать

Вот как раз сожительствованием с конфигами и не подошел. В одном сервере 4 кулера, в другом - только 2, а в третьем 4, но они по-другому называются

и вот уже 3 проекта с разными конфигами без гита и хер знает кто это настраивал и зачем

ну да auto discovery прям чтоб так с порога сложнее найти

я уже склоняюсь к двум мониторингам, первый - базовый: железо, кое-какая нагрузка, файловые системы. И опциональный - продавать еще нод чисто под перфоманс-метрики вместе с инженернымми часами все это настраивать

с другой стороны, держать несколько агентов на каждой ноде... Заказчки предсказуемо скажут что мы идиоты

Простите, что оффтоп, но что за организация это всё строит? Я кроме Т-Платформ строителей HPC кластеров в РФ не знаю, а на слове MPI ностальгия заела

А я вот не уверен что Zabbix и его правила discovery хорошо будут клонироваться. (когда добавите кастомных метрик)

конечно время от времени надо что впиливать кастомное. Но мы стараемся это все "регуляризовывать" и переиспользовать

Простите, что оффтоп, но что за организация это всё строит? Я кроме Т-Платформ строителей HPC кластеров в РФ не знаю, а на слове MPI ностальгия заела

Я нигде не сказал что в РФ :)

Оу :)

www.clustervision.com

если тебе нужна скорость и миллиард push метрик то нет ничего быстрее и лучше чем collectd->riemann ->graphite, долго, быстро, надёжно, очень гибко

Спасибо, записал. Надо будет развернуть и поиграться.

Спасибо, записал. Надо будет развернуть и поиграться.

у меня такое используется, но к сожалению я даже не знаю что делать в случае разных кулеров и разных сетевых и так далее

даже самому интересоно как вы решили эту проблему

Ну вот да. Я каждый раз коллегам говорю что мониторинг это процесс как и безопасность. Но пока обходимся тем что тут нельзя называть.

просто мониторинг железа все больше и больше уходит на второй план , но у вас он на первом

Ну я вот с этого и начал - мы тоже хотим быть модными и пониторитить приклад. Но от требования мониторинга железа нас никто не избавлял

У вендоров типа Dell SNMP хорошо было развито, потом по MIBам разбирал.

либо вручную, но там известно было что под таким-то OID лежит сетевуха, например. а там ее errorrate...

не так уж и хорошо у нас одни dell сервера и все эти snmp трапы очень бывают, отичаются температуру в итоге считываем иначе например

трапы в топку.

я про SNMP через openmanage, когда можно зайти и посмотреть

Ну я вот с этого и начал - мы тоже хотим быть модными и пониторитить приклад. Но от требования мониторинга железа нас никто не избавлял

а если по правде зачем мониторить каждый светодиод если это кластер может просто выводить сервер из строя и ставить новый ?

ну вот и openmanage не доконца справляется к тому же не на всех серверах он есть , на слегка старых он бесполезен

Не на всех серверах - это часть задачи. У меня на 99.99% был, ставилось вместе с голенькой ос

а если по правде зачем мониторить каждый светодиод если это кластер может просто выводить сервер из строя и ставить новый ?

Ну во первых это красиво :) Если серьезно - то это как должно быть. Все метрики - в одном месте подшиты и пронумерованы. В слаучае проблем - поднимаешь все что ест ьи смотришь корреляции и догадываешься о причинах. Типа "растет количество дропнутых пакетов в фабрике - ага, это студетн Вася опять пишет свой MPI"

Конечно ноды в кластере мрут как мухи. Их особо никто не считает :)

@BaikodromKosmodur Через ipmi/SNMP что-то недоступно из железа? Вариант с ipmi/* не устроит?)

не портируемо, к сожалению - у нас несколько вендоров. Кроме того сам IPMI - весьма ненадежная штука при доступе из сети. ipmitool mc reset cold у меня пальцы сами набирают уже

К тому же IPMI это тольок малая часть проблемы - RAID адаптеры, PDU, свичи, кулинг

нормальные RAID вроде публикуют SNMP, так же как PDU, свичи итд

Zabbix их вроде так и дискаверит

https://collectd.org/documentation/manpages/collectd-snmp.5.shtml

Я сам не использовал, но надо было бы) там еще snmp...

Я лично за телеграф + Дискавери впилить руками

Там же любой плагин можно написать на чем угодно

Просуммирую - автоматическое дискавери типа как у З - это просто мастхэв в нашем случае. Меньше всего хочется забыть добавить какой-нибудь perc-адаптер в одной из сервисных нод или датчик утечки в inrow кулинге от Schneider Electric

Я бы на вашем месте всё-таки потрогал netdata для таких нужд, он дискаверит все что только можно, НО, я не знаю что у него по работе с железом разнообразным, поэтому предлагаю для начала пощупать :) Ну а дальше как и советовали выше - на мастер ноде тот же Прометей с графаной и Алерт менеджер если нужна алертилка.

Он допустим у меня с нескольких разных серверов - виртуалка, железка, железка с рейдами - успешно сам беззэ настройки собирает по 2500 метрик, просто сразу после сетапа

Все смешалось.

Мониторить надо отдельно инфраструктуру

отдельно кластерные приложения

500 нод - деплоить чем угодно можно

хоть подкидывать каждый раз новый имейдж из пакера и вообще ничего не ставить на нодах

все железо надо мониторить через снмп

1 раз собрать мибы и все

софт надо мониторить через дискавери

джобы - по идее это все спецкластерные вещи, или у вас надо разворачивать облако (тот же опенстек) и отдавать ресурсы в виде виртуалок вашим клиентам

сейчас модно опенстек, да

а все в 1 не было, нет и не будет

500 нод - деплоить чем угодно можно

500 однотипных нод можно и по сети с единого имеджа грузить

а, ты про это и говорил)

сейчас модно опенстек, да

уже нет, kubernetes/mesos/nomad если очень хочется

но у человека HPC, это отдельный особый мир

ERROR: S client not available

там всякая вот виртуализация не уверен что вообще нужна

скорее даже вредна

а OpenStack лучше обходить за киллометр, но это тема для @ru_devops

хпц не увидел

@BaikodromKosmodur но да, тебе выше нормально сказали - запилить кастомный автодискавери не очень сложно, встраивать телеграф в образы, взять prometheus и мониторить им.

увидел просто железо

про snmp это со зла?

про snmp это со зла?

там иначе не снять - упсы, иб-свичи, климат-контроль

везде снмп

typescript template для плагина графаны у меня не собирается почему-то, может имеет смысл переписать все на js?

есть отличный пример для создания плагинов на ts https://github.com/grafana/typescript-template-datasource

есть отличный пример для создания плагинов на ts https://github.com/grafana/typescript-template-datasource

У меня это не завелось

странно. Я тоже изначально поступал как Вы - билдил непосредственно в графане. Но этот пример помог мне переписать все "по-нормальному")

ipmi умеет https://github.com/influxdata/telegraf/tree/master/plugins/inputs

выглядит будто умеет. его надо пересобирать для этого.

Хм... а кто-то видел експортер для gitlab runner? Что бы там видеть количество запущенных задач, например.

он вроде сам отдает не ?

Да, тупой вопрос был. Спасибо) Если кто-то так же, как я гуглить не умеет, то вот: https://docs.gitlab.com/runner/monitoring/README.html

там тока включать надо

хоть подкидывать каждый раз новый имейдж из пакера и вообще ничего не ставить на нодах

У нас кастомная разворачивалка с битторентом - 5 минут на кластер и не зависит от размера. На самом деле log(n) , но почти константа

так в чем вопрос агента?

Опенстек- лесом. У нас RDMA

выстроили про инвентаризировали и аминь

Опенстек- лесом. У нас RDMA

ну и что?

В том что у нас каждую неделю по новому кластеру

и что?

ну и что?

А зачем одна виртуалка на ноду? Omnipath не умеет в sr-iov, например

вас залочили?

решений более одного

Ага. Целых 2! Omnipath и mellanox :)

а как вы потом эти кластера обновляете ?

или дальше задача заказчика ?

а как вы потом эти кластера обновляете ?

никак )

Обычно заказчик, но мы помогаем. Как правило это привязано к мажорному релизу того же центоса. Но заменить имидж и перезалить не сильно сложно. Но вообще да. Обновления - это боль.