А зачем делать такие длинные лейблы?

Запросы из логов. Иногда там попадаются длинные пути. И иногда они попадают в пирожок, у которого с этим всегда были проблемы(

так не храните пути в проме )

И в продолжение моего односторннего сражения с графаной. Можно ли как-то обрезать легенду у метрики? А то у меня получаются пути слишком длинные и из-за этого пирог разрывает на куски.

https://prometheus.io/docs/prometheus/latest/querying/functions/#label_replace%28%29

но это всё некрасиво как-то выходит

Спасибо) Но я пока просто дал pie chart'у больше места(

Графси никто в проде использовать не пробовал?

Вот эту приблуду https://github.com/leoleovich/grafsy

Наверное @leoleovich ?

Наверное @leoleovich ?

А кажется он слегка подзабил на проект )

а как можно сделать норм мониторинг системных метрик(=нод экспортер), но через WAN и без открытых портов и напрягов с файрволами(т.е. желательно активный режим)? знаю про netdata, но там вроде нет алертов в слак

collectd + network plugin

сам тебе всё пихнёт куда попросишь

за окметр платить дороговато для проблемы. нужен просто базовый мониторинг доступности. можно конечно блэкбоксом или остальными пингдомаптаймами (всё же вебчики)

попробую, спасибо

а как можно сделать норм мониторинг системных метрик(=нод экспортер), но через WAN и без открытых портов и напрягов с файрволами(т.е. желательно активный режим)? знаю про netdata, но там вроде нет алертов в слак

ишь ты шалун какой :)

да у нас промто много всего снаружи основной инфры

это хочется монитритт

ну так вот и выбор, либо пушить и в одном месте, либо защищать всё и вся и пулить, как верно подсказали, тот же коллектд в принципе из коробки может быть гейтом, интересно насколько стабильно, всё тоже никак не попробую

а как можно сделать норм мониторинг системных метрик(=нод экспортер), но через WAN и без открытых портов и напрягов с файрволами(т.е. желательно активный режим)? знаю про netdata, но там вроде нет алертов в слак

У netdata есть алерты в слак.

ну так вот и выбор, либо пушить и в одном месте, либо защищать всё и вся и пулить, как верно подсказали, тот же коллектд в принципе из коробки может быть гейтом, интересно насколько стабильно, всё тоже никак не попробую

Коллектд - стабилен. он на чистом C написан, причём весьма аккуратно.

Забрал early bird ticket на Monitorama AMS 2018, aw yiss!

/stat@combot

combot.org/chat/-1001068522817

Коллектд - стабилен. он на чистом C написан, причём весьма аккуратно.

Всё б ничего, если б он не однопоточный был

запустить в многопотоке? не?

мы так syslog-ng в несколько копий ставили, каждый обрабатывал отдельный тип лога

Всё б ничего, если б он не однопоточный был

$ grep -r pthread * | wc -l 1069

он умеет каждый плагин в отдельном потоке стартовать например )

и некоторые плагины еще запускают свои потоки, но надо смотреть конечно почему

Хм. Значит я что-то попутал. Смешалось в голове statsd и collectd.

Хм. Значит я что-то попутал. Смешалось в голове statsd и collectd.

Соверенно точно. Statsd на ноде написан, поэтому он в плане многопоточности так себе, факт. А коллектд даже питон-плагины в разных потоках запускает, и они не страдают от GILа ?

Немного сложный вопрос, а как разные python плагины могут страдать от GILa?

есть diamond в нем наверное страдают :)

Немного сложный вопрос, а как разные python плагины могут страдать от GILa?

Например, если их запустить в рамках одного питонячьего интерпретатора через питонячьи потоки.

GIL вроде как лочит код, если у них разный код, то как они от него страдают? Может я не прав, но мне казалось, что GIL позволяет разным кускам кода выполнятся в разных потоках ну и освобождается при i/o операциях, коих при сборе метрик множество.

GIL вроде как лочит код, если у них разный код, то как они от него страдают? Может я не прав, но мне казалось, что GIL позволяет разным кускам кода выполнятся в разных потоках ну и освобождается при i/o операциях, коих при сборе метрик множество.

the global interpreter lock, or GIL, is a mutex that protects access to Python objects, preventing multiple threads from executing Python bytecodes at once. This lock is necessary mainly because CPython's memory management is not thread-safe.

Мм, кстати, не попадался ли кому докер-образ для collectd?

Мм, кстати, не попадался ли кому докер-образ для collectd?

Нинада. Нативные deb- и rpm-пакеты есть.

Ага, вот такие штуки в докер пихать точно не стоит

Не docker way? Или какие-то иные причины?

а что он будет делать? или ему права на систему давать?

и в привелигированном контейнере пускать ещё

Ну мониторить хост из докера... Как-то... Может вылиться в какие-то неочевидные траблы имхо. Это ж один бинарь, нафиг его в контейнер пихать?

ну это я так криво про привелигированный контейнер написал

упал докер - нет метрик по хосту вообще

Ну у меня он не хост мониторит

его еще и прибивать к хосту надо :)

ну тогда пофиг

это при том что он как бы стейтлесс

а что?

а что?

это мне вопрос? )

ну да

интересно зачем пихать агента который в большинстве случаев лопает системные метрики в докер

инженерную инфраструктуру

инженерную инфраструктуру

а какая разница?

Это агент версии 5.8.x, он не течёт, не ломается. Какую задачу ты решишь путём засовывания коллектд в доскер?

если течёт, то сустемд умеет ограничивать

systemd-nspawn для этого можно использовать)

зачем, если сам системд умеет

лишняя сущность

Это агент версии 5.8.x, он не течёт, не ломается. Какую задачу ты решишь путём засовывания коллектд в доскер?

Да нет никакой особой задачи, удобства для, все в docker-compose.yml описано... С точки зрения отказоустойчивости - наверное, так себе решение.

ERROR: S client not available

Тогда, разумеется, по вкусу.

Пока я еще не выработал какие-то лучшие для себя практики. Весь этот мониторинг - как альтернатива существующему. Как себя покажет - даст ответ лишь время. Может появятся какие-то подводные камни и посчитаем это все ненужным.

Да нет никакой особой задачи, удобства для, все в docker-compose.yml описано... С точки зрения отказоустойчивости - наверное, так себе решение.

а что не так с отказоустойчивостью того же самого процесса только в контейнере?

а что не так с отказоустойчивостью того же самого процесса только в контейнере?

docker сервис лег и пиздец контейнеру

меньше элементов -надежнее система

@tru_pavel ну это в смысле, что если докер упал, то и контейнеры могут отвалиться

с другой стороны, если у меня докер упадет - мониторинг и так, и так отвалится, в контейнере будет ли коллектд, или нет

@tru_pavel ну это в смысле, что если докер упал, то и контейнеры могут отвалиться

это почему?

Ну так утверждают выше

я про то что если докер упадет то как отвалится мониторинг инфрастуктуры если он не в докере

Если он не в докере - то конечно с ним ничего не случится

docker сервис лег и пиздец контейнеру

Э, простите вы о чем?

Я знаю, здесь уже спрашивали, но беглый поиск не дал результатов, чем можно узнать доступность сервера из интернета?

Я знаю, здесь уже спрашивали, но беглый поиск не дал результатов, чем можно узнать доступность сервера из интернета?

опросить какой нить сервис

Я знаю, здесь уже спрашивали, но беглый поиск не дал результатов, чем можно узнать доступность сервера из интернета?

Сделать самому можно что нибудь. Можно юзать готовые сервисы типа окметра, пингдома В очень простом случае гугл аналитика (вроде) и яндекс.метрика проверяют доступность сайта.

окметр платный, не?

Хотя в полноценном режиме они все платные.

Хост-трекер, Алертра, статускейк

Сервисов куча

а сервер то подконтрольный, али вражеский?

а сервер то подконтрольный, али вражеский?

Наш сервер, мне просто пинг по стат адресу.

host-tracker/ping-admin

был ещё сервис который юзает модифицированный блекбокс-экспортер и отдаёт метрики в прометей-совместимом формате

если сервер закрыт фаером, но у него есть публичные ресурсы, есть всякие tcp ping

был ещё сервис который юзает модифицированный блекбокс-экспортер и отдаёт метрики в прометей-совместимом формате

latency.at ага

Сделать самому можно что нибудь. Можно юзать готовые сервисы типа окметра, пингдома В очень простом случае гугл аналитика (вроде) и яндекс.метрика проверяют доступность сайта.

Вова, вы чего? Okmeter советуете для задачи "доступность сервера из интернета"

Вова, вы чего? Okmeter советуете для задачи "доступность сервера из интернета"

А вы такого не делаете? Мне чот казалось можете

Было когда то года 4 назад, мы все проекты дополнительно пинговали. Но отказались от этого - полно более хороших / фичастых или дешевых конкурентов, и это не особо добавляет ценности к инфраструктурному мониторингу.

@Civiloid тут до сих пор нет релизов https://github.com/lomik/carbon-clickhouse - добавишь в бота?

/subscribe lomik/carbon-clickhouse all