ребят, кто-то видел инструменты подсчета sla для graphite?

вернее по данным из graphite?

ребят, кто-то видел инструменты подсчета sla для graphite?

Grafana

вернее по данным из graphite?

Bash/python/go/...

Всем привет. Туплю с графиком в графане. У меня измеряется температура видеокарт в серверах. Меня интересует: * Температура отдельной видеокарты * Температура видеокарт средняя для сервера (в нем от одной до 4х видях) * Температура средняя для кластера серверов (примерно по 10 серверов) Хитмап - это правильный выбор для отображения?

гдето я видел шаблоны для майнеров

но таки нет. 40 значений для хитмапа маловато. лучше взять и отрисовать кубиками

Всем привет. Туплю с графиком в графане. У меня измеряется температура видеокарт в серверах. Меня интересует: * Температура отдельной видеокарты * Температура видеокарт средняя для сервера (в нем от одной до 4х видях) * Температура средняя для кластера серверов (примерно по 10 серверов) Хитмап - это правильный выбор для отображения?

Хитмап в моем понимании нужен для гистограм

но таки нет. 40 значений для хитмапа маловато. лучше взять и отрисовать кубиками

Ну сегодня 40, завтра 400. Но идею, что нужно больше значений - понял

Есть необходимость собирать и обрабатывать логи nginx. Лог combined формата, объём где-то 10к rps, в последствие мб до 40к rps. После делать сравнения по рвзличным метрикам из этих логов. Посоветуйте, что лучше использовать elasticsearch или clickhouse? Первый вроде в этом вопросе популярнее, но возможно clickhouse потребует меньше мощностей?

Есть необходимость собирать и обрабатывать логи nginx. Лог combined формата, объём где-то 10к rps, в последствие мб до 40к rps. После делать сравнения по рвзличным метрикам из этих логов. Посоветуйте, что лучше использовать elasticsearch или clickhouse? Первый вроде в этом вопросе популярнее, но возможно clickhouse потребует меньше мощностей?

Вне зависимости от того куда логи складываешь, пиши их в json сразу, упростит жизнь (сделает ненужным парсинг промежуточный)

Со сбором пока меньше вопросов. Да, знаю что nginx и так может писать.

Со сбором пока меньше вопросов. Да, знаю что nginx и так может писать.

Нет смысла писать в человекочитаемом формате то что читать невозможно из за объемов

Алерты из кх делать надо будет или самосбором или графаной

Я про то что nginx ' ом можно и json нагенерить или с lua сразу слать. Как и говорил, сбор меньшее из вопросов.

Но в целом я бы начал с применимости кх а потом смотрел бы другие вапртантв

Алерты из кх делать надо будет или самосбором или графаной

Так или иначе для алертов у обеих систем доп инструмент нужен.

У клаудфлера есть саксес на кх

Может у вас тоже будет саксес

Видел статью

Они там вроде 6 млн rps в итоге пишут, с той то статьи и появились идеи с кх.

Ну я выше кидал статью с наивной реализацией записи в кх

От парней с альтинити

Гляну, спасибо.

господа, нашел такую вот пипятку. https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse

Вот

Но в целом я бы начал с применимости кх а потом смотрел бы другие вапртантв

А из интереса бы заюзал кх или другие доводы?

У меня в стеке есть кх

И нет жавы

Есть подводные камни с кх в проде?

Есть

Очень аддиктивен

Сильно хочется потом спросить мусеньку "где скорость бро"

В остальном всё решаемо. Подробности есть на каналах кх

https://t.me/clickhouse_ru

Спасибо

40к инсертов это где-то четверть ядра современного проца

Хотя конечно это будет 1 инсерт

Это с точки зрения того кто будет писать видимо, а как с потребующимися мощностями кх? Сильно меньше требователен еластика?

На выборках может съесть 10г памяти из коробки.

На каждую выборку

Но собрать такую мне на типичных кейсах удавалось не часто

Если смысл использовать материализованные представления для основных выборок?

Есть смысл раскурить словари и юзать оные

Особенно для юзерагентов и такого

но таки нет. 40 значений для хитмапа маловато. лучше взять и отрисовать кубиками

о, а можно пример кубиками?

о, а можно пример кубиками?

Я про синглстат 1х1

а. я видел, что кто-то рисовал что-то вроде тепловой карты, в виде шестигранников. я хотел бы такой же, но не могу понять, как такое сделать

там у человека была загрузка процов на пачке серверов, текущая

Там датадог был

нет, там была именно графана. ту человек выкладывал скрин

у него был докер

Нее. Пришли к мнению что датадог

da vrode

жаль, спасибо

Привет)

Ты следишь за мной что ли

А то!

Так и думал

Леша, как дела? Зачем тебе метрики, признавайся?

ERROR: S client not available

йо, а кто чем экспортит с nginx’а метрики? lua или что-то свое?

йо, а кто чем экспортит с nginx’а метрики? lua или что-то свое?

vts?

nginx-vts-exporter? https://hnlq715.github.io/nginx-vts-exporter/

+

спасиб, ща почитаю

через логи ещё можно с тем же mtail например

не) не удобно

Чем не удобно?

попутно мб кто раздуплиться поможет… location /nginx-metrics { content_by_lua ' metric_connections:set(ngx.var.connections_reading, {"reading"}) metric_connections:set(ngx.var.connections_waiting, {"waiting"}) metric_connections:set(ngx.var.connections_writing, {"writing"}) prometheus:collect() '; } # curl -s 127.0.0.1/nginx-metrics | wc -l 188

Так чем мтэил не удобен?

у луа-экспортера есть проблема с локами

загоняю в prometheus… - job_name: 'XXXX' metrics_path: /nginx-metrics static_configs: - targets: ['…:80'] иду curl’ом в прометеус - и вижу всего ~15 метрик

а у они у тебя точно не одинаковые там все в выводе?

все разные)

ну я в магию не верю

может релейбелингом дропается что-то?

не, лейблов нет ваще

ни одной метрики nginx_…. нет вообще

и up==0?

оно апнуто, ибо я ж вижу какие-то метрики именно с этой джобы

а-ля prometheus_target_sync_length_seconds

вообще нет

а можно в рамках targets прописывать разные metric_path’ы ?

можно вешать лейблы и их вписывать в металейблы какие хочешь

типа - targets: ['blahblah1:9100/metrics','blahblah2:80/nginx-metrics']

релейбелингом

нет, не совсем так

просто на хосте работает и луашная хрень и node_exporter, хотелось бы в рамках одной джобы оформлять конфиг

чувак