в графите понятно откуда беда с новыми мпетриками а в реляционных базах то чего ?

или это именно new value ?

вроде не про новые метрики, а про вообще значения в секунду

а...

ага

о.

в Z

50к не могут ?

там же везде си и базы данных

могут, но трубой без алертов

там один поток в одном ядре на алертинге

там один поток в одном ядре на алертинге

знакомо...

так что прям щас нас спасает Power8

или 9, уже не помню

эт как ?

у него резиновое ядро ?

у него гигагерц больше чем в x86 архитектуре

а...

тупо

а алармы в гигагерцы упираются ?

но вот уже начал и он упираться... но к счастью я новый стек собрал и даже обкатал... так что с честью похороним

я тут весной кидал доклад Алексея о том как они меряли Z на разных бекендах... если вообще выключить алертинг (подозреваю что костылем в коде) то Z может и лям метрик через себя пропустить на среднем сервере в бекенд (инфлюкс бугага)

а почему алармы упираются в гигагерцы ? @vadimipatov

а если брать некий условный шаблон 10К серверов и забыл уже сколько метрик + нормальные алерты на это навешать то пичаль бяда и текущая версия дает 50 или 60К и баста карапузики

ну вроде сказали что они в один поток обрабатываются

справедливости ради, про алертинг это правда только для версий 3.4. В новых они параллельно обрабатываются: "In Zabbix 3.4, alerts become parallel. In contrast to the previous option of a single alerter implementation for all problem notifications, now there is a new alert manager process that can distribute alerts to several “worker” processes."

обрабатываются или считаются?

в чем разница?

не знаю как там реализовано

но возможно есть разные процессы, один обрабатывает входящий поток метрик, а второй обрабатывает выхлоп от первого

то есть первый считает алерты, а второй уже обрабатывает

справедливости ради, про алертинг это правда только для версий 3.4. В новых они параллельно обрабатываются: "In Zabbix 3.4, alerts become parallel. In contrast to the previous option of a single alerter implementation for all problem notifications, now there is a new alert manager process that can distribute alerts to several “worker” processes."

если 3.6+ дает возможность пропускать через себя 1M+ на среднестатистическом железе то почему вы об этом не писали, кино не снимали?

а почему алармы упираются в гигагерцы ? @vadimipatov

лучше @korservick спросить об этом. подозреваю, что данный вывод он сделал из-за того, что у них 3.0 Z стоит, в котором один воркер алерты обрабатывает только

лучше @korservick спросить об этом. подозреваю, что данный вывод он сделал из-за того, что у них 3.0 Z стоит, в котором один воркер алерты обрабатывает только

а один воркер на сях не умеет покидать ядро ?

какой ты поставил такой и стоит :)

если 3.6+ дает возможность пропускать через себя 1M+ на среднестатистическом железе то почему вы об этом не писали, кино не снимали?

не знаю. видимо шланг Алексея не нуждается в подтверждении своего размера :)

да никто не спорит что Z круче боргмана

и тетрейшана вместе взятых

а я и не пытаюсь сравнивать

то то ты линейку при входе попросил :)

ушли снова с тех темы в бан зону

мне просто интересно стало как ты сравниваешь и что с чем. раз уж заявляешь про шланг

ага. не будем нарушать правила

да тем более с ними всё просто. сравнивнение с заббиксом -> срач на канале. ro и обидки.

Алексей который местный Алексей выше написал свой стек алертинга из 7 компонент, т.к. тут эти веселые костыли в порядке вещей и вызывают легкую грусть и нервный смех я решил разбавить это капелькой пошлого юмора со своей стороны... и вот тут пришел ты и началось

всё-всё. молчу. я ваще атеист

кто уже с 5.0 до 5.1 графаны обновлялся? как там MSSQL работает?

кто уже с 5.0 до 5.1 графаны обновлялся? как там MSSQL работает?

как-то так grafana-server[4999]: panic: runtime error: invalid memory address or nil pointer dereference EDIT: Перезалил базу с drop database; от 4 версии и оно не воспроизвелось. Вероятно в базе оказались куски от 4 и 5.0 и графане это не понравилось

Кто-то пользует consul для регистрации сервисов? У меня есть небольшой проект на 12 машин и 20 приложений. Хочу все экспортеры в консуле зарегистрировать.

Кто-то пользует consul для регистрации сервисов? У меня есть небольшой проект на 12 машин и 20 приложений. Хочу все экспортеры в консуле зарегистрировать.

а конкретно, какой вопрос?

docker? consul-registrator тогда можно.

использую, около полу-тысячи машин по 3-5 сервисов на каждой

а конкретно, какой вопрос?

Это вообще реально, чтобы не создавать vhosts или открывть порты на всех нодах?

ну там определённый набор портов, лучше открывать; но если сб сильно лютует можно только с нод до мастеров открывать

использую, около полу-тысячи машин по 3-5 сервисов на каждой

Впечатляет Получается, что по сети нужно открыть только порт конусулу?

Кто-то пользует consul для регистрации сервисов? У меня есть небольшой проект на 12 машин и 20 приложений. Хочу все экспортеры в консуле зарегистрировать.

я так делаю

можно взять registrator, тогда вообще ничего делать не прийдется

можно взять registrator, тогда вообще ничего делать не прийдется

а если не в доскере?

Тогда ansible, например, умеет регистрировать.

А что с портами други?

Регистрацию пусть ансибл делает это не проблема

Вопросов по существу два 1. Какие порты открывать на серверах? 2. Как авторизировать пром с консуле?

А что с портами други?

всмысле?

порты открывать те, которые юзает экспортер

и консул

ERROR: S client not available

ещё и https/tls вешать

Я думал, что к таргету можно через локальный агент консула братиться?

Ясно В общем ради 20 приложений проще в ансибл запилить генерацию конфига прома

Ясно В общем ради 20 приложений проще в ансибл запилить генерацию конфига прома

20 быстро перерасёт в 100, 100 в 1000 а потом ты уволишься и кто-то увидет твой ебический конфиг прометея, и уедет в дурку

хрен с ним с уолишься, а вот какбы тебя же заставят через пол годика допилить :)

Система глобального мониторинга на 500+ серверов уже есть - Nagios. Нужна мониторка для проекта

Интересно, что произойдет с консулом на 1000 нодах?

да ничего

да ничего

Ах да, ему жу можно всего 3 ноды мастера оставить.

https://www.consul.io/docs/guides/performance.html

https://t.me/ru_hashicorp

беда беда, прометеус отказывается читать метрики через nginx reverse proxy прометеус пишет unexpected EOF nginx пишет 2018/05/04 18:59:37 [error] 13283#0: *1 upstream prematurely closed connection while reading upstream, client: 192.168.122.109, server: _, request: "GET /metrics/service-a/3 HTTP/1.1", upstream: "http://192.168.122.104:31696/metrics", host: "192.168.122.104:8008" пока ничего не нагугливается, но подозреваю что дело в настройках nginx телнетом тестирую и всё работает

ну ты можешь например показать конфиг

так он тебе сказал что ваш "http://192.168.122.104:31696/metrics" лежит

вообще да, это у тебя апстрим оторвал соединение

не лежит, руками всё работает

конфиг тупейший location = /metrics/service-b/3 { proxy_pass http://hz2-n04.cluster.jacum.com:31075/metrics; }

збс

и как ты считаешь, какой путь ушёл в апстрим?

конфа то норм

у тебя бек закрывает сокет когда к нему nginx стучится

$ telnet 192.168.122.104 8008 Trying 192.168.122.104... Connected to 192.168.122.104. Escape character is '^]'. GET /metrics/service-b/3 HTTP/1.1 Host: 192.168.122.104:8008 User-Agent: Prometheus/2.2.1 Accept: text/plain;version=0.0.4;q=1,*/*;q=0.1 HTTP/1.1 200 OK Server: nginx/1.12.2 Date: Fri, 04 May 2018 16:45:48 GMT Content-Type: text/plain; version=0.0.4; charset=utf-8 Content-Length: 46193 Connection: keep-alive # HELP jvm_gc_collection_seconds Time spent in a given JVM garbage collector in seconds. # TYPE jvm_gc_collection_seconds summary jvm_gc_collection_seconds_count{gc="ParNew",} 8.0 jvm_gc_collection_seconds_sum{gc="ParNew",} 0.086 jvm_gc_collection_seconds_count{gc="ConcurrentMarkSweep",} 1.0 jvm_gc_collection_seconds_sum{gc="ConcurrentMarkSweep",} 0.023 # HELP jvm_threads_current Current thread count of a JVM

оно же будет дёргать адрес /metrics/metrics/service-b/3

руками всё работает

это с хоста где прометеус

оно же будет дёргать адрес /metrics/metrics/service-b/3

кстати да, в конце слеша то нет в локейшене

и в конце сразу Connection closed by foreign host.

и в логе ошибок нет, когда руками из телнета

оно же будет дёргать адрес /metrics/metrics/service-b/3

.

так у тебя в апстриме один порт

а ты идешь на 8008