чем жирнее куски (и лучше идет мерж) тем проще ему селекты делать

посмотри сколько у тебя parts active

select count() from system.parts where active=1 and table='metricstats_local'

тока таблицу поменяй

а еще кто жрет память? КХ или гошная обвязка?

select count() from system.parts where active=1 and table='graphite'; SELECT count() FROM system.parts WHERE (active = 1) AND (table = 'graphite') ┌─count()─┐ │ 30 │ └─────────┘

? select count() from system.parts where active=1 and table='graphite_tree'; SELECT count() FROM system.parts WHERE (active = 1) AND (table = 'graphite_tree') ┌─count()─┐ │ 11 │ └─────────┘

память ест сам ch

go-шная обвязка работает как часы )

интересно

тогда точно в канальчик по КХ )

select * from system.merges

чо нить показывает?

неа по нулям

может быть стоит попробовать руками жахнуть optimize table %table_name%

я спрашивал в соседнем канале, там посоветовали посмотреть perf top - ничего там не увидел clickhouse в основном ни на чем не висит

основная проблема количество меткрик в 1 селекте

optimize final я запускал на все партиции начиная с прошлого месяца

текущий не трогал

а попробуй текущий оптимайзнуть

запустил это надолго, у меня предыдущий месяц по таймауту запроса вроде даже отваливался

Может кто поделиться как они экспортеры свои на питоне делали? Нифига честно не понял как надо делать что бы запрашивать значения только когда идет обращение к странице...

Ребят, Prometheus может собирать статистику по SNMP БЕЗ установки на железо exporter-ов? Например, с сетевого оборудования, на которое нельзя установить ничего. Или он, собственно, для другого предназначен и ни к чему его для этого использовать?

http://lmgtfy.com/?q=SNMP+Exporter+for+Prometheus

Ребят, Prometheus может собирать статистику по SNMP БЕЗ установки на железо exporter-ов? Например, с сетевого оборудования, на которое нельзя установить ничего. Или он, собственно, для другого предназначен и ни к чему его для этого использовать?

ставишь экспортер на сервер куда можно, тот собирает статистику с железок вокруг и отдает в пром

так все эти экспортеры работают

Спасибо. Я почему-то думал, что SNMP_exporter подобно node_exporter ставится на каждую ноду. А оказывается все как раз так, как мне и надо.

а попробуй текущий оптимайзнуть

Сделал не особо помогло, если выкрутить количество глобов в 0 то ch начинает жрать память до предела и падает по оом, похоже тут без переделки графиков не обойтись

надо сделать в carbonapi проброс фильтрующих и аггрегирующих функций на backend :)

но это сложно

Плагин поставить в графане и прям там строить графики по sql запросам ;)

ребят, почему я могу сделать в графане вот так: request_tmp{tmp="form1", mask="open"}+request_tmp{tmp="form1", mask="open"} Но не могу так: request_tmp{tmp="form1", mask="open"}+request_tmp{tmp="form1", mask="close"} ?

попробуй взять все выражение в скобки

потому что лейблы должны совпадать

иначе тебе надо обрезать лейблы

либо проще сделать sum(request_tmp) without (mask)

потому что лейблы должны совпадать

А если нужно посчитать среднее? Причем именно по этим лейблам? Потому как там по маске еще другие лейблы есть, а их считать нельзя

но щас буду пробовать

бери среднее по примеру как я показал

avg(metric)

и там можно метрики указать какие надо и какие не надо

и там можно метрики указать какие надо и какие не надо

не могу так, мне надо что бы mask мог быть равен open or close, но там еще есть два значения, и вот они уже не нужны как раз

Есть варианты? Там же вроде есть возможность свои формулы строить?

mask=~"open|close"

avg(request_tmp{tmp="form1", mask="open|close"}) ?

На ~ перед = возмущается

А где вообще можно почитать про то как запросы в ней составлять?

На ~ перед = возмущается

=~

=~

Спасибо большое)

https://prometheus.io/docs/querying/basics/

https://prometheus.io/docs/querying/basics/

Спасибо) Сам искал на сайте графана... :)

https://github.com/yandex/ClickHouse/releases/v1.1.54276-stable was tagged

Ребят, подскажите, как мне вычленить из этого результата только ifName, чтобы вставить его в legend format в графане? ifName{ifIndex="10042",ifName="Fa0/42",instance="172.17.0.21",job="snmp_interfaces"} Чтобы видеть название интерфейса и его загрузку

https://github.com/influxdata/telegraf/releases/1.4.0-rc1 was tagged

https://github.com/influxdata/telegraf/releases/1.4.0-rc1 was tagged

вот как сделать что бы аналогично запросы составлять?

Ребят, подскажите, как мне вычленить из этого результата только ifName, чтобы вставить его в legend format в графане? ifName{ifIndex="10042",ifName="Fa0/42",instance="172.17.0.21",job="snmp_interfaces"} Чтобы видеть название интерфейса и его загрузку

Вставь в текстовое поле {{ifName}}

Вставь в текстовое поле {{ifName}}

когда так делаю, он мне полностью вставляет вот это {ifIndex="10042",ifName="Fa0/42",instance="172.17.0.21",job="snmp_interfaces"}, а мне надо чтоб напротив каждого интерфейса было, например, "Fa0/42"

Покажи куда вставляешь

У тебя там 100мбит порты, что ли?

Щас вроде 2017 год..

100 мбит порты, это коммутатор на доспуте, пользовательский, там гигабит не нужен. Завел его в прометеус для теста сбора статистику по snmp.

вот если я {{ifIndex}} поставлю в legend format, то мне его выводит. Но мне он не нужен, т.к. это не информативно. Мне нужно название интерфейсов. А они уже в другом запросе фигурирует - в ifName{ifName="Fa0/0"}

ERROR: S client not available

У меня почему-то нет возможности выбрать ALIAS BY. Нет такой графы.

А если не ifName вставить, а например instance? Или ifIndex

А если не ifName вставить, а например instance? Или ifIndex

{{instance}} дает мне IP коммутатора в названии. iFIndex индекс порта.

Оно даёт тебе лейблы из метрики

Понимаешь принцип?

Оно даёт тебе лейблы из метрики

Да это я понимаю) Ок, {{ifIndex}} дает мне, в общем-то то, что я хочу, но не в очень удобоваримом виде. Оно мне дает "10036" там, где я хочу видеть Fa0/36. Как-то можно препарировать его, regexp-ом вычленить оттуда номер?

Да это я понимаю) Ок, {{ifIndex}} дает мне, в общем-то то, что я хочу, но не в очень удобоваримом виде. Оно мне дает "10036" там, где я хочу видеть Fa0/36. Как-то можно препарировать его, regexp-ом вычленить оттуда номер?

Скриншот метрики своей покажи, а то тут что-то странное.

И что выводит с пустыми алиасами?

У тебя просто лейбла нет с ifName

Надо конфиг переделать, сделать релейблинг.

Или как там это правильно называется.

Надо конфиг переделать, сделать релейблинг.

в prometheus.yml?

Надо конфиг переделать, сделать релейблинг.

Попробую посмотреть. Спасибо.

Если это snmp exporter, там в ридми что-то было насчет этого, кажется.

А ifDescr как выглядит?

А ifDescr как выглядит?

Когда в прометеусе вбиваю метрику ifDesc, то он дает мне вот это: fDescr{ifDescr="GigabitEthernet0/2",ifIndex="10102",instance="172.17.0.21",job="snmp_interfaces"} ну и таких 48 записей для коммутатора

Вот кусок дефолтного snmp.yml, но он генерируется автоматически, его не нужно править: - name: ifHCInOctets oid: 1.3.6.1.2.1.31.1.1.1.6 type: counter indexes: - labelname: ifDescr type: gauge lookups: - labels: - ifDescr labelname: ifDescr oid: 1.3.6.1.2.1.2.2.1.2 type: DisplayString

Когда в прометеусе вбиваю метрику ifDesc, то он дает мне вот это: fDescr{ifDescr="GigabitEthernet0/2",ifIndex="10102",instance="172.17.0.21",job="snmp_interfaces"} ну и таких 48 записей для коммутатора

Хм, у меня выводит, например, ifDescr{ifDescr="ether4-slave-local",instance="188.243.223.130",job="snmp-general"}

То есть, без ifIndex. Как видно из конфига, вместо ifIndex должен использоваться ifDescr

Проверьте свой snmp.yml, что там в секции default? Или какой модуль вы используете? Это видно из конфига прометея: - job_name: 'snmp-general' static_configs: - targets: - 188.243.223.130 # SNMP device. metrics_path: /snmp params: module: [default]

SkyNet LLC :)

- name: ifHCInOctets oid: 1.3.6.1.2.1.31.1.1.1.6 type: counter indexes: - labelname: ifName наверное так надо. в таблице с 64битными счетчиками только ifname, а ifdescr в 32битной, которую только ради ошибок на интерфейсах и стоит опрашивать. Как правильно в экпортере делать я не знаю. В телеграфе все устраивает.

[[inputs.snmp.table]] name = "interface32" oid = "IF-MIB::ifTable" [[inputs.snmp.table.field]] name = "ifDescr" oid = "IF-MIB::ifDescr" is_tag = true [[inputs.snmp.table]] name = "interface64" oid = "IF-MIB::ifXTable" [[inputs.snmp.table.field]] name = "ifName" oid = "IF-MIB::ifName" is_tag = true их потом в разные базы пишу. 64битные дольше хранить, а 32битные - недели хватит.

https://twitter.com/paaleksey/status/898205950271737856

упс!

Оно же сырое

Неподходящее слово, она пока никакое

можно подумать prometheus 2.0 уже в релиз поехал