привязываться к именам политик неудобно. одна и та же политика, например, с именем limit10m может быть на разных интефейсах. привязывать интефейсы, имена политик к cbQosCMStatsTable накладно. это надо опрашивать 8 таблиц. сейчас только одна.

+--------------------+---------------------+ | ConfigIndex | CMName | +--------------------+---------------------+ | 1025 | class-default | | 1593 | class-default | | 1965376995 | class-default | +--------------------+--------------------+ Вот пример из жизни.

а посчитать можно?

1593 в основном?

+-------------+---------------+----------+ | ConfigIndex | CMName | count(*) | +-------------+---------------+----------+ | 1025 | class-default | 29 | | 1593 | class-default | 42 | | 1965376995 | class-default | 35 | примерно такие пропорции

в чем разница если не секрет? я на разных маршрутизаторах, свичах проверил. пока 1593

1025 - на 73хх кисках вроде, 1593 - на 76хх, 1965376995 - на ASR

ну хоть так. будут доп условия.

Конечно, если картина стабильна и софт/модели/конфиг рутеров не меняются, то можно и малой кровью обойтись ? Иначе - сплошная попа-боль с этим мибом, если всё по честному делать и раскручивать всю цепочку свуязей между таблицами.

InfluxDB Storage Engine Internals от CTO )) https://www.youtube.com/watch?v=2SUBRE6wGiA&list=PLSE8ODhjZXjY0GMWN4X8FIkYNfiu8_Wl9&index=1&__s=51fbicfcj8csgnzyjpsb

уже вроде было

Ага, забыл уже

Infernals

баяяян :)

Графана "радует", запрос в базу в ручке "список снапшотов" включает поле с содержимым снапшота (а оно в мегабайтах измеряется), и, естественно, тормозит адово... Пойду убьюсь об стену...

Про массивы я уже понял - попробую :) Чувствую что после реализации можно идти доклад для highload делать

Если я правильно помню, то ты решаешь какую-то хитрую задачу из области АСУТП/АСКУЭ. Не парь себе мозг, возьми Historian. Ну или если денег жалко - OpenHistorian.

Если я правильно помню, то ты решаешь какую-то хитрую задачу из области АСУТП/АСКУЭ. Не парь себе мозг, возьми Historian. Ну или если денег жалко - OpenHistorian.

Нет, у меня перфоманс метрики с оборудования, просто оно сложное и его много

посмотрел OpenHistorian - там же зоопарк технологий да еще и не высокопроизводительных

Графана "радует", запрос в базу в ручке "список снапшотов" включает поле с содержимым снапшота (а оно в мегабайтах измеряется), и, естественно, тормозит адово... Пойду убьюсь об стену...

Я ничего не понял.

коллеги, оффтоп-вопрос - кто-нибудь знает ссылку на чат сетевиков и/или цисководов? Есть вопрос.

Я ничего не понял.

Как и все остальные

коллеги, оффтоп-вопрос - кто-нибудь знает ссылку на чат сетевиков и/или цисководов? Есть вопрос.

ntwrk

Я ничего не понял.

https://github.com/grafana/grafana/issues/9314

Коротко, много снапшотов == адовые тормоза на списке этих самых снапшотов, из-за кривого SQL запроса

С кем не бывает ))

Теперь понятно, в выводе API этого нет, явно лишнее поле в запросе.

всем привет в ламповом чатике)

а скажите добрые люди, кто то метрики collectd cобирает? и куда пихает их?

в influxdb

(:trollface:)

в influxdb

и как часто он у вас падает?)

правильный вопрос: "как долго он у вас стартует?" :)))

правильный вопрос: "как долго он у вас стартует?" :)))

как часто он у вас стартует?))

как часто он умирает от ООМ?

при верном проектировании никогда

ибо при верном проектировании он не будет запущен.

ибо при верном проектировании он не будет запущен.

))))))

а куда писать прикажете? в CSV на tmpfs ?)

так pps непонятен

тут любят пром в основном

так pps непонятен

каждые 30 секунд к примеру

pps это точек в секунду

pps это точек в секунду

не могу сказать, не замерял сколько всего метрик выйдет

ну надо прикинуть

(колвохостов*колвометрик)/периодопроса

ну чаще чем у прома, там вроде бы каждые 5 минут опрашивает

пром по дефолту 15 секунд.

Чота я не помню, есть ли вообще дефолт в прометее

есть

В дефолтном конфиге 15 секунд

А есть ли дефолт если не указать

ну я как раз по дефолтный конфиг да

что то там точно в дефолте 5 мин, наверно инвалидация данных

ибо при верном проектировании он не будет запущен.

Ну зачем же так категорично? Если influx грузить не сильно и число серий не раздувать, то вполне себе стабильно он жить может. А от collectd большой нагрузки скорее всего не будет.

Отсутствующая метрика считается исчезнувшей если не поступало данных в течение 5 минут

что то там точно в дефолте 5 мин, наверно инвалидация данных

да. там есть что то раз в 5 минут.

Ну зачем же так категорично? Если influx грузить не сильно и число серий не раздувать, то вполне себе стабильно он жить может. А от collectd большой нагрузки скорее всего не будет.

да. простите. просто наболело.

а как у него с долговременным хранением данных?

плохо

но обещают прикрутить кликхаус для такого

ну я в курсе, куда их складывать то?

я пока не понимаю зачем надо долговременное храннеие данных.

смотрю тролльчатина нормально зашла

статистика

Теоретически прямо щас можно, всего-то надо написать адаптер

да кактус меня приучил что можно посомтреть графики за 5 лет

но они всегда были плохие

смотрю тролльчатина нормально зашла

среда маленькая пятница.

у меня питоновский скрипт забирает данные которые старше n времени, усредняет их и пихает в букинг-стек

а как у него с долговременным хранением данных?

Для этого он уже малопригоден на практике, если ретеншен с огрублением не делать.

Для этого он уже малопригоден на практике, если ретеншен с огрублением не делать.

а если делать?

со вменяемой резолюцией

он про оперативный мониторинг, а не про статистику

а если делать?

Тогда вполне может жить. Труднее с ограниченностью их квази-sql. Для серьёзной аналитики - не фонтан.

опять таки, смотря сколько хранить

если ты будешь хранить данные за год со всех ваших виртуалочек - хз

ну реальные примеры какие то кто то может озвучить

если ты будешь хранить данные за год со всех ваших виртуалочек - хз

хотя бы месяца 3, ты о чем))

если опрашивать раз в минуту и на ссд - то никаких проблем

только потюнь сразу пром

если опрашивать раз в минуту и на ссд - то никаких проблем

раз в 30 секунд нужно)

месяца три не уверен что это долговременное хранилище

минимум

слушай, я уверен что нагиос собирал реже чем час в минуту

месяца три не уверен что это долговременное хранилище

ну я реально смотрю на возможности бд)

30к в секунду на 30 дней нормально живет

слушай, я уверен что нагиос собирал реже чем час в минуту

нужно больше метрик)))

ты с виртуалок собирать будешь или только хосты?

У нас на каждом инстансе около 100к в секунду

ты с виртуалок собирать будешь или только хосты?

я пока просто изучаю возможности стореджа

пром на ссд выдержит раз в 15 секунд

если с момента моего увольнения у вас количество виртуалок не выросло раз в 10

Дело не в частоте опросов, а в кол-ве сэмплов в секунду и тяжести агрегаций/запросов

Можно разогнать без запросов и агрегаций до миллионов в секунду