можно усредненное

rate(node_network_transmit_packets[30s])/30

но толку от такой метрики, я не понимаю

я хочу pps

что тебе мешает снимать раз в 30 секунд? полученую цифру делишь на 30 и получаешь средний ппс

да вот я сижу и туплю, как мне нормально снимать параметр PPS

с ifconfig ну либо с /proc

у меня в бложике было, щаз найду

https://www.stableit.ru/2014/08/pps.html

прошу

да вот я сижу и туплю, как мне нормально снимать параметр PPS

тебе нужно снимать PPS не каждую секунду а с определенной точностью. Подумай о том, какая точность тебе нужна. Для трендов 30 секунд достаточно. В редчайших случаях нужна точность в 5-10 секунд на измерение, но это прям реально редкость

pps это крайне важная характеристика

размывать ее по 30 секундам бессмысленная трата времени.

оно должно считаться по секундам, если хочется получить что-то полезное (микроберсты? ддосы?)

никто не спорит, но нужно понимать, какая точность необходима. Точность стоит дорого, и чем выше точность - тем дороже это будет. Точность в 100мс - это боль. Над точностью в 10мс у нас целый отдел воевал как-то

кто ж говорит про миллисекунды) секунды - ОК

смотря для каких целей PPS измерять

если микроберсты ловить - то и секунды слишком грубо

проще воткнуть везде десятки, чем их ловить :)

ну или 100GE, сразу.

ну или 100GE, сразу.

очень дорого

Если микроберсты, то мне кажется надо уже лезть в ядро, ловить нужные эвенты, сдать их в базу, а потом уже делать статистику

зато на вырост :)

и как тебе десятки помогут?

запасом емкостей

там буферы нужны, а не полоса

зависит от задач и причины появления берстов

я про то, что с секундным интервалом на pps уже ничего не видно будет

все же от задачи зависит. ддос - будет видно, микроберст - вряд ли.

откуда мне знать чего автор добивается? :)

мы вообще наносекунды храним для pps, но это же не повод, правда? :)

а для чего, если не секрет

у нас DDoS сенсор

трафика нередко под 100 миллионов пакетов секунду, поэтому нужна высокая точность, чтобы найти зловредный поток / пакет

проще воткнуть везде десятки, чем их ловить :)

и так десятки)

автор хотел посмотреть примерные PPS

сколько сети потребляет 5 виртулок например

тогда 30 секунд ОК :)

тогда 30 секунд ОК :)

то есть если мне отдается значение 20к то это 20к пакетов за 30 секунд получается?

угу

кто знает, как создать организацию в графане через API?

добыл себе апи ключик, подключаюсь, а оно мне аксес денаед

логинюсь под глобальным админом

http-авторизация которую где-то рекомендовали не проходит

вопрос снят, wget не отправлял http-auth

а планов норм апи на го сделать нету?

я вот юзера хочу создавать, датасорс раскатывать и дашборды импортировать не вовлекая юзера

графана очень плохо автоматизируема на данный момент, к сожалению

графана очень плохо автоматизируема на данный момент, к сожалению

но нет же выбора, выбора же нет :(

графана очень плохо автоматизируема на данный момент, к сожалению

недостаточно боли в голосе. недостаточно.

графана очень плохо автоматизируема на данный момент, к сожалению

Вы именно про возможности API?

выбора нет, но надо понимать что это оупенсорц, какие претензии – не нравится, пишем пропозалы, и может быть пишем такое нужное API

Вы именно про возможности API?

ну общее впечатление такое, те же дашбоды самый удобный способ установки для них – ручной

вот и товарищи выше подтверждают

Да, насчет дашбордов была дискуссия, открыли тикет

ну мне большего пока и не надо, сделают дашборды – будет счастье (и новые потребности)

я вот юзера хочу создавать, датасорс раскатывать и дашборды импортировать не вовлекая юзера

юзер - check датасорс - check дашбоард - check

чего не хватает?

все хватает :)

какая бд лучше под пром? influx?

вопрос снят

что выбрал?

вопрос снят

О! Быстро.

О! Быстро.

Вжух и готово )

под пром?

что такое пром?

ERROR: S client not available

что такое пром?

prometheus

у меня кстати вопрос , а есть ли где нибудь уже готовые .rules для алертов?

для пром

для алертов в вакууме?

Алерт менеджера скорее всего

Дада, я про него

Просто заметил что почти нету нигде готовых триггеров для алерт менеджера

у автора в блоге кой-чо есть

а так прям готовое сложно представить, проще на примерах научится и не бояться писать свои

чет меня influx + telegraf за графаной реально пугать начали

на тестовых виртуалках (слабоватых, но все же), при retention policy на две недели, можно с дашборда спросить инфу за месяц и наблюдать следующие спецэфекты: - проц на виртуалке с инфлаксом улетает в потолок - в инфлаксе сыпяться server/client ошибки - (что самое неприятное) все это за собой тянет виртуалку, на которой стоит телеграф (собирая http статусы с ~80 хостов

это при том, что в обычном состоянии на виртуалках не более 5% cpu usage

прометей тоже нормально так пожевывает ;)

на тестовых виртуалках (слабоватых, но все же), при retention policy на две недели, можно с дашборда спросить инфу за месяц и наблюдать следующие спецэфекты: - проц на виртуалке с инфлаксом улетает в потолок - в инфлаксе сыпяться server/client ошибки - (что самое неприятное) все это за собой тянет виртуалку, на которой стоит телеграф (собирая http статусы с ~80 хостов

У них похожее поведение с 0.7 тянется

на тестовых виртуалках (слабоватых, но все же), при retention policy на две недели, можно с дашборда спросить инфу за месяц и наблюдать следующие спецэфекты: - проц на виртуалке с инфлаксом улетает в потолок - в инфлаксе сыпяться server/client ошибки - (что самое неприятное) все это за собой тянет виртуалку, на которой стоит телеграф (собирая http статусы с ~80 хостов

ну дак то же самое у меня с прометеем

стоит ретеншн на 62 дня, и когда прошу отрисовать борду за эти самые 2 месяца, пром жрёт много проца, в смысле весь, на тачке 12 цпу\24 гига

с одной стороны не проблема иметь две разных базы, одну для графаны, другую для аналитических каких то целей с другой стороны если даже смена rp в таком случае не сильно спасает и есть возможность уронить не себя, а того кого ты мониторишь, то это ваще адово а в графане никак обрубить у вьюверов возможность спрашивать за большие интервалы времени нельзя?

стоит ретеншн на 62 дня, и когда прошу отрисовать борду за эти самые 2 месяца, пром жрёт много проца, в смысле весь, на тачке 12 цпу\24 гига

а борда рисовалась графаной? если в самом проме тот же запрос отрисовать попробовать также будет?

если в самом проме прокрутить тот же запрос на такой же объём по времени

он отваливается по ТО, который в морде прома 30 сек

типа "вы бы, сударь, конкретный диапазон указали, ато через 30 секунд пока я буду тупить над одним запросом, у меня второй такой же появиться"?

надо наверное в кои то веки код, что графаны, что бд покурить, неужто все только изза такой несогласованности во взаимодействии

не, дефолтный в борде по моему час выбирается, если ты тыкаешь в graph

за час построить ок, а вот за 62 дня уже трудно, особенно если нужно делать бери все метрики за 5 минут, считай чтонибудь сложнее авеража, потом показывай

за час построить ок, а вот за 62 дня уже трудно, особенно если нужно делать бери все метрики за 5 минут, считай чтонибудь сложнее авеража, потом показывай

В сутках 1440 минут, значит 288 пятиминутных интервалов. За 62 дня таких пятиминутных интервалов набирается 17856. Это в три раза больше, чем максимально возможное разрешения дисплея на сегодняшний момент.

5 минут на 1 пиксель?

Мой посыл в том, что если ты графики строишь для периода 62 дня, нет смысла минимальный период агрегирования делать меньше 1-2 часов.

В сутках 1440 минут, значит 288 пятиминутных интервалов. За 62 дня таких пятиминутных интервалов набирается 17856. Это в три раза больше, чем максимально возможное разрешения дисплея на сегодняшний момент.

+++

Подскажите, есть ли разница под ELK в фс? xfs vs ext4?

да. особенно для кибаны.

elasctic основную нагрузку давать будет же