т.е. мониторинг по принципу "мы валим кучу брахла, а потом мониторим или исследуем что нужно"

с бизнес-данными не так

Смотря какими. Среди тех кто менеджит системы в общем да

Это окей, но так все время продолжаться не может

но падают они все в один и тот же сторадж.

Это не стыдно, это сейчас у всех так

а это разве не правильно ?

Это окей, но так все время продолжаться не может

не может, но мониторинговые данные это меньше 10% общего потока

с бизнес-данными не так

А они не мигрируют из "не-бизнес" в "бизнес"?

и поэтому не вносят существенного вклада

а это разве не правильно ?

Отличный вопрос Нет, это не очень правильно

почему ?

не может, но мониторинговые данные это меньше 10% общего потока

Мне кажется, классификация данных по месту генерации не очень полно отражает их суть

А они не мигрируют из "не-бизнес" в "бизнес"?

М... никак в общем. Бизнес метрики производятся самим софтом который ранится где-то там или различными мап редьюсами и так далее.

почему ?

У меня мозгов не хватит объяснить, надо поговорить с умным человеком

мониторинговые - они в малой части конечно пересекаются, но бОльшая часть это метрики которые делает железо, 3rd party софт и т.п.

исключение наверное общие метрики качества сервиса

которые одновременно и то и другое

У меня мозгов не хватит объяснить, надо поговорить с умным человеком

а вот яндекс пришел к выводу что лучше хранить все и сырое

а вот яндекс пришел к выводу что лучше хранить все и сырое

Это слишком просто

Первый этап, так сказать

В общем, это интересный разговор

почему ?

Если ты посчитаешь сколько раз нужно было смотреть какие из метрик, то среди данных с подходом "будем писать что есть, а потом разберемся" 90% данных никто никогда не запрашивал

среди бизнес-данных такой процент стремится к 0

@demeliorator а как понять сколько метрик собирает прометеус ?

среди бизнес-данных такой процент стремится к 0

Совершенно не факт, что ситуация не изменится

я ща в него ливанул все что есть

и хочут понять сколько это

@demeliorator а как понять сколько метрик собирает прометеус ?

У него же есть метрика, которая это экспортирует?

Прям на самом сервере глянь /metrics

ага. како йто селф скрепер есть.

а ок

ща

Совершенно не факт, что ситуация не изменится

ну как бы изменится - будем думать )

ну как бы изменится - будем думать )

Бггг, ну да

Бггг, ну да

ну а что еще остается? Пока среди бизнес-данных ненужных нет

а вот яндекс пришел к выводу что лучше хранить все и сырое

Ну вот в грэфайте явно же лежит не сырок

Ну вот в грэфайте явно же лежит не сырок

у них свой сторадж, там сырые данные без агрегации, аля эвенты

а запросы к ним преобразуют это все в обычные чиселки удобные для построения графиков

они там в какой-то момент подумали что у них есть своя column-based база для почти тех же целий (яндекс.метрика и отчеты там) и запилил на ее базе сторадж для графита

у них свой сторадж, там сырые данные без агрегации, аля эвенты

Нене, я не про них

Прям на самом сервере глянь /metrics

не одупляю что у него та мнадо считать

при загрузке говорит level=info msg="XXXXXX series loaded." source="storage.go:346" это оно ?

Нене, я не про них

А, это. Ну да.

в виспере не сырые данные, он не event-based совсем.

в виспере не сырые данные, он не event-based совсем.

Да, все так

prometheus_local_storage_memory_series видимо

Я говорю про прометеус

меня смущает что и сколько он хранит

Вообще по хорошему штука шлющая алерты по данным и графики это две разных системы. Но вот люди не хотя зоопарка

я не понимаю что он хранит сейчас

сказал ему выгребать метрики с Nsq

через телеграф

есть менение что он каждый опрос хочет получить даныне опвсем метрикам

и видимо я его не праивльно готовлю

Прометеусу через телеграф? Телеграф меня разочаровывает тем, что он на немного недоделанной либе основан

потому что нативного скрапера нету

у меня сть данные в nsq

над осзбрать данные от туда

ну это ладно. собственно чем собрать много что есть. посмотри ещё на colletcd. он выглядит древним как говно мамонта, но работает и главное зачастую имеет плагины, которых нет больше ни у кого

доделанные плагины так скажем

у него апстрим еще адекватный

у меня даже футболка от них есть )

что адекватное у кого?

upstream у collectd

если чо не так или кажется что баг можно пообщаться и его либо пофиксят либо объяснят почему это фича

задолбал меня collectd )

патчи охотно принимают

и всякое такое

короче в моей классификации это адекватный апстрим

ERROR: S client not available

те же инфлюксовцы не очень

если чо не так или кажется что баг можно пообщаться и его либо пофиксят либо объяснят почему это фича

Я в 2011 запихал туда модуль gstat для freebsd его так и не приняли. Потом кто-то скопипастил в итоге его внутри стандартного диск

Я в 2011 запихал туда модуль gstat для freebsd его так и не приняли. Потом кто-то скопипастил в итоге его внутри стандартного диск

ну у меня более хороший экспириенс в 2013 году был )

я им какие-то мелкие багфиксы слал

Плюс сделать модуль для collectd не проблема. А вот запихать его в этот простите аутотулс - это пиздец, простите.

они мне в ответ в конце года прислали письмо с благодарностью за вклад в развитие (пара патчей сводящихся к замене == на !=, ога) и футболку )

@demeliorator прометеус реально хочет каждый раз забрать все метрики и чекпоинтит пустую если ему не дали метрику ?

я им какие-то мелкие багфиксы слал

Ну багфиксы да, сразу приняли и даже код переоформили. Как мы Флориана во множественном числе :)))

Их даже на Lua заскриптовать нельзя до сих пор

они мне в ответ в конце года прислали письмо с благодарностью за вклад в развитие (пара патчей сводящихся к замене == на !=, ога) и футболку )

чйорт. а мне нет

@demeliorator прометеус реально хочет каждый раз забрать все метрики и чекпоинтит пустую если ему не дали метрику ?

Да

Метрики всегда должны быть

Их даже на Lua заскриптовать нельзя до сих пор

Кого?

у меня сейчас он за сутки потреил из за этой политики ненормально много места

40гигов против 9 у инфлукса

Кого?

Калектди

я и подумал что что то не так делаю

https://scontent-amt2-1.cdninstagram.com/t51.2885-15/s750x750/sh0.08/e35/10919729_765712100209058_2101302188_n.jpg?ig_cache_key=MTAyMjgxOTAwNjk3OTA1MzAyMw%3D%3D.2

40гигов против 9 у инфлукса

40 гигов метрик? Обалдеть

40гигов против 9 у инфлукса

у инфлюкса что-то типа дельта-компрессии данных ) так что может быть это из-за нее 9 вместо 40

у инфлукса мног овариантов компресси есть

но дельта есть и у прометеуса

и включена ка краз она

Вот меня кстати прометеус немного смущает линейными данными

но дельта есть и у прометеуса

А @demeliorator говорил что нет

https://prometheus.io/docs/operating/storage/

Type 2 is a variable bit-width encoding, i.e. each sample in the chunk can use a different number of bits. Timestamps are double-delta encoded, too, but with a slightly different algorithm. A number of different encoding schemes are available for sample values. The choice is made per chunk based on the nature of the sample values (constant, integer, regularly increasing, random…). Major parts of the type 2 encoding are inspired by a paper published by Facebook engineers: Gorilla: A Fast, Scalable, In-Memory Time Series Database.

получается что бы забирать данные из nsq надо серьезно поменять правила игры.

и сделать выгребание из очереди должно совпадать с периодом полного опроса всеъх железяк

не комильфо...

а. пушгейтвей же

А @demeliorator говорил что нет

Есть