Который просил по хуебайтам данных за 2 секунды строить любой отчет

А где ты видишь gp storage?

А виспер это щто?

А ES это щто?

А виспер это щто?

time-series сторадж, он нифига не general purpose

time-series сторадж, он нифига не general purpose

Конечно, он знает о problem domain и типах запросов

Ладно, это грустный разговор ни о чем

Спасибо, я все понял

Что?

ну это шуточка была.

Ваш кейс мы рассмотрим на ближайшем совещании

time-series сторадж, он нифига не general purpose

Я таки спрошу

Я таки спрошу

таки спроси

Правильно ли я понял, что текущий план управления данными в букинге - "давайте навалим все везде, а потом зазырим"?

Это не стыдно, это сейчас у всех так

Правильно ли я понял, что текущий план управления данными в букинге - "давайте навалим все везде, а потом зазырим"?

Смотря какими. Среди тех кто менеджит системы в общем да

т.е. мониторинг по принципу "мы валим кучу брахла, а потом мониторим или исследуем что нужно"

с бизнес-данными не так

Смотря какими. Среди тех кто менеджит системы в общем да

Это окей, но так все время продолжаться не может

но падают они все в один и тот же сторадж.

Это не стыдно, это сейчас у всех так

а это разве не правильно ?

Это окей, но так все время продолжаться не может

не может, но мониторинговые данные это меньше 10% общего потока

с бизнес-данными не так

А они не мигрируют из "не-бизнес" в "бизнес"?

и поэтому не вносят существенного вклада

а это разве не правильно ?

Отличный вопрос Нет, это не очень правильно

почему ?

не может, но мониторинговые данные это меньше 10% общего потока

Мне кажется, классификация данных по месту генерации не очень полно отражает их суть

А они не мигрируют из "не-бизнес" в "бизнес"?

М... никак в общем. Бизнес метрики производятся самим софтом который ранится где-то там или различными мап редьюсами и так далее.

почему ?

У меня мозгов не хватит объяснить, надо поговорить с умным человеком

мониторинговые - они в малой части конечно пересекаются, но бОльшая часть это метрики которые делает железо, 3rd party софт и т.п.

исключение наверное общие метрики качества сервиса

которые одновременно и то и другое

У меня мозгов не хватит объяснить, надо поговорить с умным человеком

а вот яндекс пришел к выводу что лучше хранить все и сырое

а вот яндекс пришел к выводу что лучше хранить все и сырое

Это слишком просто

Первый этап, так сказать

В общем, это интересный разговор

почему ?

Если ты посчитаешь сколько раз нужно было смотреть какие из метрик, то среди данных с подходом "будем писать что есть, а потом разберемся" 90% данных никто никогда не запрашивал

среди бизнес-данных такой процент стремится к 0

@demeliorator а как понять сколько метрик собирает прометеус ?

среди бизнес-данных такой процент стремится к 0

Совершенно не факт, что ситуация не изменится

я ща в него ливанул все что есть

и хочут понять сколько это

@demeliorator а как понять сколько метрик собирает прометеус ?

У него же есть метрика, которая это экспортирует?

Прям на самом сервере глянь /metrics

ага. како йто селф скрепер есть.

а ок

ща

Совершенно не факт, что ситуация не изменится

ну как бы изменится - будем думать )

ну как бы изменится - будем думать )

Бггг, ну да

Бггг, ну да

ну а что еще остается? Пока среди бизнес-данных ненужных нет

а вот яндекс пришел к выводу что лучше хранить все и сырое

Ну вот в грэфайте явно же лежит не сырок

Ну вот в грэфайте явно же лежит не сырок

у них свой сторадж, там сырые данные без агрегации, аля эвенты

а запросы к ним преобразуют это все в обычные чиселки удобные для построения графиков

они там в какой-то момент подумали что у них есть своя column-based база для почти тех же целий (яндекс.метрика и отчеты там) и запилил на ее базе сторадж для графита

у них свой сторадж, там сырые данные без агрегации, аля эвенты

Нене, я не про них

Прям на самом сервере глянь /metrics

не одупляю что у него та мнадо считать

при загрузке говорит level=info msg="XXXXXX series loaded." source="storage.go:346" это оно ?

Нене, я не про них

А, это. Ну да.

в виспере не сырые данные, он не event-based совсем.

в виспере не сырые данные, он не event-based совсем.

Да, все так

prometheus_local_storage_memory_series видимо

Я говорю про прометеус

меня смущает что и сколько он хранит

Вообще по хорошему штука шлющая алерты по данным и графики это две разных системы. Но вот люди не хотя зоопарка

я не понимаю что он хранит сейчас

сказал ему выгребать метрики с Nsq

через телеграф

есть менение что он каждый опрос хочет получить даныне опвсем метрикам

и видимо я его не праивльно готовлю

Прометеусу через телеграф? Телеграф меня разочаровывает тем, что он на немного недоделанной либе основан

потому что нативного скрапера нету

у меня сть данные в nsq

над осзбрать данные от туда

ну это ладно. собственно чем собрать много что есть. посмотри ещё на colletcd. он выглядит древним как говно мамонта, но работает и главное зачастую имеет плагины, которых нет больше ни у кого

доделанные плагины так скажем

у него апстрим еще адекватный

у меня даже футболка от них есть )

что адекватное у кого?

upstream у collectd

если чо не так или кажется что баг можно пообщаться и его либо пофиксят либо объяснят почему это фича

задолбал меня collectd )

патчи охотно принимают

и всякое такое