да это мне пофиг, у меня заббикс) мне нужет совет именно по части сбора данных

ну т.е. спасибо

соболезную :)

ну т.е. спасибо

я предупреждал...

@sdfgh153 чем кстати тебя инфлюкс прогневал?

Говна кусок :)

@sdfgh153 чем кстати тебя инфлюкс прогневал?

медленный, начал лютейшим образом лагать когда rps подрос

хм. так егож типа как и позиционируют, что "мы держим дохера рпс"

тебе про боль от инфлюкса больше @freeseacher расскажет

особенно про то, как он держит дохера rps

и не падает :)

хм. так егож типа как и позиционируют, что "мы держим дохера рпс"

я уже не хчу про него рассказывать.

ну а вкратце?

но мне почему то хочется что бы люди продолжали вступать в эту какашку.

репортить баги

и джоинится к проекту

вдруг среди новеньких будут люди которые умеют програмимровать ?

на скольки примерно он у тебя проблемы доставлять начинал?

смотря какие

циклические ребуты при любой нештаной ситуации. тулинга для починки битой базы нет

@ha_ff я тестировал последний раз правда не 1.0, а 0.9, но оно по количеству всасываемых данных сосет у графита на обычном питоне

базу можно разбить неловким движеним

в цпу быстрее упирается

т.е. если carbon-cache, написанный на питоне спокойно просасывает 90к метрик в секунду на хост

част ьбагов которые я им репортил летом и весной они не так давно пофиксили

то инфлюксу на 75к сносит крышу

там речь не про rps вовсе

и это только на запись

тьфу, 0.11 а не 0.9

на 0.9 все было еще хуже

там речь про то что запросы из базы огут занимать по 19 секунд.

по то что база может не поднятся после рестарта

19? а большая выборка?

ой да давайте не будем

))

19? а большая выборка?

нет 6 часов

по одной метрике

на ssd

охренеть

объем данных не очень большой

@ha_ff на чтение я тыкал 0.8, он там отставал от виспера на 2-3 порядка по времени запросов

можно пг юзать и попроворнее будет

/dev/mapper/vg00-influx 210G 126G 85G 60% /data/influx 7дневная база

как я понимаю они много чего подтюнили с тех пор, но все равно 1 порядок разницы наберется

его плюс в том что диск он почти не трогает и места мало жрет база

не стоит брать инфлюкс.

@freeseacher ну 7 дней тоже растяжимое понятие. но судя по эмоциям - там не очень много метрик?))

ну короч в целом понял. спасибо

хотя есть и положительные моменты

data/metrics # du -d1 11G ./influxdb 11G ./prom

@ha_ff в общем и целом инфлюкс - очень перспективная база

на 30 дневной базе для мониторнга кластера

годика через два она станет хорошей, возможно

правда я то же самое говорил два года назад

годика через два она станет хорошей, возможно

но кластеризации уже не будет

кластеризация за деньги, да

да не, я инфлюкс так то смотрел,читал,щупал. просто не пробовал вообе под нагрузкой

это отстой

неделю назад было соотношение 9,1 инфлюкс простив 9,7 пром

вероятнее кликхаус запилят быстрее

ну кликхаус всеж специфичен

еще более

у них ниши пересекаются

по факту

не полностью

но очень ощутимо

у инфлюкса всеж сфера больше, мне кажется. ну короче посмотрим

ERROR: S client not available

че гадать

по карайней мере кликхаус тащить будут

а инфлюкс, как я понимаю, не имеет под собой тех, кому он жизненно нужен

В кликхаусе будет проблема с правкой метрик я думаю

Иногда там приходится сливать ррдшки и все такое

на этом канале, как и на многих других — скорее всего тебе предложат не мониторить что либо заббиксом.

А можно я тоже предложу?:)

да, конечно

тут такое специальное место для предложения не пользовать заббикс

у инфлюкса всеж сфера больше, мне кажется. ну короче посмотрим

чем больше?

file beats? Heka?

heka больше не поддерживается мозиллой -- пулл-реквесты от сообщества мержат, но сами ее не развивают

А так в двух словах -- TOML для конфигурации несколько вырвиглазный, его лучше генерировать. Если Lua/LPEG знаешь (они простые), можно написать какой хочешь декодер. По этой же причине обработки достаточно быстрые. В "пустом" режиме без обработок (просто взять-отдать по TCP) хека у меня прокачивала что-то около 1к сообщений в секунду на c4.large

Есть графит + графана - возможно ли как то замутить дашборд с версиями приложений с хостов? На ум приходит только отправлять версию в отдельном поле и потом это как то отрисовать в графане- делал кто-нибудь что подобное?

Есть графит + графана - возможно ли как то замутить дашборд с версиями приложений с хостов? На ум приходит только отправлять версию в отдельном поле и потом это как то отрисовать в графане- делал кто-нибудь что подобное?

да скриптед шашборд

делай app.js

дергай его

в нем дергай нужные тебе ссылки для формирвоания нужного тебе дашика

Только каждая версия будет отдельным таймсериес

Типа `superduper_app{version="1.2.3"} = 5`

Я в js не очень, читать могу ) если уже есть можете поделиться хотябы скелетом скрипта ?

Есть графит + графана - возможно ли как то замутить дашборд с версиями приложений с хостов? На ум приходит только отправлять версию в отдельном поле и потом это как то отрисовать в графане- делал кто-нибудь что подобное?

это не задача графита рисовать версию )

это не задача графита рисовать версию )

Так так) варианты? Zabbix не предлагать)

Так так) варианты? Zabbix не предлагать)

Тебе в каком виде это нужно?

Просто напрашиваются аннотации по какому нибудь эластик серчу

Иди панель делающая поиск по эластик серчу

Я смотрел на анотации графитовские не знаю только будет ли это работать в связке с graphite-API + go-carbon. Получить нужно экран со списком app - version и возможность выбора хоста, последнее с помощью template знаю как сделать. Эластик это все же ещё одна система, по возможности хотел обойтись чем есть.

мы слали версию как метрику но приходилось её конвертить

Я смотрел на анотации графитовские не знаю только будет ли это работать в связке с graphite-API + go-carbon. Получить нужно экран со списком app - version и возможность выбора хоста, последнее с помощью template знаю как сделать. Эластик это все же ещё одна система, по возможности хотел обойтись чем есть.

Просто графит плохо подходит под такое. У графит-апи, насколько я помню, нет поддержки аннотаций

Нужен graphite-web

И база данных соответственно

А значит что можно и эластик взять

Имхо

Пока других хотелок кроме как версии нету, поэтому наверное пока без эластика, но все равно спасибо!