Vasily будет жить. Поприветствуем!

@greynix будет жить. Поприветствуем!

При использовании большинства коллекторов с каждого сервера намывает под 1000 уникальных метрик, ЕМНИП, и опять же ЕМНИП, стандартный интервал - 10 сек, не? Ну и единственный инстанс Akumuli на самом дешевом arm сервере за 5 баксов в месяц вытянет до 100К значений в секунду ?

> При использовании большинства коллекторов с каждого сервера намывает под 1000 уникальных метрик В нашем node-exporter'е - 417 метрик на сервер: avg(count({job="node-exporter"}) by (cluster_retention, cluster_num, service, instance)) > опять же ЕМНИП, стандартный интервал - 10 сек, не? Стандартный интервал сбора метрик в прометеусе - 60 секунд - см. https://prometheus.io/docs/prometheus/latest/configuration/configuration/#configuration-file . > Ну и единственный инстанс Akumuli на самом дешевом arm сервере за 5 баксов в месяц вытянет до 100К значений в секунду А хранилище для 100к*3600*24*30=260 миллиардов значений тоже укладывается в 5 баксов в месяц вместе с сервером? :)

> При использовании большинства коллекторов с каждого сервера намывает под 1000 уникальных метрик В нашем node-exporter'е - 417 метрик на сервер: avg(count({job="node-exporter"}) by (cluster_retention, cluster_num, service, instance)) > опять же ЕМНИП, стандартный интервал - 10 сек, не? Стандартный интервал сбора метрик в прометеусе - 60 секунд - см. https://prometheus.io/docs/prometheus/latest/configuration/configuration/#configuration-file . > Ну и единственный инстанс Akumuli на самом дешевом arm сервере за 5 баксов в месяц вытянет до 100К значений в секунду А хранилище для 100к*3600*24*30=260 миллиардов значений тоже укладывается в 5 баксов в месяц вместе с сервером? :)

260млрд значений это чуть больше террабайта. Это не должно быть дорого. Это в рамках того, что можно сделать на моем ультрабуке :)

В гугл клауде, где мы хостимся, терабайт HDD стоит 40 баксов в месяц, SSD - 170 баксов в месяц. https://cloud.google.com/compute/pricing#disk . Добавьте сюда репликацию / бэкапы, и уже никак не выйдет 5 баксов

В гугл клауде, где мы хостимся, терабайт HDD стоит 40 баксов в месяц, SSD - 170 баксов в месяц. https://cloud.google.com/compute/pricing#disk . Добавьте сюда репликацию / бэкапы, и уже никак не выйдет 5 баксов

Если мне не изменяет память, то у вас 30$ за год и 100$ за пять лет стоят 1к точек в секунду. А в моем случае мы считаем для 100к в секунду ?

ваши предложения для бизнес-метрик, учитывая, что приложуха их отдает в том же прометей-формате?

Согласен

господа, а с помощью prometheus как можно мониторить запущен ли определенный процесс , вариант который я нашел это агент telegraf , который выполняет переодично pgrep

Есть process_exporter

если процесс запущен через systemd, то есть чек в node_exporter

Если мне не изменяет память, то у вас 30$ за год и 100$ за пять лет стоят 1к точек в секунду. А в моем случае мы считаем для 100к в секунду ?

Давайте подсчитаем стоимость хранилища для 100к точек в секунду (mvps). Вы прикинули, что для хранения данных за месяц нужен 1 ТБ, который в гугл клауде стоит либо $40 в месяц на HDD либо $170 в месяц на SSD. Стоимость хранения данных, собранных за месяц, в течение пяти лет будет равна минимум $40*12*5=$2400. Умножаем на 2 для репликации / бекапов. Получаются минимальные ежемесячные затраты на хранение 100к mvps данных с пятилетним ретеншном - $4800, или $48 для 1k mvps. Накинем сюда сопутствующие расходы на компы с сетевым трафом - выйдет недалеко от $100. А если захотите SSD вместо HDD, то в $100 не получится уложиться.

В таносе ты просто хранишь историю в s3

Заметно дешевле будет

терабайт в s3 стоит $23 в месяц - https://aws.amazon.com/s3/pricing/ . Дешевле будет только в два раза. Если не делать репликацию, то в четыре раза. Но для этого нужно заморачиваться с настройкой и поддержанием в рабочем состоянии всей инфраструктуры таноса, которая изображена серыми квадратиками вот тут - https://d33wubrfki0l68.cloudfront.net/625f453382ddb31c8592aa59ac93fe4b5dae7cc3/9d3fe/static/images/blog/2018-07-26-monitoring-monzo/monitoring_1.png .

и у s3 еще платный доступ к данным

$2 за чтение терабайта данных

Это очередной заход наглого продователя "слона"? вроде ж в прошлый раз решили что бесполезно?

Это очередной заход наглого продователя "слона"? вроде ж в прошлый раз решили что бесполезно?

почему бесполезно? Вы не хотите избавиться от головняка с управлением локальным хранилищем данных прометеуса - бэкапы, репликация, retention, capacity planning, stateful pods in k8s - и переложить это все на сторонний недорогой сервис типа VictoriaMetrics?

так нет головняка, сетап давно просто работает, не нужно комерческое решение, а если нужно быстро начать есть решения вроде https://freshtracks.io/product/

может кто и хочет. очевидно что маркетинг какой-то слишком агрессивный

почему бесполезно? Вы не хотите избавиться от головняка с управлением локальным хранилищем данных прометеуса - бэкапы, репликация, retention, capacity planning, stateful pods in k8s - и переложить это все на сторонний недорогой сервис типа VictoriaMetrics?

так вот же https://cloud.google.com/stackdriver/

Алиаксандр а чего есть почитать на нейтральной площадке типа хабра?

так вот же https://cloud.google.com/stackdriver/

там нет ремоут стореджа для прометеуса :(

Алиаксандр а чего есть почитать на нейтральной площадке типа хабра?

пока ничего. Готовится первая статья

попробуй сравнить продвигаемое решение с тем, что уже давно есть на рынке, решением от weave.works, robustperseption...

так нет головняка, сетап давно просто работает, не нужно комерческое решение, а если нужно быстро начать есть решения вроде https://freshtracks.io/product/

спасибо за ссылку. Вроде что-то интересное

пожалуйста )

попробуй сравнить продвигаемое решение с тем, что уже давно есть на рынке, решением от weave.works, robustperseption...

сравнивали. Все похожие ремоут сторедж решения для прометеуса - m3, thanos и cortex - сложнее в настройке и дальнейшем сопровождении. Вот тут подробности - https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/FAQ

Насколько сложнее?

И избавление от вендор-лока в коробке

Насколько сложнее?

Настройка VictoriaMetrics выглядит так: вы прописываете remote_write урл в конфиге прометеуса. Все. После этого прометеус пишет данные одновременно в локальный сторедж и в ремоут сторедж, так что все ваши локальные данные никуда не исчезают. Потом, когда убедитесь в надежности ремоут стореджа, можете уменьшить ретеншн для локал стореджа прометеуса до минимального возможного - 2 часа, и перевести прометеус в stateless pod в кубернетсе. Теперь все данные будут записываться в ремоут сторедж. Настройка thanos - вы должны создать и управлять серыми квадратиками с картинки https://d33wubrfki0l68.cloudfront.net/625f453382ddb31c8592aa59ac93fe4b5dae7cc3/9d3fe/static/images/blog/2018-07-26-monitoring-monzo/monitoring_1.png Настройка m3 - нужно создать и управлять похожими квадратиками, как и в thanos - https://m3db.github.io/m3/introduction/components/components/ Настройка cortex - нужно создать и управлять какими-то компонентами из проекта с говорящим названием "Project Frankenstein" - https://docs.google.com/document/d/1C7yhMnb1x2sfeoe45f4mnnKConvroWhJ8KQZwIHJOuw/edit#heading=h.f7lkb8wswewc

TLDR: VictoriaMetrics - это суперпросто, а у остальных какие-то сложные квадратики

TLDR: VictoriaMetrics - это суперпросто, а у остальных какие-то сложные квадратики

?

Да если это тот же товарищ, то он мало адекватен реальности, главный вопрос, нахрена в этих всех схемах их суперский сервис и плата именно им

Да если это тот же товарищ, то он мало адекватен реальности, главный вопрос, нахрена в этих всех схемах их суперский сервис и плата именно им

предложите альтернативы, такие же удобные в настройке, как наш сервис

а если не предложим?

предложите альтернативы, такие же удобные в настройке, как наш сервис

Конечно же Z

там даже еластик вон привезли

А какие требования к альтернативам? А то ведь можно просто influxdb запустить и указать как remote storage

Давайте подсчитаем стоимость хранилища для 100к точек в секунду (mvps). Вы прикинули, что для хранения данных за месяц нужен 1 ТБ, который в гугл клауде стоит либо $40 в месяц на HDD либо $170 в месяц на SSD. Стоимость хранения данных, собранных за месяц, в течение пяти лет будет равна минимум $40*12*5=$2400. Умножаем на 2 для репликации / бекапов. Получаются минимальные ежемесячные затраты на хранение 100к mvps данных с пятилетним ретеншном - $4800, или $48 для 1k mvps. Накинем сюда сопутствующие расходы на компы с сетевым трафом - выйдет недалеко от $100. А если захотите SSD вместо HDD, то в $100 не получится уложиться.

Droplet в DO - 5$ + 150GB volume - 15$ + backups - 1$ в месяц. Это если мы говорим про 1к с ретеншеном в один год.

сравнивали. Все похожие ремоут сторедж решения для прометеуса - m3, thanos и cortex - сложнее в настройке и дальнейшем сопровождении. Вот тут подробности - https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/FAQ

У вас там в демо дашборде данные только за сутки можно посмотреть.

А какие требования к альтернативам? А то ведь можно просто influxdb запустить и указать как remote storage

главное требование - чтобы вм получили бобло

Настройка VictoriaMetrics выглядит так: вы прописываете remote_write урл в конфиге прометеуса. Все. После этого прометеус пишет данные одновременно в локальный сторедж и в ремоут сторедж, так что все ваши локальные данные никуда не исчезают. Потом, когда убедитесь в надежности ремоут стореджа, можете уменьшить ретеншн для локал стореджа прометеуса до минимального возможного - 2 часа, и перевести прометеус в stateless pod в кубернетсе. Теперь все данные будут записываться в ремоут сторедж. Настройка thanos - вы должны создать и управлять серыми квадратиками с картинки https://d33wubrfki0l68.cloudfront.net/625f453382ddb31c8592aa59ac93fe4b5dae7cc3/9d3fe/static/images/blog/2018-07-26-monitoring-monzo/monitoring_1.png Настройка m3 - нужно создать и управлять похожими квадратиками, как и в thanos - https://m3db.github.io/m3/introduction/components/components/ Настройка cortex - нужно создать и управлять какими-то компонентами из проекта с говорящим названием "Project Frankenstein" - https://docs.google.com/document/d/1C7yhMnb1x2sfeoe45f4mnnKConvroWhJ8KQZwIHJOuw/edit#heading=h.f7lkb8wswewc

Танос - не просто remote_write, он ещё и читать это умеет

У вас там в демо дашборде данные только за сутки можно посмотреть.

вчера просто напоролись на багу, которая удалила все старые данные :( Багу пофиксили, так что больше такого не должно быть

предложите альтернативы, такие же удобные в настройке, как наш сервис

Люди хотят не просто архивировать метрики, но и уметь их читать. Танос решает эту задачу

Droplet в DO - 5$ + 150GB volume - 15$ + backups - 1$ в месяц. Это если мы говорим про 1к с ретеншеном в один год.

проблема в том что DO это такой VPS хостинг для не очень богатых, но горячих на голову)

Конечно же Z

?

то есть в продакшене его использовать стоит с осторожностью и думая о каждом своем действии

проблема в том что DO это такой VPS хостинг для не очень богатых, но горячих на голову)

А нам норм :)

Правда у нас там не прод

вчера просто напоролись на багу, которая удалила все старые данные :( Багу пофиксили, так что больше такого не должно быть

сукцесс стори, так и подмывает стать вашим клиентом

проблема в том что DO это такой VPS хостинг для не очень богатых, но горячих на голову)

смешно

Танос - не просто remote_write, он ещё и читать это умеет

VictoriaMetrics тоже умеет читать - https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/ExtendedPromQL

А использует ли кто-нибудь snmp-exporter для прометея? Девайс отдаёт значение latency в виде строки, и exporter пишет его как метку. Что-то не пойму, как это значение конвертировать в число

VictoriaMetrics тоже умеет читать - https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/ExtendedPromQL

Я могу сделать одну точку входа?

проблема в том что DO это такой VPS хостинг для не очень богатых, но горячих на голову)

типа хецнера? :))))

А зачем мне платить вам, если танос разворачивается одним вызовом kubectl/helm?

При прочих равных я бы взял опенсорс решение

Даже если вы не хуже

сукцесс стори, так и подмывает стать вашим клиентом

так мы еще в тестовом режиме. Прода еще нет

ERROR: S client not available

В чём лично я сомневаюсь

Я могу сделать одну точку входа?

да, можно использовать данные, собранные с разных прометеусов, в одном запросе, при условии, что у всех этих прометеусов указан одинаковый remote_write урл.

aka global querying view

Почитайте как работает танос

Там нет remote_write, там эффективнее

А зачем мне платить вам, если танос разворачивается одним вызовом kubectl/helm?

даже если танос развернуть в кубере, этот кубер-кластер нужно где-то хостить, его нужно мониторить, обновлять, делать capacity planning, etc.

Ну у тебя же мониторинг - не самоцель

Он что-то мониторит, какие-то твои класеры и вот это всё

При прочих равных я бы взял опенсорс решение

у нас будет опенсорс решение, но попозже, когда утрясутся все детали архитектуры

ну вот тогда и приходите ;)

опенсорц, если что работает не так

Там нет remote_write, там эффективнее

может, sidecart'ы эффективнее собирают данные из локал стореджа прометеуса, но зато с точки зрения operational overhead прописать один remote_write урл намного проще, чем устанавливать sidecart'ы и постоянно следить за их правильной работой

Нет, это одинаково просто

Ну и лучше всё-таки если бы пришёл технический спец, а ре маркетинг

тут правда ретеншн короткий

Технарь правильно бы написал sidecar

Ну и лучше всё-таки если бы пришёл технический спец, а ре маркетинг

а ты надеешься что он там есть? :)

Технарь правильно бы написал sidecar

+1

Технарь правильно бы написал sidecar

ой, точно :)

Можно лучше кого-нибудь из ваших инженеров сюда привести?

Желательно тех, кто умеет работать со всякими кубернетисами

немного не понял, что вы хотели сказать этим скриншотом

Можно лучше кого-нибудь из ваших инженеров сюда привести?

у них нет времени на чаты - они пишут код :)

Ну-ну

Может быть с точки зрения менеджера это так выглядит

вот взял и спалил чуваков

пойду проверю, чем они там занимаются. Повыгоняю к чертям собачьим, если они не пишут код, а сидят в фейсбуке или телеграмме

Я вот тоже инженер вроде, но пофлудить в чяте у меня время есть

пойду проверю, чем они там занимаются. Повыгоняю к чертям собачьим, если они не пишут код, а сидят в фейсбуке или телеграмме

Стереотипный эффективный менеджмент