1 и 2 - похоже на общую проблему JVM GC tuning, не специфичную для ES воткните метрики на общий размер heap и на GC times, и настраивайте

попробуем. спасибо

yandex/ClickHouse was tagged: v1.1.54385-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54385-stable Release notes: v1.1.54385-stable

Уважаемые подскажите какой remote storage лучше выбрать для prometheus?

Мне кажется что самый популярный ответ - это graphite, сам еще не тестировал, но говорят, что для того чтобы писать не все метрики, а избирательно, существующие адаптеры надо подпиливать. Но вопрос актуальный, тоже прошу поделиться опытом

Мы провели несколько тестов отправки метрик(с лейблами) из прома в графит через экспортер, и увидели что Пром стал в ~4 раза больше жрать проц, с 3 ядер до 10-12. Экспортер, с включенной фильтрацией, выжерает ~2 ядра; с отправкой вообще всех метрик ~10 ядер, что конечно вообще ппц. В конечном счёте мы решили поднять ещё один инстанс прома в качестве федерации, с интервалами сбора метрик равного графиту, фильтрацией, и отправкой всех метрик в экспортер, а тот в свою очередь в графит. В понедельник думаю расскажу о результатах

В графите метрики чувствуют себя хорошо ;) В Графане выглядят примерно так же как из прома. Подробнее тут: http://graphite.readthedocs.io/en/latest/tags.html

КликХаус отлично шардирует эти данные, поэтому запихнуть метрик из прома можно очень много. Думаю что конкретные числа смогу озвучить где-то через месяц.

Мы провели несколько тестов отправки метрик(с лейблами) из прома в графит через экспортер, и увидели что Пром стал в ~4 раза больше жрать проц, с 3 ядер до 10-12. Экспортер, с включенной фильтрацией, выжерает ~2 ядра; с отправкой вообще всех метрик ~10 ядер, что конечно вообще ппц. В конечном счёте мы решили поднять ещё один инстанс прома в качестве федерации, с интервалами сбора метрик равного графиту, фильтрацией, и отправкой всех метрик в экспортер, а тот в свою очередь в графит. В понедельник думаю расскажу о результатах

под go pprof не смотрели на пром ?

под go pprof не смотрели на пром ?

Конкретно я , нет. Облачные парни, хз. Спросил у них. Как ответят напишу.

В графите метрики чувствуют себя хорошо ;) В Графане выглядят примерно так же как из прома. Подробнее тут: http://graphite.readthedocs.io/en/latest/tags.html

graphite-web вместо carbonapi пришлось поставить?

graphite-web вместо carbonapi пришлось поставить?

Нет, carbonapi чуть чуть пропатчили.

Нет, carbonapi чуть чуть пропатчили.

Так всегда ) самое интересное за кадром

Так всегда ) самое интересное за кадром

Это нюансы, @Civiloid думаю поддержит этот функционал в carbonapi "из коробки"

https://blog.timescale.com/time-series-data-cassandra-vs-timescaledb-postgresql-7c2cc50a89ce

Это нюансы, @Civiloid думаю поддержит этот функционал в carbonapi "из коробки"

Pr сделайте

https://blog.timescale.com/time-series-data-cassandra-vs-timescaledb-postgresql-7c2cc50a89ce

Ни намека на тестовые данные или хоть что-то, что позволит сделать сравнение самостоятельно

Это нюансы, @Civiloid думаю поддержит этот функционал в carbonapi "из коробки"

Я сам просто не знаю когда доберусь до реализации. У меня ж не на чем больше тестировать, а тестовый стенд дома я не собрал

Кстати есть какой то общепринятый способ делать service discovery для carbonapi \ carbonzipper

?

Кстати есть какой то общепринятый способ делать service discovery для carbonapi \ carbonzipper

Zipper конфигурится со всеми доступными сторами и в принципе перенастройки требует только при расширении. Carbonapi ставится на том же хосте где и zipper и нагрузку на него балансирует любой доступный loadbalancer. Получается, что между carbonapi и carbonzipper discovery и не нужен. Нуи кроме того https://github.com/go-graphite/carbonapi/issues/321

Zipper конфигурится со всеми доступными сторами и в принципе перенастройки требует только при расширении. Carbonapi ставится на том же хосте где и zipper и нагрузку на него балансирует любой доступный loadbalancer. Получается, что между carbonapi и carbonzipper discovery и не нужен. Нуи кроме того https://github.com/go-graphite/carbonapi/issues/321

А если сторы как бы быстро появляются, и иногда исчезают?

А если сторы как бы быстро появляются, и иногда исчезают?

У нас wisper и go-carbon

А если сторы как бы быстро появляются, и иногда исчезают?

А что у Вас?

А что у Вас?

carbon-clickhouse, clickhouse, graphite-clikhouse (это вместо go-carbon) и много баз в кликхаусе, именно поэтому интересно sd

carbon-clickhouse, clickhouse, graphite-clikhouse (это вместо go-carbon) и много баз в кликхаусе, именно поэтому интересно sd

По идее, если ноды пропадают не навсегда, то sd не сильно меняет ситуацию. Поскольку у нас graphite важная часть мониторинга, то мы осознанно стараемся его делать минимально зависимым от работоспособности других сервисов.

Господа, а может есть у кого нибудь в графане графики которые строятся более чем по 50к значений? Если есть, то долго ли рисуются и на каком железе?

Господа, а может есть у кого нибудь в графане графики которые строятся более чем по 50к значений? Если есть, то долго ли рисуются и на каком железе?

Есть, быстро рисуются (секунды), стек с clickhouse.

50к значений

По идее, если ноды пропадают не навсегда, то sd не сильно меняет ситуацию. Поскольку у нас graphite важная часть мониторинга, то мы осознанно стараемся его делать минимально зависимым от работоспособности других сервисов.

Это имеет смысл только когда другие части ещё менее надёжны.

что там можно увидеть? или это аггрегации?

Есть, быстро рисуются (секунды), стек с clickhouse.

а на каком железе, если не секрет

А если сторы как бы быстро появляются, и иногда исчезают?

Там сейчас нет поддержки обновления конфига на лету. Есть впрочем graceful рестарт по образу и подобию nginx. Теоретически можно относительно просто приделать хранение конфига в консуле или etcd

Библиотека которая читает конфиг это умеет

Там сейчас нет поддержки обновления конфига на лету. Есть впрочем graceful рестарт по образу и подобию nginx. Теоретически можно относительно просто приделать хранение конфига в консуле или etcd

Я вот про консул как раз и думал.

Но я не очень понимаю юзкейс

Если базы часто появляются ненадолго, кажется что графит выбран зря

а на каком железе, если не секрет

Обычные серваки, Intel v4 серия 2.2ггц , памяти 128гб диск ssd, хотя он не нагружен совсем с clickhouse думаю и обычный raid 10 из hdd будет норм.

Или что то сломано у вас by design

Обычные серваки, Intel v4 серия 2.2ггц , памяти 128гб диск ssd, хотя он не нагружен совсем с clickhouse думаю и обычный raid 10 из hdd будет норм.

Спасибо.

не, базы не дохнут часто, но появляются достаточно быстро

можно кончено ansible обойтись

Господа, а может есть у кого нибудь в графане графики которые строятся более чем по 50к значений? Если есть, то долго ли рисуются и на каком железе?

я пробовал, для графаны не проблема, но браузер начинает тупить и жрать память

я пробовал, для графаны не проблема, но браузер начинает тупить и жрать память

смотрю на процесс браузера. не начало жрать)

@alexanderzobnin

это как ?

как это вообще работает?

отсюда https://monitor.gitlab.net/dashboard/db/github-importer?orgId=1

других запросов в том графике вроде нет

да я туда же смотрю тоже

я остальным контекст скидываю

"datasource": "Prometheus on prometheus-app-01",

там ниже есть запрос в инфюкс

с букв select начинается

ага

но датасорсом выбран прометей

кажется это какой-то мусор в графане в жсоне остаётся если переключать датасорсы

ERROR: S client not available

датасорс называется прометей

а тип таки инфлюкс

ну да

отсюда https://monitor.gitlab.net/dashboard/db/github-importer?orgId=1

request error’ы везде

request error’ы везде

всё в порядке. его сейчас много кто сношает.

что то поди мигрируют

думаю это стресс тест промо/инфлюкса

кто то копался, что то интересное у них там есть, а то что то дашбордов много, но вот этот с экспортом, какой то позорный

он вчера еще был бесполезный и никто его не юзал

для галки нарисовали

это, как его. hit by wonder короче

@freeseacher api/datasources/proxy/2/api/v1/query_range?query=sum(rate(github_importer_imported_repositories%7Benvironment%20%3D%20%22prd%22%7D%5B1h%5D)%20*%203600)&start=1528036145&end=1528122545&step=3600

всё-таки прометей

там ниже есть 2. они особенно ржачные.

рейтлимит хитс

это же как бы про то что гх сопротивляется ага ?

ну там просто у них помимо, список, устанеш мотать

@Civiloid в carbonzipper есть аналог sendGlobsAsIs: true maxBatchSize: 100000

?

Зиппер просто маршутизирует запросы (последний стейбл)

В том что в мастере есть

Но в нем вероятно есть баги

Ребята, кто делал миграцию с MySQL/PostgreSQL на AWS?

Ребята, кто делал миграцию с MySQL/PostgreSQL на AWS?

Не тот чат

Тут могут помочь померять результаты

Отличный ответ :)

за деньги