http://opentsdb.net/docs/build/html/user_guide/query/index.html

А в графане ? )

Загадка блин

@Civiloid Подскажи, пожалуйста, твой бот в личку тоже писать будет или нужно только захардоженный список?

@Civiloid Подскажи, пожалуйста, твой бот в личку тоже писать будет или нужно только захардоженный список?

я пока это отключил

Ясно, спасибо)

потому что народ /subscribe'ы пустые писал

так ваще умеет

даже новые подписки добавлять

на выходных попробую заставить его получать списки админов чата

и тогда верну подписки в личку

а что вместо node_exporter для прометея рекомендуют использовать ?

а зачем вместо?

откуда-то в моем сознании информация что он может быть бажным

я вот и решил освежить сведения уточнив у коллег

откуда-то в моем сознании информация что он может быть бажным

телеграф был

и остается

а т/е я с телеграфом спутал, а экспортер вполне ко ?

ок;

да, проблем нету

ждешь новый оом? )

ты уже написал скрипт который динамически добавляет свопа?

у меня больше нет ресурсов там для свопа.

но всё хуже. из за свопа скорость записи упала в него так что сейчас он почти не пишет.

с 100-150 к метрик в секунду до 70-77.

а когда компакт был?

но у меня поток в 75.

так что цирк кончился.

у меня шарды по 6 часов. из-за того что открытых шардов более одного столько поюзано памяти. компакт вызываетя при не записи в шард в течении получаса. но какие данные лежат в очереди я хз.

прогнозируешь оом очередной?

и самое обидное, что делать особо нечего

нет не прогнозирую, согласовываю потерю данных.

Денех платить, денех. Не для того инфлакс писан, чтоб вы его на халяву юзали. Обожаю такой опенсорс.

Мож его как то руками распилить/собрать? был же вроде какой то релей?

Денех платить, денех. Не для того инфлакс писан, чтоб вы его на халяву юзали. Обожаю такой опенсорс.

а ты думаешь он за деньги работает лучше? :)

данные то не очень ценны. они есть во второй базе.

просто там ретеншен 7 дней.

а эта толстая. 90 дневная

если бы не кх меня ждал бы увлекательный процес слияния двух баз :)

Распиливают инстатнс на 20-30 машин - таких глюков нет. Появляются другие, но таких нет. :)

Распиливают инстатнс на 20-30 машин - таких глюков нет. Появляются другие, но таких нет. :)

но ведь 75к метрик в секунду это как бы ни о чем нагрузки то )

Ну насколько я понял там дело не в RPS а в кардиналити тех 26 миллионов того что уже в базе

Инфлакс это не оправдывает конечно :)

Ну насколько я понял там дело не в RPS а в кардиналити тех 26 миллионов того что уже в базе

это причина ООМа, но не непредсказуемых пауз )

у @freeseacher же две жалобы - ООМ приходит из-за кардиналити

и компакшн ставит базу раком на пару минут периодически из-за 75к в секунду

А, не знал про компакшен. За такое только расстрел конечно.

нее. компакшен ставит базу раком на _неопределенное_ время.

максимум были минуты.

но в целом обычно всё пристойно

1,2,4 таки не 0,13.

0,13 эта была песня матерная

ну и на таких объемах не возможны или сильно ограничены эксперименты по различным тюнингам.

ибо HUP нету. и нужен рестарт базы

а еще очень хочется сахара. типа текущие job-ы. типа делаю компакт такой то. форсирование компакта такое вот в общем

А кто начал использовать clickhouse под graphite метрики чем переливали данные ?

Я к тому что если уже есть велосипед поделитесь ;)

@rlomonosov

у тебя ж был?

нет. я накидал скриптик на основе whisper-dump, перелил и выбросил

есть вот такая тулза от человека, который тоже переливал в кх - https://github.com/bzed/whisper-to-graphite сам не тестил

ERROR: S client not available

есть вот такая тулза от человека, который тоже переливал в кх - https://github.com/bzed/whisper-to-graphite сам не тестил

Спасибо!

народ, нетфлоу в прометей никто не льет?

Спасибо!

Вообще при переливке в кх есть нюанс - если просто по-очереди брать висперы, дампить и отправлять в карбон, то оно будет одновременно писать сразу во все партиции КХ и он может затупить. Я сам сначала все сдампил в тестовые файлы, разбил по месяцам и заливал уже месяцами

Вообще при переливке в кх есть нюанс - если просто по-очереди брать висперы, дампить и отправлять в карбон, то оно будет одновременно писать сразу во все партиции КХ и он может затупить. Я сам сначала все сдампил в тестовые файлы, разбил по месяцам и заливал уже месяцами

Ок учту

Вообще при переливке в кх есть нюанс - если просто по-очереди брать висперы, дампить и отправлять в карбон, то оно будет одновременно писать сразу во все партиции КХ и он может затупить. Я сам сначала все сдампил в тестовые файлы, разбил по месяцам и заливал уже месяцами

можно кстати скриптик написать который будет в файлы по месяцам складывать, а потом из них по же заливать )

можно кстати скриптик написать который будет в файлы по месяцам складывать, а потом из них по же заливать )

Ну вот как будешь переливать свои миллионы метрик, так можешь и скриптик написать )

Ну насколько я понял там дело не в RPS а в кардиналити тех 26 миллионов того что уже в базе

На схожих 28млн сбежал от ООМ в influx - перетащил на CH - на том же железе и данных летает без проблем.

народ, нетфлоу в прометей никто не льет?

ШТА.

ШТА.

cisco netflow

я знаю, что такое netflow

вопрос в том, как ты flow собираешься в прометей совать

вопрос в том, как ты flow собираешься в прометей совать

вопрос пока открыт - экспортеры ищу, перебираю инструменты так-сказать

прометей для этой задачи годится не очень

попробуй librenms

Господа, а не вкурсе нельзя ли как то в template в графане выбирать name а что бы он подставлял в переменную value (источник данных запрос который возвращает две колонки) ?

Я руками формирую такой json

попробуй librenms

скорее ntop -> mysql -> grafana

@rlomonosov а можно в carbon-clickhouse по аналогии с go-carbon (logger = "whisper:new" ) сконфигурировать отдельный логгер на новые метрики ?

Кто нить хакидывал метрики турбины в эластик?

@rlomonosov а можно в carbon-clickhouse по аналогии с go-carbon (logger = "whisper:new" ) сконфигурировать отдельный логгер на новые метрики ?

нельзя. он не знает что новое, что нет - для этого ему пришлось бы селектить из КХ

нельзя. он не знает что новое, что нет - для этого ему пришлось бы селектить из КХ

ты ж ведешь список метрик )

который попадает в graphite_tree

коллеги пром из консула кто то автоматом конфигурит ?

как бы фильтр по сервсам сделать ?

что бы максимально не руками

сервисы мои и могу потегать их как нить

как бы фильтр по сервсам сделать ?

relabeling

Это да, но меня не релейбелинг интересует а фильтеринг :)

Там вообще есть поле сервис

Но передать бы туда чонить

нельзя. он не знает что новое, что нет - для этого ему пришлось бы селектить из КХ

Ок, попробую из кх это выцепить