
Сергей
06.12.2017
19:50:46

Paul
06.12.2017
19:51:14
мы, действительно, любим метрики
это я аватарку чата вспомнил

Vladimir
06.12.2017
19:53:17
А вы длину в Прометей складываете? А что с долгосрочным хранением?

Google

Vladimir
06.12.2017
19:53:26
А как часто снимаете?

Paul
06.12.2017
19:53:53
а ведь вроде не пятница...

Vladimir
06.12.2017
19:54:10

Сергей
06.12.2017
19:58:08
я безработный
у меня каждый день пятница

Андрей
06.12.2017
19:59:26
Мир этому чату!

Paul
06.12.2017
19:59:54

Сергей
06.12.2017
20:00:30

Paul
06.12.2017
20:00:56
я и не стесняюсь. Поздно уже

Сергей
06.12.2017
20:03:53
ну следующая стадия у тебя - безработный
)

Paul
06.12.2017
20:04:46

Сергей
06.12.2017
20:05:04

Google

Sergey
06.12.2017
20:14:35
господа, маты сильно режут глаза. Плз, имейте уважение к коллегам по цеху

Alexandr
06.12.2017
20:25:38
Добрый день, подскажите пожалуйста, если стоит задача записывать 100к в сек данные с датчиков и выводить график по ним год/месяц/день/часы/30мин, в качестве базы clickhouse, стоит ли использовать graphite или же стоит использовать mergeTree и усредненные данные в другу таблицу?

Vladimir
06.12.2017
20:28:28

Alexandr
06.12.2017
20:30:32
меня смущает что avg + groud by toHour занимает на 2 миллиардах 60сек, сейчас уже понял что надо быдло писать более большими пачками, но все же не уверен что так правильно, хотелось бы что бы не было потом проблем с базой и выборкой.

Vladimir
06.12.2017
20:31:28
Писать надо ну да, большими пачками.

Alexandr
06.12.2017
20:32:15
@Civiloid спасибо за ответ, попробую carbon

Vladimir
06.12.2017
20:34:39
@muztv в КХ надо вставлять данные как можно более большими пачками (иначе будут проблемы с мержами), в идеале примерно раз в секунду пачками по 100к+.
плюс важно выбрать нормальные индексы (в примерах к carbon-clickhouse оно есть для графитного формата). Сам carbon-clickhouse принимает графитный line protocol (имя[пробел]value[пробел]timestamp\n, все текстом) и сам вставляет пачками. graphite-clickhouse позволяет это почитать в графитном формате

Alexandr
06.12.2017
20:35:55
думаю в начале будет мало данных, но не держать же мне их в памяти приложение, наверное будет верно писать сначала в одну таблицу пока будет низка нагрузка и перемещать при определенном количестве в основную?

Vladimir
06.12.2017
20:36:17

Alexandr
06.12.2017
20:37:09
если будут маленькие пачки данных, можно хранить в памяти приложения до записи, но тогда если приложение резко выключится то данные пропадут

Vladimir
06.12.2017
20:37:23

Fedor
06.12.2017
20:37:40
Привет всем. Телеграф иногда отваливается с точки зрения Прометея, хотя при этом живее всех живых. Потом снова подключается. Не сталкивался кто?
Совершенно рандомное поведение, отловить пока не получилось
Собирает много всего.
Вернее, не подключается, а становится невидимым
Алерт 5 минут недоступности сработать успевает
Находится на той же тачке
Цпу, памяти и прочего - завались.

Google

Fedor
06.12.2017
20:40:13
Дескрипторы, правда, пока не смотрел

Vladimir
06.12.2017
20:47:48
@muztv чисто по КХ лучше в @clickhouse_ru

Ievgen
06.12.2017
20:48:15
телергаф не только от прометея отваливается...
он от всего походу отваливается
рандомно

Fedor
06.12.2017
20:54:30
аналогичное поведение?

Ievgen
06.12.2017
20:55:09
да

Fedor
06.12.2017
20:55:28
понял, спасибо!

Ievgen
06.12.2017
20:55:44
травим периодически tcpflow и рестартим

Fedor
06.12.2017
20:55:47
может, есть замены такому комбайну?
которые можно натравливать на кучу целей

Ievgen
06.12.2017
20:56:03
collectd?

Vladimir
06.12.2017
20:56:04
collectd

Ievgen
06.12.2017
20:56:16
и как snap?
я так мельком на него смотрел

Fedor
06.12.2017
20:56:36
в основном производительность скулей

Vladimir
06.12.2017
20:56:38
@neurox https://docs.google.com/spreadsheets/d/14zMImj6LwDZcgH1-WBThRwrgZdgcV2NJjjtKkN3SbLI/edit?usp=sharing - там есть вторая страничка, там коллекторы

Fedor
06.12.2017
20:56:42
и снмп
спасибо!

Google

Vladimir
06.12.2017
20:57:07
но коллекоров, в отличии от тсдб, там не очень много

Ievgen
06.12.2017
20:57:28
но телергаф сука подкупает простотой, обилием плагинов, всеядностью...

Admin
ERROR: S client not available

Fedor
06.12.2017
20:57:37
это да

Ievgen
06.12.2017
20:57:51
если бы не валился - цены бы ему небыло

Vladimir
06.12.2017
20:58:27
снап слегка оверинженернутый
зато у него настоящие плагины в отличии от телеграфа)

Ievgen
06.12.2017
20:59:41
зато в телеграфе на раз подключается что угодно что отдает нужный json/line protocol хоть на баше ) без всяких плагинов даже

Vladimir
06.12.2017
21:01:48
ну в снапе такого нет, да. Хотя можно просто написать

Fedor
06.12.2017
21:02:00
а нет на примете для локального сбора метрик производительности мсскуль?
экспортер

Vladimir
06.12.2017
21:02:23
нет mssql, нет проблем

Fedor
06.12.2017
21:02:40
увы, я на это не влияю

Vladimir
06.12.2017
21:02:44
наваерняка под него есть какой-нибудь прометейный экспортер
все равно ж потом в прометей все гнать?

Fedor
06.12.2017
21:03:01
да
это был телеграф
)
можно, конечно, взять какой-нибудь скуль экспортер
нахерачить запросов

Google

Fedor
06.12.2017
21:03:51
но вдруг есть что-нибудь специализированное

Vladimir
06.12.2017
21:04:01
@neurox https://github.com/awaragi/prometheus-mssql-exporter вот первая ссылка из гугла, не оно?

Fedor
06.12.2017
21:04:14
оу

Vladimir
06.12.2017
21:04:18
на ноде правда

Fedor
06.12.2017
21:04:20
раньше не было
спасибо
более полу года назад как раз смотрел

Vladimir
06.12.2017
21:04:52
есть еще отдельный для азури, я не знаю насколько оно похожее

Fedor
06.12.2017
21:05:34
может, на гошечке переписать
для азури видел, даже что-то пробовал, но сходу не завелся у меня
спасибо за советы!

Maxim
06.12.2017
21:59:33