@metrics_ru
Andor14.06.2017
10:40:53
10:40:53
ну сделай чтобы экспортер слушал на 127.0.0.1 и поставь перед ним нжинкс с авторизацией и ссл
Alexander14.06.2017
10:41:14
10:41:14
ну тоже варик.. костыльний) но рабочий
Andor14.06.2017
10:41:27
10:41:27
графана рисует обычно с федерейшнов, а не со скрейперов
Google
lastsky14.06.2017
10:41:36
10:41:36
???
но наверное об этом ни на одном rootconf не расскажет никто.
Paul14.06.2017
10:42:28
10:42:28
слушай, расскажи, это хорошо же работает? я вот думаю такую схему уже два месяца: ретеншн на ведомых маленький, а на главном большой, скрейп на ведомых маленький, на главном большой, и датасорсы шаблонизировать. тогда главный прометей хранит несколько лет метрики при небольшом объеме базы, а ведомые ротируют с маленьким скрейпом.
прекрасно работает. Единственная проблема - нет возможности сообщить о падении всех ведомых хостов, если федерат отвалился. Решается (костыльно) тревогой наивысшего уровня при падении федерата.у меня графана рисует с основного прометея, федераты просто прокси
там маленький скрейп, маленький ретен и маленький ин-мем чанк
кстати, обязательно уменьшайте ин-мем на федератах. Иначе прометей выжрет оперативу и свалится с OOM
lastsky14.06.2017
10:45:44
10:45:44
ну да, я вот так и думал. причем, отдельный федерат хотел поднимать для всякого тестового стаффа, с которого жестко фильтровать метрики. тесты закончил - убил федерата, место высвободил
Andrey14.06.2017
10:45:56
10:45:56
кстати, обязательно уменьшайте ин-мем на федератах. Иначе прометей выжрет оперативу и свалится с OOM
страсти какие, что это за софт, что по дефолту падаетlastsky14.06.2017
10:46:01
10:46:01
грубо говоря, один федерат на сегмент/сервис
что за софт )
мы тут обсуждаем )
подскажите кто-нибудь
Googlelastsky14.06.2017
10:47:22
10:47:22
prometheus.io мы обсуждаем, Андрей :) рекомендую.
Paul14.06.2017
10:48:13
10:48:13
страсти какие, что это за софт, что по дефолту падает
прометей не может определить, сколько данных хранить в памяти сам, отталкиваясь от количества доступной памяти. Инмем указан, по моим ощущениям, из рассчета примерно 4 гига оперативы. Если памяти меньше - уменьшайте число. Это несложно, один ключ в командной строке
Anton14.06.2017
10:56:50
10:56:50
слушай, расскажи, это хорошо же работает? я вот думаю такую схему уже два месяца: ретеншн на ведомых маленький, а на главном большой, скрейп на ведомых маленький, на главном большой, и датасорсы шаблонизировать. тогда главный прометей хранит несколько лет метрики при небольшом объеме базы, а ведомые ротируют с маленьким скрейпом.
>несколько лет
ого, у тебя сколько метрик заезжает, и ты аппле чтоли столька денег на стораж есть?lastsky14.06.2017
10:58:14
10:58:14
>несколько лет
ого, у тебя сколько метрик заезжает, и ты аппле чтоли столька денег на стораж есть?
аппле? )я всё понял, но слово не распарсил.
Anton14.06.2017
10:58:25
10:58:25
топ1 по выручке в мире?
lastsky14.06.2017
10:58:53
10:58:53
а. ну так я как раз говорил об обратном, что я не apple и у меня винты не резиновые.
и мне надо снизить кол-во метрик но хранить 3 года
поэтому появилась идея с федерацией
Anton14.06.2017
10:59:23
10:59:23
ну тебе нужен тогда https://github.com/digitalocean/vulcan
lastsky14.06.2017
10:59:47
10:59:47
Vulcan is highly experimental.
lastsky14.06.2017
11:04:26
11:04:26
hackish scripts for removing old data я где возьму?
и ещё 100500 подобных решений к этому стеку чтобы он был управляемым двумя инженерами
Paul14.06.2017
11:09:43
11:09:43
Vulcan is highly experimental.
прометей плохо хранит большое количество метрик, ибо даунсемплинга в нем нет. Зато быстро. Если вам надо более, чем 3 месяца - лучше поменять на что-то другоевот да, букинговый стек - хороший вариант.
нам просто не надо. нам надо было уйти куда-то от заббикса и нормальные программируемые алерты
Andor14.06.2017
11:11:53
11:11:53
слышал много хорошего про riemann, но не юзал
lastsky14.06.2017
11:11:55
11:11:55
прометей плохо хранит большое количество метрик, ибо даунсемплинга в нем нет. Зато быстро. Если вам надо более, чем 3 месяца - лучше поменять на что-то другое
я расчитывал на то что если на главном в федерации сделать scrape_interval больше, чем на ведомых, то и метрик в нем меньше будет, и тогда можно 3 года сделатьAndor14.06.2017
11:11:55
11:11:55
только доку читал
GoogleAndor14.06.2017
11:12:10
11:12:10
и вот в нём уж точно программируемые алерты
я расчитывал на то что если на главном в федерации сделать scrape_interval больше, чем на ведомых, то и метрик в нем меньше будет, и тогда можно 3 года сделать
на федерейшне не только интервал больше, но и сбор только агрегированных значенийlastsky14.06.2017
11:12:46
11:12:46
я читал про риман что это программирование на системе мониторинга. и, в общем, это подтверждается.
Alexander14.06.2017
11:12:51
11:12:51
Ну если Closure не пугает...
Alexander14.06.2017
11:13:09
11:13:09
Да
Andor14.06.2017
11:13:09
11:13:09
он простой
Anton14.06.2017
11:13:10
11:13:10
прометей плохо хранит большое количество метрик, ибо даунсемплинга в нем нет. Зато быстро. Если вам надо более, чем 3 месяца - лучше поменять на что-то другое
замечательно он хранит что за месяц, что за полгода
разница в камазиках с деньгами, это будет 1 камаз, или 6Alexander14.06.2017
11:13:25
11:13:25
Да, на лисп похож
Anton14.06.2017
11:13:26
11:13:26
lastsky14.06.2017
11:13:46
11:13:46
Ну если Closure не пугает...
меня пугает идея программировать на том, на чём не надо программировать. на ансибле, на мониторинге, на документах, итд.Paul14.06.2017
11:13:47
11:13:47
слышал много хорошего про riemann, но не юзал
очень сложный. И метрик нет, их все равно куда-то складывать надоlastsky14.06.2017
11:14:16
11:14:16
Ну если Closure не пугает...
потому что это какое-то днище, сидеть и программировать на том, что для этого не предназначено.Anton14.06.2017
11:14:57
11:14:57
да будет вам, риман с кложей вполне себе decent tool, если ты programming 4 life
Andor14.06.2017
11:15:03
11:15:03
то есть тьюринг-полнота языка запросов в прометей тебя не смущает?
Alexander14.06.2017
11:15:07
11:15:07
В общем, да, там программировать надо конкретно.
Paul14.06.2017
11:16:04
11:16:04
риман очень гибкий и полный по функционалу. Мне такая полнота не нужна. Он крутой, конечно. Но я не гугл
Google
Алексей14.06.2017
11:18:30
11:18:30
про языки програмирования на толк каналы плиз.
Andor14.06.2017
11:19:31
11:19:31
ну тут скорее не про язык программирования vs язык программирования
а язык запросов прометея (например) vs clojure в римане
и тот и тот тьюринг-полный, но есть нюансы
AdminERROR: S client not available
Vladimir14.06.2017
11:52:11
11:52:11
по букинговскому стеку тоже с радостью что-нибудь расскажу )
у нас он очевидно в ассортименте и много чего в процессе пилится
Vladimir14.06.2017
11:56:59
11:56:59
это не значит что он столько переваривает на 1 инстансе (в любую сторону)
GoogleVladimir14.06.2017
11:57:26
11:57:26
это значит что DO его делает под такие нагрузки
https://www.youtube.com/watch?v=KqXA6L-EAVA&list=PLFjrjdmBd0CoclkJ_JdBET5fzz4u0SELZ&index=17
lastsky14.06.2017
12:19:57
12:19:57
у них он в продакшене, но их target - 100k points/sec :)
если у меня будет столько же железа сколько у DO - я тоже не побоюсь в прод такое катить. а пока постараюсь справиться прометеем.он ведь умеет дропать метрики из базы через API. просто мне надо собраться с мыслями и написать плейбук на это.
а так, всем устраивает.
Paul14.06.2017
12:27:57
12:27:57
Anton14.06.2017
14:47:48
14:47:48
Anton14.06.2017
14:48:40
14:48:40
ну в смысле, ты хочешь выкашивать всё кроме тебя интересующих?
lastsky14.06.2017
14:49:27
14:49:27
я хочу иметь возможность исправить ошибку. и ещё, например, например я собрал метрики и они мне больше не нужны потому что графики по ним построены и всё понятно.
Anton14.06.2017
14:50:19
14:50:19
по моему это какая-то экономия на спичках
если только у тебя не инфра уровня нетфликса, и вечером ты поскейлил на +100500 нод, пособирал что-то важное, у них всё ок
а дальше тебе они не нужны, даже в истории
"фишка" прома в простоте
задал ретеншн, и забыл, без вот этих вот, а я там удалю, а тут куда-то переместить бы в лонг-терм разобрать
и прочее
lastsky14.06.2017
14:52:36
14:52:36
а это обязательно, иметь инфру уровня нетфликса чтобы хотеть такой инструмент для траблшутинга?
Anton14.06.2017
14:52:59
14:52:59
ниет
lastsky14.06.2017
14:53:38
14:53:38
фишка прома в простоте - это да. но другая фишка прома в том, что проста - это надежность.
поэтому я побаиваюсь идеи ваять стек как в booking.
безотказно работает только то что просто сделано.
node_exporter. не имеет config файлов, например. только ключи запуска ?
Открыть в Telegram