вопрос такой - если открыть страницу с таргетами в промете, то для каждой джобы есть колонка с Labels в которой есть inctance='ip address:port' - оно еще синим цветом выделенно. если навести мышку на этот объект - появляется окошко-хинт со списком метрик этого инстанса

и вот там есть одна метрика - metrics_path="/metrics"

можно ли как-то менять ее значение? а то у моих сервисов этот path не такой "простой".. в нем еще есть имя сервиса например.. поэтому этот запрос фейлится: http://ip_address:port/metrics но правильный - работает, если curl-ом руками запросить curl http://ip_address:port/foo/bar/service_name/metrics

причем service_name зависит от названия сервиса. я его для джобы беру из

- source_labels: [__meta_consul_service] target_label: job

можно ли както автоматически менять значение metrics_path, чтобы оно было для каждого сервиса правильное?

то есть похоже в relabel config надо брать значение __meta_consul_service и как-то подставлять его в metrics_path

Ребят как думаете какая схема более живучая? Реплицируемый кликхаус или два отдельных кликхауса с дублями метрик и склеиваемый carbonzipper?

Ребят как думаете какая схема более живучая? Реплицируемый кликхаус или два отдельных кликхауса с дублями метрик и склеиваемый carbonzipper?

репликация в рамках одного ДЦ средствами КХ

зиппер для чтения из КХ пока лучше не использовать

вот так не работает.. - source_labels: [metrics_path] target_label: metrics_path replacement: /foo/bar/__meta_consul_service/metrics

до следующего релиза

у КХ есть особенности, потому что это нормальная база, она может делать распределенные запросы сама. А зиппер он тупенький сейчас и он тупо broadcast'ит во все бэкэнды. Можно сделать конечно zipper поверх локального haproxy который делает roundrobin по кликхаусам, но это на любителя схема

Гм

Спасибо

у КХ есть особенности, потому что это нормальная база, она может делать распределенные запросы сама. А зиппер он тупенький сейчас и он тупо broadcast'ит во все бэкэнды. Можно сделать конечно zipper поверх локального haproxy который делает roundrobin по кликхаусам, но это на любителя схема

я от такой картины аж кофе подавился

завелось вот так: - source_labels: [meta_consul_service] action: replace target_label: __metrics_path regex: (.*) replacement: /foo/bar/$1/metrics хз может есть более прямой путь

я от такой картины аж кофе подавился

м?

я про распределение нагрузки через хапрокси

нуууу

зиппер ничего кроме броадкаста не умеет исторически

более умная балансировка пока что in progress :)

просто для виспера кроме броадкаста ничего не надо было

тут вообще про метрики говорят? ) почемуто я получаю такую ошибку в проме text format parsing error in line 1: invalid metric name

то есть уже достучался до нужного енпоинта, но все равно чтото ему не нравится

curl снимает вроде без проблем: # curl http://ip:port/foo/bar/servrice_name/metrics {"mem":169616,"mem.free":15408,"processors":1,"instance.uptime":521999057,"uptime":522034577...............

Эм ... вроде пром же не умеет json метрики собирать

все - жопа-гайки? ниче не поделать?

Ребят как думаете какая схема более живучая? Реплицируемый кликхаус или два отдельных кликхауса с дублями метрик и склеиваемый carbonzipper?

А мне думается для 2х реплик как то пофиг. Зиппер то бродкаст но КХ отдаст то только что у него есть, так что +- пофигу

а если их будет 4 например

2 в одном дц

2 в другом

все - жопа-гайки? ниче не поделать?

Есть json exporter вроде

пилять.. еще одна приблуда

у меня уже кухня для мониторинга больше чем сама инфра для сервисов. а раньше был всего один заббикс..

модульный мониторинг хуле

так как его прикручивать этот json exporter чтобы он просто брал и "конвертил" данные?

так как его прикручивать этот json exporter чтобы он просто брал и "конвертил" данные?

Ну указываешь в экспортере урл и соответствие метрик, а потом пром на сам экспортер натравливаешь

я тут погуглил и этих json експортеров чтото сильно больше одного. какой брать то.. и получается это ему надо скармливать все метрики моих сервисов. а он на выходе будет отдавать то, что умеет понимать пром - значит прому в качестве таргета надо указать этот експортер. но как он разрулит тот факт, что эти данные от разных источников. или для каждого сервиса надо будет свой отдельный json експортер заводить

ребят, а почему influx не пишет значение? тег создает, филд тоже, а значение не пишет

Your query is syntactically correct but returned no results

вот это возвращает

Я не уверен что тут остались люди с инфлаксом

херовенько((

Но может кто то поможет

Таки

а с пивиком, да еще и на питоне?

или любую бд, позволяющую рисовать графики

ребят, а почему influx не пишет значение? тег создает, филд тоже, а значение не пишет

Тип поля и тип передаваемого значения совпадают? Как делаете? Без примера - это к экстрасенсам.

сейчас кину код

points = [] point = { "measurement": 'Start', "time": int(now.strftime('%s')), "fields": { "value": 1 } } points.append(point) client = InfluxDBClient(HOST, PORTDB, USER, PASSWORD, DBNAME) client.write_points(points)

хотя даже образец, представленный в исходних также пуст

официальный от инфлюкса

А откуда мнение, что значение не пишет? Есть подозрение, что time в point в секундах, а influx по-умолчанию в наносекундах ждёт. Так может значение и записалось, но вы его потом не в том времени ищете.

Чтобы время в секундах принималось надо параметр precision=s использовать.

где именно?

вроде клиент должен сам изменять)

Я питоноский клиент не пользовал, не скажу. Если пихать данные в формате их line protocol через http POST , то в URL http://influx.host/write?db=DBNAME&precision=s

Ну и в лог сервера загляните - может там на что ругань есть...

ругани нет

сейчас попробую

как-то запихнуть

/

я тут погуглил и этих json експортеров чтото сильно больше одного. какой брать то.. и получается это ему надо скармливать все метрики моих сервисов. а он на выходе будет отдавать то, что умеет понимать пром - значит прому в качестве таргета надо указать этот експортер. но как он разрулит тот факт, что эти данные от разных источников. или для каждого сервиса надо будет свой отдельный json експортер заводить

можно взять telegraf с httpjson плагином, и с него уже забирать метрики. Поидее можно метрики с сервисов разных свести в один телеграф, но как оно будет по факту - хз. Возможно проще будет продеплоить и по телеграфу на сервис )

ERROR: S client not available

или любую бд, позволяющую рисовать графики

Вроде любая бд позволяет, для SQL есть redash, например. Или я неправильно понял ваш вопрос?

Добрый вечер. Порекомендуйте самую простую систему мониторинга mysql / nginx / phpfpm / системы (озу, память, диски, сеть) (для последних трех используем amplify пока что). Пожалуйста. Спасибо. )

Прометеус? Вроде простой.

zabbix

Я пару лет назад пробовал заббих - не осилил, не мониторил он nginx почему-то

Прометеус - внешне нравится, нужно будет пробовать, благодарю @SirEdvin .

Для nginx тут был в чате nginx lua exporter

Добрый вечер. Порекомендуйте самую простую систему мониторинга mysql / nginx / phpfpm / системы (озу, память, диски, сеть) (для последних трех используем amplify пока что). Пожалуйста. Спасибо. )

самая простая это наверное munin ? но я боюсь что в этом чате это слово нельзя произносить. ))

нравится связка telegraf+prometheus+grafana

самая простая это наверное munin ? но я боюсь что в этом чате это слово нельзя произносить. ))

отличное слово.

нравится связка telegraf+prometheus+grafana

Ну вот после совета Богдана - гуглится как раз это )

его стоит произвносить

после внедрения прома и т.д. я так и не выключил мунин - рука не поднимается ))))

в этом чате только бан на бессмысленные доказательства бесконечной крутости продуктов из топика. в остальном всё в пределах топика

мунин очень клевый. но пережил своё

кстати, если серверов прям мало, кого-то еще может и netdata вставить. Но это явно на любителя.

кстати, если серверов прям мало, кого-то еще может и netdata вставить. Но это явно на любителя.

Почему на любителя? Вполне боевая и симпатичная. На ноуте у меня больше года крутится, да ещё и в телегу алёрты кидает. Вроде обещали и экспорт данных в другие системы, но давно не проверял обновления.

ну в гите они рассказывают о поддержке пачки бекендов, правда не щупал

на любителя потому что узкоспецифичная. Если у вас парк 100+ систем... no comments

а что уже есть серебряные пули для всего? :)))

а что уже есть серебряные пули для всего? :)))

Да, мозг

Да, мозг

мозг - сильно хуйовая пуля

мозг - сильно хуйовая пуля

нормальная пуля

нормальная пуля

разброс значений сильно большой, плюс много внешних факторов, влияющих на результат

разброс значений сильно большой, плюс много внешних факторов, влияющих на результат

как и со всяким инструментом - надо уметь пользоваться

тут все сложнее

мозг - сильно хуйовая пуля

Зато может все. В теории

Зато может все. В теории

в теории я должен быть успешный альфа самец, ебать дженифер лопес, иметь кучу денег и хуй 25 см

а на практике... ну вы поняли

в теории я должен быть успешный альфа самец, ебать дженифер лопес, иметь кучу денег и хуй 25 см

не должен. с чего бы? :)

не должен. с чего бы? :)

вот так и с мозгом