только хотел опробовать запрет отправки всего кроме текста и тут такая возможность. @yuffjuff спасибо!

камрады, про curator для elk здесь подсказать могут? Unable to create client connection to Elasticsearch. Error: TransportError(401, 'security_exception', 'missing authentication token for REST request [/]')

я понимаю, что надо SSL там настроить, но что-то в нужный раздел доки не попадаю :)

камрады, про curator для elk здесь подсказать могут? Unable to create client connection to Elasticsearch. Error: TransportError(401, 'security_exception', 'missing authentication token for REST request [/]')

похоже на http 401

поправил...

точно, контейнер по дефолту настроен на basic auth

2017-07-03 16:00:47,960 INFO Job completed.

спасибо!

а может кто-то поделиться ансибл-плейбуком для генерации конфига?

генерацией конфига чего?

генерацией конфига чего?

+

scrape_config который

scrape_config который

а что именно там сложного? я в ансибле очень не очень, но это примитивный шаблон и примитивный цикл

обычный, просто думал готовый есть, что бы время не тратить

я, правда, не думаю, что такой существует вообще. Это слишком простая задача, чтобы скармливать туда целый кукбук. Она решается за 15 минут

а может кто-то поделиться ансибл-плейбуком для генерации конфига?

Зачем?

Кто-то подскажет, как привязать пром к адресу вида http://node1.prom.way/cute/mem

Кто-то подскажет, как привязать пром к адресу вида http://node1.prom.way/cute/mem

Нжинкс?

Нжинкс?

Не совсем так. Я хочу спрятать за nginx'ом node_exporter и еще ряд експортеров. Вроде настроить, но что-то prom не собирает метрики. Конфиг выглядит так: - job_name: 'Strange node exporter' scrape_interval: 15s metrics_path: /prometheus/node_exporter static_configs: - targets: ['mycute.host']

На лоре был подобный вопрос

https://www.linux.org.ru/forum/admin/12684936

О, спасибо большое!

Поставить порт - это идея)

Привет! Какие есть варианты / стеки сбора метрик с JMX в k8s ?

https://github.com/prometheus/jmx_exporter это?

https://github.com/prometheus/jmx_exporter это?

Я правильно понимаю что prometheus это и система сбора логов и хранилище time series?

Нет

https://prometheus.io/assets/architecture.svg

На этой схеме сервер состоит из трех компонентов вроде

третий я так понял это обработчик запросов

https://github.com/prometheus/jmx_exporter это?

С этим агентом (по крайней мере в режиме агента, когда он живет в той же jvm) нужно быть осторожным. Нам он подсадил производительность софта. Как костыль пока стартуем его standalone, но собираемся прикрутить нативный экспорт метрик в http

Спасибо

Читаю про prometheus, и сразу возникает вопрос с масштабированием и HA. Какие есть варианты решения? Я вон смотрю digitalocean свой vulcan накостылили с кассандрой.

Шардирование по каким то логическим группам даст масштабирование, но как быть с доступностью?

а чего не ELK? мне оно больше нравится

для метрик? Как то не слышал чтобы так применяли, да и мне кажется эластик это через чур для такого вида данных.

Могу ошибаться, я в этом деле только начал разбираться

он и метрики жрёт и логи, с масштабированием ок и с доступностью

он и метрики жрёт и логи, с масштабированием ок и с доступностью

здесь прекрасно всё.

Мусье знает толк

ну вот я тоже разбираюсь, единственное, что не нравится в ELK - это платность X-Pack

он и метрики жрёт и логи, с масштабированием ок и с доступностью

и сколько байт там точка занимает ?

и сколько байт там точка занимает ?

В шапке вроде есть :)

и как там с разрезами быть

От 22 до 96 на точку :)

22 ? ?

От 22

Это после компакшена хорошо сжимаемых данных

осталось понять, что такое точка и разрез :)

До компакшена 96

осталось понять, что такое точка и разрез :)

Измерение

точка это одно значение измерения

Если мы про tsdb и метрики, ты вот шлешь каждую минуту CPU usage

В виде измерения

Которое в общем случаи есть набор точек

у меня нет цели экономить место, есть цель собирать :)

Вот каждая точка на диске от 22 до 96 байт

Мусье богатый

здесь прекрасно всё.

лайк :)

Мы страдаем от 12 байт графита

сколько надо будет места, столько и сделают, либо будут стирать чаще

ERROR: S client not available

А тут 96 ок

сколько надо будет места, столько и сделают, либо будут стирать чаще

вы такой оптимист

сколько надо будет места, столько и сделают, либо будут стирать чаще

Ну хорошо иметь безлимитные средства :)

а разрез, это когда к примеру у тебя есть метрика с респонс кодами, и у тебя есть к примеру балансировщик + бэк. И ты хочешь иметь метрику с возможностей детализации как по бэкендам так и по балансировщикам. так и по их комбинации.

угу, пишу в доке 100ТБ для логов и всё

Ну хорошо иметь безлимитные средства :)

ДеньгиИзТумбочки(тм) :))

угу, пишу в доке 100ТБ для логов и всё

А потом к тебе приходят и говорят что в 100гб помещается неделя, а это мало и нужен месяц

Или год

И удачи :)

там буква Т

там буква Т

это всё меняет

там буква Т

Я видел

вопрос не про это, что есть вместо ELK

А зачем вместо?

может есть что хорошее, а я не нашёл

для логов и точек разом?

мне надо собирать метрики и логи

мне надо собирать метрики и логи

Метрики в тот же Прометей, логи в эластик

мне надо ездить на работу и убивать людей

Что мешает?

и то и другое можно делать велосипедом...

Стремление иметь одну систему для всего до добра не доводило ещё никого

Но дело ваше

кстати, а те посоны что кассандру используют как стораджи, они использует "нативные типы данных" аля counters там и т д ? и если да то как они живут с этим ?

@Civiloid нада запилить инициативную группу, и по базке в неделю совместными усилиями как нить тестить.

@Civiloid нада запилить инициативную группу, и по базке в неделю совместными усилиями как нить тестить.

Надо тестилку запилить и методику

И к ней по плагину писать, а дальше пусть автоматика тестит :)

Стремление иметь одну систему для всего до добра не доводило ещё никого

звучит логично, но... под ELK минимум три машины надо выделать под Prometeus тоже надо... приспичит, разделим, но на первом этапе, думаю, и ELK сойдёт

думаю там подходы могут быть разными в зависимости от бэкендов

думаю там подходы могут быть разными в зависимости от бэкендов

Это да