@ad0ne будет жить. Поприветствуем!

@a1eXei будет жить. Поприветствуем!

Братья-метряне, есть задача по собиранию логов из stdout контейнеров, которые крутятся в Docker Swarm (про k8s я в курсе, но пока ребята с контейнерами на "вы", не хочу свистопляску разводить). Сейчас собираю через контейнер fluentd запущенный в режиме global на каждой ноде Swarm и отправляю в ElasticSearch, каждый сервис в отдельный индекс, все как полагается. Пока приложений мало и хватает одного общего fluent.conf, для всех служб. Однако есть мысль выкатывать Stack'и, каждый с отдельным контейнером fluentd, чтобы хранить его настройки в одной репе с приложением, которое будет писать журнал. В кубике это реализовано через pod'ы и все более-менее компактно, вот думаю вообще в Docker Swarm так делают, или есть какие-то подводные камни?

cAdvisor ставят, например

cAdvisor ставят, например

Имеешь в виду, в каждый стек ставят? Зачем?

не знаю. я с докером не знаком

Братья-метряне, есть задача по собиранию логов из stdout контейнеров, которые крутятся в Docker Swarm (про k8s я в курсе, но пока ребята с контейнерами на "вы", не хочу свистопляску разводить). Сейчас собираю через контейнер fluentd запущенный в режиме global на каждой ноде Swarm и отправляю в ElasticSearch, каждый сервис в отдельный индекс, все как полагается. Пока приложений мало и хватает одного общего fluent.conf, для всех служб. Однако есть мысль выкатывать Stack'и, каждый с отдельным контейнером fluentd, чтобы хранить его настройки в одной репе с приложением, которое будет писать журнал. В кубике это реализовано через pod'ы и все более-менее компактно, вот думаю вообще в Docker Swarm так делают, или есть какие-то подводные камни?

Сворм мёртв

Да я знаю, что мертв, но мигрировать на кубик, нет ресурсов, вот и выкручиваюсь по-колхозному.

Да я знаю, что мертв, но мигрировать на кубик, нет ресурсов, вот и выкручиваюсь по-колхозному.

k8s

Ещё есть номад. Насколько я знаю, он намного проще кубера

Ну и твой вопрос - не про метрики

Да я знаю, что мертв, но мигрировать на кубик, нет ресурсов, вот и выкручиваюсь по-колхозному.

ну а так просто удовстлверься что на каждой ноде запущен fluentd и все.

Ну и твой вопрос - не про метрики

про логи здесь нельзя?

Это ответы в стиле: — "Как мне поставить nginx+lua на CentOS?" — "Ставь Ubuntu"

Логи не метрики?

Логи - не метрики, всё верно

Это ответы в стиле: — "Как мне поставить nginx+lua на CentOS?" — "Ставь Ubuntu"

install Gentoo

метрики это маленькие pesky numbers которые описывают величины

а логи это уже описание событий больше

и подходы к их обработке разные

Логи не метрики?

тебе в церковь логов, это рядом

я правда хз считать ли всякую перфдату метриками

ну а так просто удовстлверься что на каждой ноде запущен fluentd и все.

Это делается, через режим запуска global, но я моя идея в том, чтобы каждому приложению припаять отдельный, крохотный контейнер с fluentd, тогда я смогу в docker-compose.yml просто задать контейнер с ним и вшить в него конфигурацию.

Это делается, через режим запуска global, но я моя идея в том, чтобы каждому приложению припаять отдельный, крохотный контейнер с fluentd, тогда я смогу в docker-compose.yml просто задать контейнер с ним и вшить в него конфигурацию.

ну и так никто не делает как ты хотел, ведь докер пишет весь output в файлы вот их и читай, fluentd их коробки это умеет

Это делается, через режим запуска global, но я моя идея в том, чтобы каждому приложению припаять отдельный, крохотный контейнер с fluentd, тогда я смогу в docker-compose.yml просто задать контейнер с ним и вшить в него конфигурацию.

да это через чур чтобы. каждому приложению свой fluentd, достаточно одного на сервер не мастер

У докера есть встроенный драйвер fluentd

И церкви логов нет, я проверил, прежде чем здесь спросить (-:

не делай так как ты хотел, лучше переосмысли ещё немного и ты все поймёшь.

И церкви логов нет, я проверил, прежде чем здесь спросить (-:

https://t.me/ru_logs

https://t.me/ru_logs

Спасибо! Буду там людей мучать

Там 35 человек, что то мне подсказывает, что буду долго ждать.

Да я знаю, что мертв, но мигрировать на кубик, нет ресурсов, вот и выкручиваюсь по-колхозному.

ну вот кадвизор и будет нормальный такой колхоз. он тебе отдаст метрики всех контейнеров на ноде. либо ты ставишь кубер и он уже сам экспозит или отправляет

других примеров не знаю

А вот, тогда по топику вопрос: есть микросервис который крутится в сворме и когда я сделал агрегацию логов, мы заметили, что раз/два в минуту он слишком медленно обрабатывает запросы, начали тестировать сделали простую нагрузку через JMeter и обнаружили что тупит не только он, но и другие сервисы, которые находятся в сворме, потом начали копать дальше и поняли, что-то не так с сетью, но где не так, мы понять не можем. Какими средствами можно проверить узкие места в сети? iperf3, qperf как я понял, не подходят.

точно не с диском?

а чего айперф не подходит-то

просто выбери эндпоинты с умом

с вопросом "что-то не так с сетью" к сетевикам лучше вообще не ходить

или стрельни у корешей анализатор трафика

точно не с диском?

Точно не с диском проблемы, уже и так и эдак делали.

или стрельни у корешей анализатор трафика

Ну вот я и пытаюсь.

Вопрос по экспортеру рэбита. Подгружен он плагином, кролик в кластере, плагин светится только на одной какой-то ноде, если одну из нод рестартнуть, то плагины переезжают на неё, соответственно метрики уже по другому адресу. Кто как мониторит кролокластер?

Вопрос по экспортеру рэбита. Подгружен он плагином, кролик в кластере, плагин светится только на одной какой-то ноде, если одну из нод рестартнуть, то плагины переезжают на неё, соответственно метрики уже по другому адресу. Кто как мониторит кролокластер?

Kubernetes?

Kubernetes?

Нет

В этот момент я понял, что разучился думать об обычной инфраструктуре и растворяюсь в туман в раздумьях.

Вопрос по экспортеру рэбита. Подгружен он плагином, кролик в кластере, плагин светится только на одной какой-то ноде, если одну из нод рестартнуть, то плагины переезжают на неё, соответственно метрики уже по другому адресу. Кто как мониторит кролокластер?

может поставь балансер либо настроить слегка service discovery например я для таких случаев использовал dns_service_sd

когда айпишник постоянно менялся

Вопрос по экспортеру рэбита. Подгружен он плагином, кролик в кластере, плагин светится только на одной какой-то ноде, если одну из нод рестартнуть, то плагины переезжают на неё, соответственно метрики уже по другому адресу. Кто как мониторит кролокластер?

Поднять демоны мониторинга кроличьих плагинов на всех хостах

Поднять демоны мониторинга кроличьих плагинов на всех хостах

В кластере не получится

может поставь балансер либо настроить слегка service discovery например я для таких случаев использовал dns_service_sd

Это всё можно конечно, но я думал менее костыльный вариант есть

В кластере не получится

Почему?

Почему?

Только на одном даёт поднять. Хотя могу конечно ошибаться, но вроде так

Можно поднять стенд-елоун експортер который на всех нодах

influxdata/telegraf was tagged: 1.8.0 Link: https://github.com/influxdata/telegraf/releases/tag/1.8.0 Release notes: ### New Inputs * [activemq](/influxdata/telegraf/blob/1.8.0/plugins/inputs/activemq/README.md) - Contributed by [@mlabouardy](https://github.com/mlabouardy) * [beanstalkd](/influxdata/telegraf/blob/1.8.0/plugins/inputs/beanstalkd/README.md) - Co... More

Можно поднять стенд-елоун експортер который на всех нодах

Стэндэлон? А как? От использования планига этож не избавит

Стэндэлон? А как? От использования планига этож не избавит

Там нужен только менеджер агент, его можно запустить на всех узлах

Благодарю, попробую

Собрал из carbonapi рисовалку PNG для прометея https://github.com/lomik/prometheus-png

Error в 2 ЦОД, info и warining только в тот ЦОД где они появились

в еластик пишете?

ERROR: S client not available

Собрал из carbonapi рисовалку PNG для прометея https://github.com/lomik/prometheus-png

НИЧОСИ

в еластик пишете?

Да.

поток логов большой если не секрет? еластик не захлебывается?

поток логов большой если не секрет? еластик не захлебывается?

Не очень большой. Около 47 гигов логов в сутки

Метрик собирается на порядок больше

Не очень большой. Около 47 гигов логов в сутки

Ясно, спасибо! А метрики чем храните?

Тоже в Эластике

ух...и какая конфигурация кластера еластика нужна, допустим хранить последний месяц метрик и логов ?

на данных обьемах

это оффтоп

метрики же

лучше в чате эластика спросить

тебе в церковь логов, это рядом

адрес дайте пожалуйста )

https://t.me/ru_logs

https://t.me/ru_logs

спс

Всем привет! Есть запрос на очень оперативную разработку в Grafana. Кто готов взяться за работу, напишите в ЛС. Необходимо сделать 3 дашборда, Физически есть объект теплица, она разбита на 2 секции в каждой секции стоит несколько датчиков, типов датчиков всего 3 (температура, влажность, фотосинтез) 1. Необходимо собрать агрегирующий дашборд по 2-м секциям, который объединит средние показатели (температура, влажность...) по всем секциям теплицы 2. Дашборд на уровне секции 1 необходимо показать средние показатели по секции, а также графики по каждому из типов датчиков, так как датчиков по одному типу может быть несколько их необходимо сгруппировать 3. Дашборд на уровне секции 2 необходимо показать средние показатели по секции, а также графики по каждому из типов датчиков, так как датчиков по одному типу может быть несколько их необходимо сгруппировать 4. Переход от общего дашборда по вкладкам желательно разбить на вкладки 5. БД источника данных Postgresql 6. Есть временные ограничения на выполнения работы, нужен человек который имеет опыт работы с Grafana и сможет помочь быстро набросать дашборды и подсказать возможности визуализации тех или иных показателей.

тебе в devops_jobs наверное

спс

Хорошая теплица

ppl, есть вопрос. скорее всего от слабого знания документации. есть у меня для хоста posqtgresql cо streaming репликацией. psql01, psql02. postgres_exporter кидает данные мониторинга в прометей. я хочу в графане построить 1 дашбоард, а котором некоторые панели будут с обоих хостов, а некторые - с конкретного. указывать руками psql01, psql02 я не хочу. мастер-хост определяется по pg_replication_lag == NaN. могу ли я как-то это условие использовать, чтобы определять панели? Или я просто не в ту сторону думаю?

ppl, есть вопрос. скорее всего от слабого знания документации. есть у меня для хоста posqtgresql cо streaming репликацией. psql01, psql02. postgres_exporter кидает данные мониторинга в прометей. я хочу в графане построить 1 дашбоард, а котором некоторые панели будут с обоих хостов, а некторые - с конкретного. указывать руками psql01, psql02 я не хочу. мастер-хост определяется по pg_replication_lag == NaN. могу ли я как-то это условие использовать, чтобы определять панели? Или я просто не в ту сторону думаю?

variables?

http://docs.grafana.org/reference/templating/

name: host query: label_values(pg_replication_lag)

типа такого

не?

и разрешить Include All option

и разрешить Include All option

пасиб. попробую