Пример чего?
что такое файл экспортер есть ссылка
Ivan
Vladislav 👻
Прям у прома в экпортерах
Stefan
кубер задеплоин в AWS через kops
есть вот такой траефик:
https://pastebin.com/AqskvgZz
и такая простая приложуха
https://pastebin.com/dZcXHXry
проблема в том, что в момент когда сервис приложухи добавляется в траефик, логи траефика кричат об этом:
level=warning msg="Endpoints not available for default/myapp-service"
time="2018-12-19T18:43:19Z" level=info msg="Server configuration reloaded on :80"
time="2018-12-19T18:43:19Z" level=info msg="Server configuration reloaded on :8080"
что странно, так это то, что Endpoints сервиса моего приложения получили айпишник с портом. также для теста внес и приложуху, и траефик в один неймспейс. сервис приложухи изнутри подов и самого траефика через курл доступен, то есть всё рабочее... в чем может быть проблема, подскажите пожалуйста, уже дня 3 не получается понять в чем дело
Ivan
Прям у прома в экпортерах
ты не мог бы прям ссылку кинуть, вот здесь я не вижу ничего похожего
https://prometheus.io/docs/instrumenting/exporters/#storage
Vladislav 👻
https://github.com/prometheus/node_exporter/tree/master/text_collector_examples
Vladislav 👻
Ivan
Так это нода, я мне надо с контейнера внутри куба
Stefan
кубер задеплоин в AWS через kops
есть вот такой траефик:
https://pastebin.com/AqskvgZz
и такая простая приложуха
https://pastebin.com/dZcXHXry
проблема в том, что в момент когда сервис приложухи добавляется в траефик, логи траефика кричат об этом:
level=warning msg="Endpoints not available for default/myapp-service"
time="2018-12-19T18:43:19Z" level=info msg="Server configuration reloaded on :80"
time="2018-12-19T18:43:19Z" level=info msg="Server configuration reloaded on :8080"
что странно, так это то, что Endpoints сервиса моего приложения получили айпишник с портом. также для теста внес и приложуху, и траефик в один неймспейс. сервис приложухи изнутри подов и самого траефика через курл доступен, то есть всё рабочее... в чем может быть проблема, подскажите пожалуйста, уже дня 3 не получается понять в чем дело
в общем посидев, покопавшись еще, попробовал вытащить в мир, в sg порты 30000 - 32767 на мастере, по ним приложухи доступны
тупо не работает 80 порт Оо
если я на мастере открою 80 порт, то сразу connection refused, а если удалю обратно, то connection timeout..... че за хрень???
Sash
ты не мог бы прям ссылку кинуть, вот здесь я не вижу ничего похожего
https://prometheus.io/docs/instrumenting/exporters/#storage
Можно энвой научить это делать. Можно телеграфом сосать любые метрики с модулем на го и отдавать ендпоинт для Прометея
Sash
Сайдкаром завёз и погнал
Ivan
Можно энвой научить это делать. Можно телеграфом сосать любые метрики с модулем на го и отдавать ендпоинт для Прометея
Ну я как бы так и сделал, только свое )
Sash
Ну там как быстрей и проще и много готового но каждый сам решает какой велосипед ему больше нравится
Ivan
читаю файлы с метриками и отдаю по запросу прометея из сайдкика
Ivan
если интересно ссылка выше чуть есть
Sash
Да посмотрел
Sash
Первое много питона 😅😂
Ivan
питона ?
Sash
Го как-то быстрей меньше проще и тд
Ivan
где
Ivan
там на го же
Ivan
))
Ivan
в личку продублировал
Sash
Телеграф прикольный
Sash
Оу не ту ссылку открыл сорян
Sash
Го огогооо 👍🏻
Sash
Можно оутпутить много куда с коробки можно дописать
Sash
Вон в кавку например пушить
Sash
Буферизация рейт контрол вообщем много уже сделано до нас
Vladislav 👻
Так это нода, я мне надо с контейнера внутри куба
Тогда вы точно что-то делаете не так... Проще было бы в statsd пушить...
Ivan
Тогда вы точно что-то делаете не так... Проще было бы в statsd пушить...
И это мы тоже пробовали ) текет статсд
Ivan
ну точнее текет модуль раста к статсд
Vladislav 👻
Эммм... У нас тупо аппы пушат по udp в statsd_exporter
Ivan
Да, раз на раз не приходится я тоже понадеялся на тупой UDP, а в итоге мы попали на 50% CPU
Ivan
как только отключаем статсд нагрузка 2%
Ivan
так что пришлось быстро решать что то с файлами
Vladislav 👻
Вместо модуля руками пушьте 😬
Sash
Только прометей оставить тоже так себе идея
Ivan
Да прометей вообще красавчик )
Vladislav 👻
Кто сказал про оставить прометей?
Sash
Но лонг тёрм вроде придумали но надо проверять. Но из кавки никто не мешает записать в кликхауз нативно
Vladislav 👻
https://github.com/prometheus/statsd_exporter
Vladislav 👻
Экспортер отлично работает в качестве сервера
Ivan
Ну вы серьезно думаете мы не попробоавли ) Это ж первое самое что гуглится и настраивается
Vladislav 👻
Ну т.е. у вас течет, а у других не течет, поэтому вы делаете очень странное решение лезть в нутрь пода и ковырять сетевые шары?
Vladislav 👻
Причем ковырять через свое странное решение, а не взяв готовое...
Ivan
Нет готового которое решает нашу задачу в текущих реалиях
Ivan
Иначе бы не писал
Elijah
Доброй ночи всем. Подскажите, пожалуйста, возможно ли как-то сделать управление доступом в Kubernetes кластер через Hashicorp Vault? Какие есть варианты? Затея в том, чтобы сделать Vault единственной входной точкой авторизации для разработчиков.
Ivan
Либо переписывать софт который писали полгода на расте либо систему сбора метрик за вечер, по моему выбор очевиден
Vladislav 👻
Наверно в ночи я плохо прочитал по диагонали, надо будет посмотреть повнимательнее
Anonymous
Доброй ночи, работаю над терраформ конфигом для амазоновского EKS, выяснил что без назначения публичных IP адресов ноды в кластере не регистрируются, то есть вот банально меняю associate_public_ip_address на true и всё работает. Не понимаю как и почему.
Ilya
Нет готового которое решает нашу задачу в текущих реалиях
У node exported есть text file collector)
Ivan
У node exported есть text file collector)
И как он будет коллектить файл из запущего контейнера ?
Ilya
И как он будет коллектить файл из запущего контейнера ?
Если экспортер впихнуть в контейнер где файл то просто
Ivan
Если экспортер впихнуть в контейнер где файл то просто
а что так принятно делать в докер мире ?
Ilya
Нет, а твой экспортер где крутится?)
Ilya
И откуда он файл берет
Ivan
Я для кого редми писал )
Ivan
Он крутится рядом в поде в другом контейнере
Ivan
сайдкик
Ivan
я сейчас доделаю пример с миникубом и подолью, можно будет поигратся
G72K
kube_proxy_mode перевели на ipvs вот этим PR
https://github.com/kubernetes-sigs/kubespray/pull/3760/files
Update defaults to ipvs and coredns
Нафига? Проблемы масштабирования iptables, которые ipvs пытался решить начинаются наверное с сотни нод, люди с такими кластерами и так знают , что им нужно. Зачем менять рабочий дефолт?
G72K
тут 50/50. Нельзя назвать это прям stateful. Это deployment с одним подом. И только одним, то есть strategy: Recreate, нам нельзя запускать одновременно два пода. То есть да, нам неприятно если под остановится, т.к. это игровой сервер и там идет матч (в среднем от 30 до 90 минут). Но в случае если нода упадет и куб перезапустит этот под на другой ноде жить можно, мы просто восстановим состояние из бд и все.
Вы говорили про hostNetwork, как оно по портам разгуливать будет? На каждой ноде из всего 65535, но т.к. непонятно на какой ноде будет запуск, то придется глобальный список портов вести
Ivan
Подлил пример с миникубом
Max
Вы говорили про hostNetwork, как оно по портам разгуливать будет? На каждой ноде из всего 65535, но т.к. непонятно на какой ноде будет запуск, то придется глобальный список портов вести
Поэтому я и хочу каждому деплойменту отдельный внешний ip давать. Очень хочется сделать без оверлейных сетей. Но я не знаю насколько это плохо.
Pavel
Нафига? Проблемы масштабирования iptables, которые ipvs пытался решить начинаются наверное с сотни нод, люди с такими кластерами и так знают , что им нужно. Зачем менять рабочий дефолт?
А разве kubeadm последних версий по дефолту ipvs не катит?
Felix
Может вы хотели сказать сайдкар? Сайдкик это бэкграунд джобы на рубях.
Может сайдкик в контейнере крутится?
cent
А calico уже production ready? У меня весь кластер ложится после создания сервиса с externalIPs на мастер.
Никита
А calico уже production ready? У меня весь кластер ложится после создания сервиса с externalIPs на мастер.
О, ты уже второй с таким вопросом)
Никита
Просто не указывай в качестве externalip айпишник ноды.
Rainbow
У меня уже пару раз взбешивались cronjob ночью (насоздавалось пачками в статусе pending) и выбивают ноды. ContainerGCFailed trying to send message larger than max
На скорую руку помогает только переустановка докера с нуля (меня путь до /var/lib/docker, чтобы быстрее переставить).
Подскажите манее радикальные способы.
Похоже какой-то компонент k8s пытается что-то сделать и фейлит из-за размеров пакета к apiserver. Но так догаться не могу.
cent
А где почитать по поводу того как в кубере calico завязан?
Дело в том, что я убиваю docker+kubelet, очищаю iptables , но сервера все равно не видят друг друга.
Rainbow
А где почитать по поводу того как в кубере calico завязан?
Дело в том, что я убиваю docker+kubelet, очищаю iptables , но сервера все равно не видят друг друга.
там же он не пересоздаёт вроде контейнеры, которые просто тормознили. stop kubelet, docker container prune может.
Rainbow
У меня вон выше где-то state сохраняется по ContainerGC. Я пока только целиком докер дропаю, так себе решение, но намекает, что где-то state остётся 🙈
cent
там же он не пересоздаёт вроде контейнеры, которые просто тормознили. stop kubelet, docker container prune может.
Так у меня докер вообще не запущен. Как мне prune поможет?