и ноды

Всем привет. Объясню ситуацию. Включал аудит api-servera, он был запущен как static pod, мувнул манифест, изменил, мувнул обратно. Начинаю стучаться kubectl получаю The connection to the server 192.168.252.100:6443 was refused - did you specify the right host or port? Если смотреть через docker ps, то api-server запущен. В логах kubele node not found. Я так понимаю нода вывалилась из кластера, кто подскажет как вернуть обратно?

@kvaps не поднимал в кубере контейнеры, где больше чем один процесс ? по сути с полноценным линухом внутри. Ты как-то говорил, что в кубере крутишь почти всю инфру

про бестпрактики того, что должно быть в докер-контейнеры просьба не упоминать. Я в курсе

Всем привет! Если restartPolicy Never неудачные кроны не будут перезапускаться?

@kvaps не поднимал в кубере контейнеры, где больше чем один процесс ? по сути с полноценным линухом внутри. Ты как-то говорил, что в кубере крутишь почти всю инфру

Да, по процессу на контейнер, в одном поде может быть несколько контейнеров

пихать systemd/openrc в контейнер я бы не советовал, но если очень хочется, то лучше заюзать supervisord

Да, по процессу на контейнер, в одном поде может быть несколько контейнеров

ну это понятно. Просто довольно геморно существующую инфру переделывать на docker-style

пихать systemd/openrc в контейнер я бы не советовал, но если очень хочется, то лучше заюзать supervisord

для песочницы поднимал и было все ок

ну это понятно. Просто довольно геморно существующую инфру переделывать на docker-style

Может вам лучше в LXC тогда?

Может вам лучше в LXC тогда?

ты телепат! У меня lxc уже несколько лет :)

просто идея в том, чтобы перенести в кубер

lxc просто прекрасен, но это совсем не докер-стайл

причем lxc оркестрируется опенстеком. Но работаеть на два фронта: докер и openstack - затратно

Просто запихнуть сущестующие сервисы в docker-имаджи можно, но имхо особого смысла в этом нет. Ведь это совсем другой набор практик, здесь у вас имеет значение не только запустить, но так же и автоматически собирать логи, метрики, балансировать и т.п. Причём ваше приложение работающее в контейнере не обязанно ничего из этого уметь, оно просто запускается как процесс и пишет в /dev/sdout /dev/stderr, всё остальное делает куб

На самом деле запустить несколько контейнеров в поде - это не так уж и сложно, особенно учитывая что у них общая сеть и может быть общий сторадж

лучше делать сразу правильно, т.к. потом всёравно придётся переделывать

лучше делать сразу правильно, т.к. потом всёравно придётся переделывать

это ключевое видимо :)

а где проводите границу между кубером и open nebula ?

у меня сложилось возможно ошибочное мнение, что кроме кубер еще и небула есть

а где проводите границу между кубером и open nebula ?

Куб - для сервисов, OpenNebula - для виртуалок OpenNebula - это тоже сервис, потому и крутится в кубе

Куб - для сервисов, OpenNebula - для виртуалок OpenNebula - это тоже сервис, потому и крутится в кубе

т.е. не все в кубере. Есть и просто виртуалки.

мы вместо виртуалок запускаем lxc-контейнеры в openstack

в небуле lxc не прикручивали ?

т.е. не все в кубере. Есть и просто виртуалки.

виртуалки-as-service, в нашей инфраструктуре мы не используем виртуализацию, но мы их продаём

виртуалки-as-service, в нашей инфраструктуре мы не используем виртуализацию, но мы их продаём

а, ясно :) спасибо

мы вместо виртуалок запускаем lxc-контейнеры в openstack

У нас есть несколько внутренних сервисов, которые работают в LXC, но это сервисы которые поставил и забыл, в основном всякие комбайны вроде Kolab / FreeIPA / Zabbix, то что работает в единичном экземпляре и что стоит больших усилий запихнуть в куб. Мы используем Proxmox.

в небуле lxc не прикручивали ?

Это вам лучше в @opennebula спросить

У нас есть несколько внутренних сервисов, которые работают в LXC, но это сервисы которые поставил и забыл, в основном всякие комбайны вроде Kolab / FreeIPA / Zabbix, то что работает в единичном экземпляре и что стоит больших усилий запихнуть в куб. Мы используем Proxmox.

proxmox для запуска lxc-контенеров ?

proxmox для запуска lxc-контенеров ?

Ну да. Штатная весч. И работает на ура

Ну да. Штатная весч. И работает на ура

не сравнивали его с openstack.... хотя он и не умеет из каропки нормальный lxc.. лан сорян за оффтоп

не сравнивали его с openstack.... хотя он и не умеет из каропки нормальный lxc.. лан сорян за оффтоп

да, про lxc можно в @pro_kvm поболтать

пихать systemd/openrc в контейнер я бы не советовал, но если очень хочется, то лучше заюзать supervisord

Чегойто?

Чегойто?

ну это как минимум странно

Как минимум это требует дополнительных неприятных телодвижений

По крайней мере в рамках докера

ну это как минимум странно

Как минимум странно переписывать готовые юниты в какую-то поделку, нет?

Как минимум странно переписывать готовые юниты в какую-то поделку, нет?

А зачем вообще юзать юниты если куб и сам может следит за процессом в контейнере? Просто указал команду для запуска и погнал...

Зато логирование нормально работать будет, и event'ы, сразу можно будет понять когда какой контейнер упал

А зачем вообще юзать юниты если куб и сам может следит за процессом в контейнере? Просто указал команду для запуска и погнал...

Нет, ну в контексте "вот очэ надо запустить несколько процессов"

Всем привет! Столкнулся с багом при создании сервиса с типом лоад балансер и типом трафика локал. NodeHealthCheck возвращает 503 - мол нет локальных подов. Но у меня однонодовая конфигурация (aws) так что под есть и он естественно на этой же ноде. В сервисе в эндпоинтах под есть.

@inish777 Вобщем так: Когда мы меняем тип трафика с кластер на локал для сервиса - кубепрокси конфигурит правила на основе hostname самого хоста и имени ноды в кубере (то имя которое мы получаем по kubectl get no). Они должны быть ОДИНАКОВЫМИ! Так вот, если эти имена разлины, то соответственно никакие правила не будут сформированы и хэлсчек будет фэйлиться (ошибка 503), правила айпитэйблс для нодэпорта также не будут сформированы. Как только поменял hostname на то имя которое в кубере - все заработало! Почему хостнэйм и имя ноды в кубере были различны - мы сменили хостнэйм у инстанса. Попытка заоверрайдить имя хоста в конфигах кубелета никчему не привела - для AWS провайдера это сделать НЕЛЬЗЯ. Вот такие дела.

проблема может возникнуть, если процесс не умеет не форкаться

Всем привет. Объясню ситуацию. Включал аудит api-servera, он был запущен как static pod, мувнул манифест, изменил, мувнул обратно. Начинаю стучаться kubectl получаю The connection to the server 192.168.252.100:6443 was refused - did you specify the right host or port? Если смотреть через docker ps, то api-server запущен. В логах kubele node not found. Я так понимаю нода вывалилась из кластера, кто подскажет как вернуть обратно?

Кубконфиг скопировать не забыли?

Посоны, если kubeadm alpha certs renew all сделать или на старых версиях где этого нет каждый сертификат в отдельности генерить kubeadm alpha phase certs apiserver-kubelet-client итд итп, так вот вопрос: это на каждом мастере нужно делать или сертификаты можно руками по мастерам растащить-растиражировать?

на аликлауд поищи там у ребят был один контейнер и скрипт

для обновления сертов.

Нет, ну в контексте "вот очэ надо запустить несколько процессов"

Ага, только там нужно сделать дополнительные действия, чтобы тот же системд завести - что-то с привилегиями, что-то с дбас. Это не то, что невозможно, но смысла нет. Проще юниты на куб манифесты переделать, ога

Ага, только там нужно сделать дополнительные действия, чтобы тот же системд завести - что-то с привилегиями, что-то с дбас. Это не то, что невозможно, но смысла нет. Проще юниты на куб манифесты переделать, ога

https://developers.redhat.com/blog/2016/09/13/running-systemd-in-a-non-privileged-container/ https://developers.redhat.com/blog/2019/04/24/how-to-run-systemd-in-a-container/ "Проще" переделай какой-нибудь libvirt и его сервисы в контейнеры, ага

https://developers.redhat.com/blog/2016/09/13/running-systemd-in-a-non-privileged-container/ https://developers.redhat.com/blog/2019/04/24/how-to-run-systemd-in-a-container/ "Проще" переделай какой-нибудь libvirt и его сервисы в контейнеры, ага

Между прочим, я читал это, спасибо.

https://developers.redhat.com/blog/2016/09/13/running-systemd-in-a-non-privileged-container/ https://developers.redhat.com/blog/2019/04/24/how-to-run-systemd-in-a-container/ "Проще" переделай какой-нибудь libvirt и его сервисы в контейнеры, ага

> "Проще" переделай какой-нибудь libvirt и его сервисы в контейнеры, ага А ты этим занимался?

Я просто запускал либвирт в контейнерах без системд, никаких проблем с этим не было

Я просто запускал либвирт в контейнерах без системд, никаких проблем с этим не было

Учитывая, что у системд своё видение иногда на работу с неймспейсами, сигрупами - это даже хорошо. Мы натыкались в своё время на «бодание» системд и либвирта

Учитывая, что у системд своё видение иногда на работу с неймспейсами, сигрупами - это даже хорошо. Мы натыкались в своё время на «бодание» системд и либвирта

Системди и с докером умудряется воевать

👍

Привет, у меня в кубе при нехватке памяти вешается воркер, только ребут помогает. Контейнеров много, лимиты пока ставить не получается, потому что приложение тормозит с лимитами(будем ставить как разберемся в чем трабла). Можно как-то кублет настроить, чтобы при приближении oom он мочил самый прожорливый Под(чтобы воркеры то не вешались)?

Привет, у меня в кубе при нехватке памяти вешается воркер, только ребут помогает. Контейнеров много, лимиты пока ставить не получается, потому что приложение тормозит с лимитами(будем ставить как разберемся в чем трабла). Можно как-то кублет настроить, чтобы при приближении oom он мочил самый прожорливый Под(чтобы воркеры то не вешались)?

можно попробовать oomd заюзать

https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/#node-oom-behavior похоже то, что надо

--eviction-hard=memory.available

поздравляю всех любителей vscode. теперь можно получить номальные хорошо отсортированные манифесты для кубера. я тыкаю паолчкой вот этого товарища и он делает хороршо https://github.com/pascalre/vscode-yaml-sort

поклонники других ide очевидно страдают от того что их манифесты выглядят как чертишто.

поздравляю всех любителей vscode. теперь можно получить номальные хорошо отсортированные манифесты для кубера. я тыкаю паолчкой вот этого товарища и он делает хороршо https://github.com/pascalre/vscode-yaml-sort

Э? Оно сортирует строчки в ямле?

да.

Почему бы просто линтер не написать, было бы полезнее

Почему бы просто линтер не написать, было бы полезнее

ты написал его ?

Я не страдаю от порядка строчек

поклонники других ide очевидно страдают от того что их манифесты выглядят как чертишто.

А я лично тащусь с vim-jsonnet, правда с yaml'ом в виме действительно бывают косяки, видимо это специфика включённого autoindent, не могу я без него...

к тому же линтер не фиксит проблемы а создает их (ну ок ок оповещает о них)

к тому же линтер не фиксит проблемы а создает их (ну ок ок оповещает о них)

Ну может и фиксить

Ну может и фиксить

жду твою реализацию. очень. правда.

Я не страдаю от порядка строчек

Да и начинаю по-тихонечку заражаться jsonnet'ом

жду твою реализацию. очень. правда.

На nodejs пойдёт? Можно выковырять из плугина

Но имхо, манифест описанный в jsonnet'е с автоформатированием выглядит лучше и работать с ним удобнее чем с ямлом, не смотря на наличие скобочек

На nodejs пойдёт? Можно выковырять из плугина

наплевать на чом. я буду запускать ёё в докере.

одна беда у той реализации. не умеет дружить с комментами

Но имхо, манифест описанный в jsonnet'е с автоформатированием выглядит лучше и работать с ним удобнее чем с ямлом, не смотря на наличие скобочек

выглядит он хуже. работать с ним не удобнее. но путь jsonnet правильнее.

Даёшь YAML для роботов и JSON для человеков!

хуже всего в json нет что у него нет пути обратно. он только в одну сторону рендерится

нельзя из имеющеггося манифеста сделать jsonnet

и это всё портит и пикает

выглядит он хуже. работать с ним не удобнее. но путь jsonnet правильнее.

попробуй поработать с ним со включенным автоформатированием и с подсветкой синтаксиса, тут реально можно кайфонуть.