Logan
можно экспортировать через NFS несколько точек в единую файлсистему и каждую точку клеймить отдельно
Logan
решение на костылях, в целом опасное
V
но у меня не ceph а GCE ( google disk)
Vladimir
gce persistent disks либо read/write once (только один под), либо read only many (много подов)
V
gce persistent disks либо read/write once (только один под), либо read only many (много подов)
а можно read many , write once
Vladimir
можно наверно. но не gce persistent disks
Vladimir
nfs paas в gce нету, только если самому поднимать
Logan
write-many – сценарий исключительно опасный
Logan
мне нужно один пишет все читают но на гугл диске
read-many это позволяет, насколько я помню, посмотрите в документации
Alexander
Была альфа фича в 1.9 для проброса девайсов ( GPU)
пока нашел только для nvideo - мне нужно прокинул intel gpu
Alexey
Добрый вечер, у меня кластер на AWS с weave (в 3х зонах), weave постоянно моргает с fastdp на sleeve, иногда поды теряют сеть (днс не резолвится, не может подключиться к другому поду или внешнему сервису, в то же время на других подах все хорошо) - никто не сталкивался? даже непонятно как дебажить, случается очень непредсказуемо
Lex
Есть вопрос, как можно даунскейлить реплика контроллер но что-бы он не убивал поды а ждал их завершения? Или лучше джобы для этого использовать?
Anton
в кластере? будем считать это частным случаем nodeport
Ващет nodeport это iptables и прочее, а hostnetwork прослоек не использует.
G72K
Есть вопрос, как можно даунскейлить реплика контроллер но что-бы он не убивал поды а ждал их завершения? Или лучше джобы для этого использовать?
Вы хотите чтобы поды сами умирали, но не стартовали? Или им все таки сигнализировать хотите, чтобы умерли, но насильно не прибивать?
Lex
Вы хотите чтобы поды сами умирали, но не стартовали? Или им все таки сигнализировать хотите, чтобы умерли, но насильно не прибивать?
Условно, Я уменьшаю реплика каунт и кубер не убивает поды но стартует новые если их стало меньше чем реплика каунт
Lex
Они сами дохнут
Lex
Вы хотите чтобы поды сами умирали, но не стартовали? Или им все таки сигнализировать хотите, чтобы умерли, но насильно не прибивать?
Хотя с сигнализированием таки тоже отлично, да
Lex
Очень даже
Lex
Они висят на очереди в лупе и ждут задание, получив его отрабатывают и дохнут
Lex
Но вот пока они отрабатывают их желательно не убивать
Lex
Очень и очень желательно
G72K
Делайте graceful shutdown timeout (забыл конкретное название поля в поде) больше чем максимальное время выполнения жобы, игнорьте все сигналы пока жоба активна
Lex
О, вариант, спасибо
Lex
Вообще отлично
Eugene
Пишу конфигфайл для kubeadm. Как вытащить полную актуальную "карту" ключей/значений принимаемую им?
Чтобы не выискивать их на гитхабе и не угадывать правильное написание, как здесь:
https://github.com/kubernetes/kubernetes/issues/55566
Alex
Ребята и девчата, никто из вас не сталкивался с документом как лучше твикнуть ОС перед разворачиванием кубера? Нагрузка предполагается выше среднего 😉
Andrei
Ребята и девчата, никто из вас не сталкивался с документом как лучше твикнуть ОС перед разворачиванием кубера? Нагрузка предполагается выше среднего 😉
Могу предположить что ничем не отличается от базового тюнинга сервера под веб
sherzod
Привет! Собираюсь сделать автообновление сертификатов
Коллеги, поделитесь кто чем пользуется, плюсы минусы
sherzod
Пока нагуглил kube-lego, смотрю подходит ли он, у нас load balancer не кубовый, GCE-шный
Evgeny
Пользуем kube-lego в гугл клауде, с gce-шным балансером, всё работает как часы
V
ребята помогите ? ! я сделал pvc для GCE (в документации указано что он может быть ReadOnlyMany) но когда я запускаю две поды которые присоединяют к себе этот диск одна из них не стартует и пишется ошибка (unable to mount volumes for pod .... )
Алексей
ребята помогите ? ! я сделал pvc для GCE (в документации указано что он может быть ReadOnlyMany) но когда я запускаю две поды которые присоединяют к себе этот диск одна из них не стартует и пишется ошибка (unable to mount volumes for pod .... )
по идее на одной поде ещё должна быть опция монтирования readonly
хотя я могу ошибаться, это просто логическое умозаключение )
sherzod
Пользуем kube-lego в гугл клауде, с gce-шным балансером, всё работает как часы
спасибо за отзыв) буду пробовать потихоньку
sherzod
ребята помогите ? ! я сделал pvc для GCE (в документации указано что он может быть ReadOnlyMany) но когда я запускаю две поды которые присоединяют к себе этот диск одна из них не стартует и пишется ошибка (unable to mount volumes for pod .... )
kubectl describe pvc <name> | grep -e 'Access\|Status' покажите
V
kubectl describe pvc <name> | grep -e 'Access\|Status' покажите
Status: Bound
Access Modes: RWO,ROX
sherzod
ну видимо просто надо убедиться что все поды mount-ят его ro
sherzod
и убедиться что никто другой до этого не держит его
V
но не помогает
sherzod
попробуйте отключить все поды и посмотреть не занят ли claim
V
я вот его только что удалил сейчас пересоздам
G72K
а как в этом убедиться
Посмотреть на него в виде yaml и найти объяснение каждой строчке: откуда, что означает. Я не против помощи и ответов но вот вы злоупотребляете который день и ощущение такое, что не хотите сами ничего делать.
sherzod
Хмм... kube-lego оказывается задеприкейтили. Отсылают сюда, https://github.com/jetstack/cert-manager/
интересно...
Etki
Roman
ребята помогите ? ! я сделал pvc для GCE (в документации указано что он может быть ReadOnlyMany) но когда я запускаю две поды которые присоединяют к себе этот диск одна из них не стартует и пишется ошибка (unable to mount volumes for pod .... )
Не уверен что так в гугле работает но в авс если создаешь pvc то он может примаунтиться только на один инстанс так как создаётся волум в самом клауде . Если поды живут на разных то и не получится монтировать
Roman
Нужно юзать какую-то фс а не блочное устройство на инстансах. Типа nfs, ceph , aws efs
V
V
но придётся попробовать nfs
RE
перехожу со сварма на кубер.
както можно куберу сказать, что на определенной ноде нужно ранать только один определенный контейнер (под?) и больше никакие другие поды чтобы там не стартовали?
Andrey
навесить taint и label а этому поду указать tolerations и nodeselector
RE
это только с версии 1.9 вроде?
Andrey
можно запустить как daemonset с nodeselector
Andrey
это с версии 1.6 точно есть, если не с 1.5
RE
с 1.7 вроде тока
а что за daemonset, он в 1.5 есть? доку не вижу..
Andrey
https://v1-6.docs.kubernetes.io/docs/concepts/configuration/assign-pod-node/
Eugene
В node affinity/anti-affinity можно как то захерачить шоб не больше 2х подов на ноду падало определенного деплоймента?
Vadim
В node affinity/anti-affinity можно как то захерачить шоб не больше 2х подов на ноду падало определенного деплоймента?
можно, но лучше через max-pods в кубелете
Maksim
В node affinity/anti-affinity можно как то захерачить шоб не больше 2х подов на ноду падало определенного деплоймента?
https://kubernetes.io/docs/concepts/configuration/assign-pod-node/#inter-pod-affinity-and-anti-affinity-beta-feature Всё что тут есть то есть
Andrey
affinity отрабатывает только на старте, моргнет сеть и привет
Vadim
ну я не буду гадать что имел в виду ОП - 2 пода деплоймента или вообще 2 пода, пусть читает и выбирает
Andrey
оп хочет странного, но задачка прикольная)
Eugene
Что странного то? есть микросервис который хоть где запущенный утилизирует только 1 ядро, есть серверы с N ядер, я хочу шоб на каждый упало по X подов максимум, где то 4 а где то 0 вообще не вкусно получается, да задачу можно решить сделав X деплойментов с анти-аффинити, заигрыванием с Resource Request, либо писаниной своего оператора, но вот решил спросить может быть есть более элегантное решение
Andrey
первый вариант, оператор не нужен
Alexey
вот Resource Request для этого и был придуман, как мне казалось раньше
Maksim
Что странного то? есть микросервис который хоть где запущенный утилизирует только 1 ядро, есть серверы с N ядер, я хочу шоб на каждый упало по X подов максимум, где то 4 а где то 0 вообще не вкусно получается, да задачу можно решить сделав X деплойментов с анти-аффинити, заигрыванием с Resource Request, либо писаниной своего оператора, но вот решил спросить может быть есть более элегантное решение
А ты реквесты пиши, и шедулер будет ровным слоем размазывать....
Andrey
ну это если других контейнеров нет, правильно ?
Eugene
Дох*ща
Andrey
короче выход делать несколько деплойментов с привязкой к nodeselector
Andrey
кол-во нод = кол-во деплойментов
Eugene
Да что так что с антиаффинити, есть жирный минус, появится дополнительный гемморой с Rolling, A/B, Blue/green deployment
Сергей
Народ, подскажите как kubelet может стартовать первый apiserver из своего манифеста, если ещё ни один apiserver недоступен? Все они стартуют манифестами через kubelt на нодах и я не пойму как стартовать первый
Сергей
Он долбится на load-balancer, но ни одного api-server ещё нет и поэтому не стартует ни одного первого :) Мюнхаузен :)
Maksim
У кублета де есть ключ, котрым ему можно скормить yaml