inqfen
При чем тут клаудпровайдер и зачем прокладка в виде опенстека
Отделение Bereke Bank
Отделение Bereke Bank
inqfen
ну вот помер мастер, надо новый
inqfen
не будут же они до конца вселенной жить
Отделение Bereke Bank
mk
насколько я представляю, в клауде автоджойнинг нод на совести самого клауда. а в случае баре метал?
George
на твоей )
inqfen
Блять
inqfen
Я умываю руки
George
посмотри доклад от Тинька - они собрали свой автоджойн на бареметале
George
но у них ноды грузятся в правильно подготовленный образ сразу. И там достаточно сложный воркфлоу
inqfen
Я тебе даже примерный процесс выше описал
George
https://www.youtube.com/watch?v=FBKSk22xBK4&list=PLQzTaxmOHjnv0tP_HDxsIvcuac2kkIJTQ&index=6
Валентин
А точно нужен автоджойнинг, прям авто? Сотни серверов в месяц добавляются? Надо ж сопоставлять затраты на автоматизацию, когда они дают выигрыш
Отделение Bereke Bank
Валентин
У меня 2 десятка кубовых машин - так я просто cordon и выключал лишние, пока новый год не начался
Lucky SB
коллеги. я тут под НГ решил обновится ))))
столкнулся с проблемой, что дрейн ноды выносит все поды не дожидаясь пока новые поднимутся на других узлах.
Lucky SB
в итоге не очень приятная ситуация, когда 200 подов в пендинге висят
Отделение Bereke Bank
Это в какой версии?
Lucky SB
и ждут шедулинга
Lucky SB
1.10
Отделение Bereke Bank
О Боже
Отделение Bereke Bank
Делай как я - обновляйся без дрейна 👍🏽
Lucky SB
работает - не трогай )))
Lucky SB
там докер 17.03
Gleb
Lucky SB
ну в общем у дрейна я вижу ключ
--timeout=0s: The length of time to wait before giving up, zero means infinite
Lucky SB
и вот читаю и хуею
Lucky SB
и думаю оно это или нет )
Lucky SB
и минутка некрофилии. kubectl 1.9.5 при drain хочет эвакуировать статические поды с узла. но потом говорит, что у них нет деплоймента, поэтому просит указать ключик —force
George
Старые кластеры боль
Tuntsov
Ребятки, привет. Подкиньте идейку, как изящнее выполнить задачку.
Есть под с 10+ контейнерами, все тянут один имадж, но все запускаются с разными аргументами, но у пары контейнеров разные креды в базу (то бишь 4 env'а разнятся), через secrets прокидывать, на мой взгляд, не вполне удобно, так как env'вы вытаскиваются из CI Variables, и кучу манифестов плодить не самая лучшая идея
𝚔𝚟𝚊𝚙𝚜
Ребятки, привет. Подкиньте идейку, как изящнее выполнить задачку.
Есть под с 10+ контейнерами, все тянут один имадж, но все запускаются с разными аргументами, но у пары контейнеров разные креды в базу (то бишь 4 env'а разнятся), через secrets прокидывать, на мой взгляд, не вполне удобно, так как env'вы вытаскиваются из CI Variables, и кучу манифестов плодить не самая лучшая идея
А ты хочешь раскатывать эти поды в виде одного деплоймента?
Tuntsov
Да, по сути — это один мультиконтейнерный под
𝚔𝚟𝚊𝚙𝚜
Ребятки, привет. Подкиньте идейку, как изящнее выполнить задачку.
Есть под с 10+ контейнерами, все тянут один имадж, но все запускаются с разными аргументами, но у пары контейнеров разные креды в базу (то бишь 4 env'а разнятся), через secrets прокидывать, на мой взгляд, не вполне удобно, так как env'вы вытаскиваются из CI Variables, и кучу манифестов плодить не самая лучшая идея
А в чём проблема-то создать один секрет, а каждому конкретному контейнеру назначить отдельные env из этого-же секрета?
Tuntsov
Хм, дергать по ключу их? Я об этом и забыл совсем
Vadim
Подскажие плиз, по вчерашней проблеме хочу rabbitmq-ha в bare metall запустить , создал sc, pv, указал в values.yaml
persistentVolume:
enabled: true
storageClass: rabbitmq-sc
name: data
accessModes:
- ReadWriteMany
size: 8Gi
annotations: {}
при установке создается pvc и привязывается к pv
root@node1:~/deploy# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
data-rabbitmq-rabbitmq-ha-0 Bound rabbitmq-data-ha 10Gi RWX rabbitmq-sc 4m12s
Но под не стартует с ошибкой:
error while running "VolumeBinding" filter plugin for pod "rabbitmq-rabbitmq-ha-0": pod has unbound immediate PersistentVolumeClaims
Что я делаю не так ?
Vadim
странно поставил на каталог 777 права - 1 под запустился, но второй висит в пендинг - тк создался еще один pvc и он висит с
Warning ProvisioningFailed 73s (x26 over 7m21s) persistentvolume-controller no volume plugin matched
pvc
root@node1:~/deploy# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
data-rabbitmq-rabbitmq-ha-0 Bound rabbitmq-data-ha 10Gi RWX rabbitmq-sc 19m
data-rabbitmq-rabbitmq-ha-1 Pending rabbitmq-sc 8m22s
Vadim
В итоге я сейчас сделал 3-и PV руками по числу нод на которых будет rabbitmq
root@node1:~/deploy/storage# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
data-rabbitmq-rabbitmq-ha-0 Bound rabbitmq-data-ha 10Gi RWX rabbitmq-sc 26m
data-rabbitmq-rabbitmq-ha-1 Bound rabbitmq-data-ha-1 10Gi RWX rabbitmq-sc 15m
data-rabbitmq-rabbitmq-ha-2 Bound rabbitmq-data-ha-2 10Gi RWX rabbitmq-sc 3s
Это нормально так делать ?
inqfen
3 pv норм
inqfen
Но сделай не руками
Vadim
А как ?
inqfen
А как деплоишь?
Vadim
деплою helm’ом
helm install rabbitmq stable/rabbitmq-ha -f rabbitmq-ha/production.yaml
Там про persitentVolume такие параметры:
## Data Persistency
persistentVolume:
enabled: true
## If defined, storageClassName: <storageClass>
## If set to "-", storageClassName: "", which disables dynamic provisioning
## If undefined (the default) or set to null, no storageClassName spec is
## set, choosing the default provisioner. (gp2 on AWS, standard on
## GKE, AWS & OpenStack)
##
storageClass: rabbitmq-sc
name: data
accessModes:
- ReadWriteMany
size: 8Gi
annotations: {}
Vadim
это все bare metal
inqfen
Ну в хельм шаблон и засунь, тебе по сути один цикл надо с итерацией от 0 до 2х и это подставить в имя вольюма
Vadim
ага понял, спасибо
Victor
В кубе 1.15 drain со всеми флагами силы не всегда поды эвакуирует - тоже неприятно.
Причем, удаляешь через delete поду и drain прокатывает.
Особенно это неприятно во время kubespray-выкаток на десятки нод
Dmitry
хз, помойму это хорошо. Особенно для тех, кто держит базы в кубе. Если у них какой-нибудь sts, если один под упал, второй под на ноде, которую ты drain'ишь, третий под работает. Если бы оно вырубало этот под в таких случаях с ноды, то в результате была бы упавшая база, которая например требует кворум.
Dmitry
Ну или каким-то чудом два пода из sts заехали на одну ноду
Victor
Victor
100% баг кубера
Dmitry
Victor
не знаю даже, не искал. Проявлялось пару раз и оба раза надо было срочно дрейнить ноду и не было времени подебажить особо. Не исключаю что проглядел какой-нибудь event.
Андрей
А как узнать реальный pid poda?
Андрей
Я использую microk8s и он не использует докер, а только его часть для создания контейнеров.
Андрей
Есть ли механизм в кубике?
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
а зачем? (просто интересно)
Андрей
через перф хочу посомтреть почему что делает процес
Андрей
Внутырь контейнера не ставиться
Андрей
Он просто всё время в сотоянии спячки. Вопрос почему.
Андрей
Да мнебы запущенное
Андрей
Просто это не сразу проявляется
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
там же можно по ps aux список процессов посмотреть
Андрей
там их дофига
Андрей
в том то и дело
𝚔𝚟𝚊𝚙𝚜
через crictl подключиться даже потыкать что-то
𝚔𝚟𝚊𝚙𝚜
можешь по cgroup идентифицировать какой именно контейнер тебе нужен
Андрей