NM
@corsars77 1.13.5
Там были траблы
Vladimir
Угу я нашел что были, а вот как по фиксить советуют обновиться, но на проде это так быстро не сделаешь
NM
https://github.com/kubernetes/kubernetes/issues/77476
NM
https://github.com/kubernetes/kubernetes/pull/76109
NM
Там же
NM
We should fix the description in cmd/kube-proxy/app/server.go on the cleanup-ipvs flag: "cleanup ipvs rules before running
Oleg
всем привет. имеется rook ceph rbd storageclass. хочу увеличить размер pvc, но ругается Ignoring the PVC: didn't find a plugin capable of expanding the volume; waiting for an external controller to process this PVC. в сторадж классе стоит allowVolumeExpansion: true не подскажете, что может быть ?
Oleg
а что это за экстернал ? просто на сайтике куба я вижу Kubernetes v1.11 ships with volume expansion support for the following in-tree volume plugins: AWS-EBS, GCE-PD, Azure Disk, Azure File, Glusterfs, Cinder, Portworx, and Ceph RBD или ceph rbd не то же самое что rook ceph ?
Sergei
https://github.com/ceph/ceph-csi/pull/331 они еше только в мастер подлили
Sergei
csi вот главное
Oleg
https://github.com/ceph/ceph-csi/pull/331 они еше только в мастер подлили
тоесть надо ждать когда в rook завезут, я правильно понял ?
Sergei
не обяазтельно
Sergei
можете сами ceph-csi обновить в deployment оператора в env добавьте - name: ROOK_CSI_CEPH_IMAGE value: "quay.io/cephcsi/cephcsi:v1.2.2»
Sergei
я правда хз, паблишится ли мастер в quay.io
Oleg
понял спасибо
Sergei
но если так горит, можете сами
Oleg
а вот такую штуку нарыл - external resizer - оно же мне тут не надо да, цеф типа сам сча умеет ?
Oleg
волюмы всегда боль чото у меня (
Sergei
ceph какой версии у вас, c ceph-csi не надо
Oleg
ceph какой версии у вас, c ceph-csi не надо
env: - name: ADDRESS value: unix:///csi/csi-provisioner.sock image: quay.io/k8scsi/csi-snapshotter:v1.2.0
Oleg
стоп не то
Oleg
image: quay.io/k8scsi/csi-provisioner:v1.3.0
Oleg
этот ?
Sergei
не я про сам ceph мимик наутилус? или вообще 12, не помню как он, и версия rook какая
Старый
Это все на отдельную SSD/NVME и на том же ноуте можно жить :/
проще тогда сделать как я, просто 2 nvme в ноуте
Старый
по 1 на ось
Oleg
в rook operator image: rook/ceph:v1.1.6
Sergei
там можно поднять tools контейнер и через него глянуть, ну или если ни чего не правили, то будет как https://github.com/rook/rook/pull/3889
Sergei
там вроде больше новых не было, в общем можете поправить, ROOK_CSI_CEPH_IMAGE, когда они там спулят, акуратней если это прод, там будут перезапущены csi-rbdplugin может, че нито отвалится
Sergei
и csi-cephfsplugin если юзаете cephfs
Petr
Кто-то пробовал эксплуатировать куб с включённым свопом на нодах? Как оно?
inqfen
Но зачем
inqfen
Вообще работать будет, почему бы и нет
Petr
Но зачем
А зачем в машине предусмотрены ремни и подушки безопасности?
Petr
Можно ведь и без них
inqfen
Своп - это когда ты ставишь 5е колесо на случай вышедшего из строя, но крутится оно не так
inqfen
У меня на прошлой работе(провайдер) помню на сервере itv забыли своп выключить - сложили часть каналов
Sn00part
своп не помогает в 99% случаев, все встает раком и вроде работает все по документам, но по факту нет
Sn00part
но это лучше в соседний канал
Sn00part
может у вас там магический оллфлэш за миллион баксов, там своп может и покатит
Dmitry
Ранчер ставит кластер за 2 минуты
Ага, а потом он за две минуты ломается, и человек бежит сюда с просьбой помочь его починить, но ему никто не поможет, так как разбираться что там ранчер с кубом творит никто не хочет. 😁 Кстати, а как там у ранчера с IaC?
Sn00part
когда ранчер ломается, куберу в целом насрать. ранчер вообще выключить можно. Если не использовать плюхи ранчера, типа мониторинга и пайплайнов, то ранчер в работе кубера не участвует, если кубер не менять в процессе.
Petr
своп не помогает в 99% случаев, все встает раком и вроде работает все по документам, но по факту нет
Как тогда можно защититься от оома и его коллег кроме тюнинга кублета?
Sn00part
Как тогда можно защититься от оома и его коллег кроме тюнинга кублета?
смотри, основная идея, чтобы шедулер понимал, насколько утилизированы ноды. Когда включен своп, шедулер начинает творить дичь, кубер перестает предсказуемо работать и начинается разного рода странные и непредсказуемые eviction, проепы хелсчеков и прочее
Sn00part
защититься от ООМ не получится, надо добавлять железо. свап от ООм в кубере не защищает, только добавляет проблем.
Sn00part
Ага, а потом он за две минуты ломается, и человек бежит сюда с просьбой помочь его починить, но ему никто не поможет, так как разбираться что там ранчер с кубом творит никто не хочет. 😁 Кстати, а как там у ранчера с IaC?
IaC это инфра как код? там есть ямлики в принципе, можно по ним разворачивать все. Ранчер с кубом творит почти ничего, добавляет только аннтотации, но они там нужны, если только менять кластер надо, либо разного рода мониторинги, пайплайны включать и прочее. Ну и не рекомендуется использовать ранчерские свистелки, типа создания сервиса на воркфлоу через УИ ранчера, тогда работать будет норм. Еще момент, там весь софт пересобран ранчером, тут еще могут быть проблемы.
Sn00part
половина клиентов у меня ранчерсервер вообще выключает до момента, когда надо обновить или изменить кластер, все остальное через kubectl работает ок. Надо включать прозрачный доступ, чтобы ранчер вообще не участвовал.
Petr
Сломать руки дешевле железа)
Sn00part
надо просто сменить парадигму и смириться, что в кластере постоянно все разломано, что ничего страшного в этом нет, что есть механизмы, которые это решают, но им надо достаточно ресурсов для этого. Как-то так
Petr
Sn00part
что касается свапа. там же есть Guaranteed pods, burstable pods, bestEffort pods вот это все становится непредсказуемым, если включен своп. Разработчики сказали, что добавлять поддержку свапа будет очень сложно, надо половину кубера переписать, утрируя.
Sn00part
К сожалению, эта парадигма не всегда работает. Иногда нужно чтобы программа просто выполнила свою задачу, а не перезапускалась постоянно
если в кубере это не получается, значит это неправильная архитектура приложения, либо недогруз ресурсов, а заклинание для добавления из воздуха еще не подвезли )
Sn00part
https://github.com/kubernetes/kubernetes/issues/53533
Petr
Но мы живём не в вакууме, поэтому приходится работать с тем что есть
Sn00part
я думаю, они сделают таки возможность использовать свап для выборочных подов, в редких случаях его можно включить без ущерба
Sn00part
но сколько я свапящихся систем не видел, там они не работают в итоге, все пятисотит и прочее. лучше тогда упасть совсем и сделать фейловер, чем кидать клиенту непредсказуемые пятисотые и 13 секунд на запрос в апи
Отделение Bereke Bank
для большой джобы нужен большой воркер)
Sn00part
ну я бы сгруппировал такие поды по разным нодам, либо убрал с таких нод другую нагрузку, если там действительно пейлоад прилетает такой, что пстц
Sn00part
у нас джавы много, так и делаем, вроде норм работает
Igor
я думаю, они сделают таки возможность использовать свап для выборочных подов, в редких случаях его можно включить без ущерба
так а разве сейчас какой-то костыль нельзя вставить чтобы работал swap ? Типа поднять kubelet когда свап вырублен , а потом его врубить.
Petr
для большой джобы нужен большой воркер)
370 Гигов не хватило... Но это скорее вопрос к разрабу почему так кушает
Andrey
Отделение Bereke Bank
Petr
https://access.redhat.com/solutions/3242331
Andrey
Этот совет какое-то говно. Почему же этот совет говно? Потому что все нюансы планировщика, QoS и прочих вещей в кубе, касающиеся resources поля в Container и мониторинг тоже полетит в жопу непредсказуемую. Если есть приложение, которому нужен (не нужен, а НУЖЕН) swap (убогая старая большая база данных), следует разместить её подальше от кластера Kubernetes. Лучше в мусорной корзине со стенками из крупной сеточки, чтобы к SAN'у подключать удобно было.
Tadeusz
сохраню для следующего раза когда попросят включить swap
пытался смотреть это... такой он тупой, пиздец
Sn00part
Eviction hell это занимательно )) нихера не работает и починить непонятно как. Случается, когда включён свап. Так что на свой страх и риск. Могут набижать ретрограды щас опять. Но в целом, коммунити против свапа
Sn00part
По причинам, озвученным выше. На данный момент в шедулере нет логики учёта свапа. Потому что там что-то учесть невозможно. Джава со свапом и похапе со свапом ведут себя по-разному.