𝚔𝚟𝚊𝚙𝚜
@Maxpain177 а что у тебя за ноды? может тебе fencing к ним прикрутить?
Max
скорее всего
хм, ну с одной стороны это логично и правильно)
𝚔𝚟𝚊𝚙𝚜
http://github.com/kvaps/kube-fencing
Max
http://github.com/kvaps/kube-fencing
потыкаю, спасибо
𝚔𝚟𝚊𝚙𝚜
я к тому что, есть ли там ILO или internal managment какой?
𝚔𝚟𝚊𝚙𝚜
тогда не поможет тебе fencing
𝚔𝚟𝚊𝚙𝚜
ибо непонятно как фенсить
𝚔𝚟𝚊𝚙𝚜
Хотя если у тебя только deployment'ы то можешь просто сносить все Unknown поды, без зазрения совести, я так думаю
𝚔𝚟𝚊𝚙𝚜
ну или еще проще, не использовать Recreate
Denis
это как раз тот момент когда они в Unknown переходят
Ну вроде выше подобная беда. По умолчанию стоит этот параметр в 5 минут. У меня бывало когда нода не поднималась, все поды на ней Unknown становились, потом через некоторое время переесжали на здоровые ноды
A
Чем плох гластер может кто рассказать?
𝚔𝚟𝚊𝚙𝚜
Чем плох гластер может кто рассказать?
Медленный и иногда ломается интересно
𝚔𝚟𝚊𝚙𝚜
> ломается интересно так впрочем про любую кластерную фс сказать можно)
𝚔𝚟𝚊𝚙𝚜
Тоже самое о сеф слышал)
тебя не обманули)
A
Значит ничем не лучше не хуже получается
A
Вот сейчас специально сломать не могу гластер, удалить надо кластер и заново создать и фиг удалишь
Anton
> ломается интересно так впрочем про любую кластерную фс сказать можно)
Я вот эту штуку хочу попробовать - аналог S3. Говорят, не так ломается, да и пошустрей. https://www.minio.io/kubernetes.html
Etki
давно у вас S3 ломался?
Etki
амазон, безусловно, говно, но я не помню когда последний аутейдж был
Etki
а так стоит просто по минио в чате поискать
Anton
давно у вас S3 ломался?
Я имею ввиду, не так, как гластер
Puma
да s3 чет очень давно не ломался глобально , минио использую под кеш, тоже не ломается , но стоит на одной машине отвалится и будет даунтайм но там кеши только лежат в целом не критично
𝚔𝚟𝚊𝚙𝚜
Значит ничем не лучше не хуже получается
зависит от конкретных задач, я бы не стал так в лоб сравнивать
Puma
ну оно в целом при большой нагрузке ни разу не чихнуло , не увидел у него какого то кластерного вариант , так что если не смущает что самому надо размазывать то в целом норм работает
Vadim
minio все равно зависит от кубернетесовских PV
Puma
ну как напишешь от того и будет зависеть
Denis
это если они у тебя не Stateful и у тебя стораджей к ним не подключено
Да, это справедливо. Но вроде там писали, что не каких стораджей не было подключено к подам, которые в состоянии unknown
𝚔𝚟𝚊𝚙𝚜
Я хз, не пробовал, а minio вообще умеет кластеризацию?
𝚔𝚟𝚊𝚙𝚜
Да, это справедливо. Но вроде там писали, что не каких стораджей не было подключено к подам, которые в состоянии unknown
у него явно прописана политика Recreate что означает "не создавай новый под, пока старый не убъешь"
Олег
Суть в том, что для решения это задачи не обязательно настраивать что-то, относящееся к поду приложения твоего. Можно например через сущность сервиса настроится
прочитал еще раз доки, настроил, как там рекомендуется .... остался только 1 непонятный момент, что нужно прописывать в качестве хоста(я для конекта использую переменное окружение, для того чтобы указать, куда подключаться), для того чтобы подключиться, например к redis/db
Aleksey
Господа, коли вы тут про ceph и умершие ноды 🙂 Есть какое-то решение по быстрому отключению pv от пода, который был на умершей ноде? В цефе вроде как блокировки нет, как я понял блокировка висит в самом k8s.
Aleksey
если что то allow blacklist ставил, не помогает 🙂
𝚔𝚟𝚊𝚙𝚜
если нода падает, происходит fencing, после чего с ноды удаляются все поды и подключенные к ней волумы
Олег
для ответа мне недостаточно данных, но телепатия подсказывает "имя сервиса"
у всех сервисов имена прописаны имя сервиса для конекта, так же пробовал прописать в переменной но под, не находит сервис по тому имени
Валентин
у кого-нибудь была проблема при установке kubernetes на ArchLinux`fatal error: runtime: out of memory`?
А что ты собираешь? Все ж есть в пакетах уже бинарных (а чего нет - в ауре естьи собирается легко).
Aleksey
я уже много раз приводил что сам использую https://github.com/kvaps/kube-fencing
а можно меня ткнуть где происходит отключение волюмов?
Валентин
у кого-нибудь была проблема при установке kubernetes на ArchLinux`fatal error: runtime: out of memory`?
Единственный прикол, что я помню - у containerd пакета бинари странные, лично у меня сегфолтятся и я его пересобираю.
𝚔𝚟𝚊𝚙𝚜
если нода падает, происходит fencing, после чего с ноды удаляются все поды и подключенные к ней волумы
либо нужен cloud provider нормальный, он по сути делает тоже самое, фенсит ноду, затем удаляет ее из api
𝚔𝚟𝚊𝚙𝚜
а можно меня ткнуть где происходит отключение волюмов?
там dirty hack используется :) https://github.com/kvaps/kube-fencing/blob/master/fencing-controller/fencing-controller.sh#L61-L63
Валентин
у всех сервисов имена прописаны имя сервиса для конекта, так же пробовал прописать в переменной но под, не находит сервис по тому имени
Ну сервис если не в этом же неймспейсе,то тебе надо полное имя указывать, имясервиса.неймспейс.svc.cluster.local
𝚔𝚟𝚊𝚙𝚜
realy? delete node? 🙂
это normal behavior так любой cloud provider делает
𝚔𝚟𝚊𝚙𝚜
за исключением того что сразу не создает ноду заново с теми же параметрами
Vitalik
Единственный прикол, что я помню - у containerd пакета бинари странные, лично у меня сегфолтятся и я его пересобираю.
Ну я просто хотел локально kubectl поставить. Решил сбилдить. Уже поставиль kubectl-bin. Второй вопрос) minikube start не сработал. Please recompile the kernel module and install it by\n\n sudo /sbin/vboxconfig\n\n а такого файла просто нет
Aleksey
в жизни бы не додумался так лок снимать :))))))
𝚔𝚟𝚊𝚙𝚜
если пишешь свою реализацию можешь просто del(.status) попробовать, но я не уверен что это сработает
Aleksey
если пишешь свою реализацию можешь просто del(.status) попробовать, но я не уверен что это сработает
ну а для ленивых, для тех кто не хочет лезть в код и брутфорсить API. Лок в свойствах ноды или PV? Можно ли снять лок только с конкретно PV?
𝚔𝚟𝚊𝚙𝚜
ок, спасибо
но не забывай что тебе еще нужно будет снести все поды с нее и простым --force --grace-period=0 они не снесутся сразу, т.к. имеют finalizers
𝚔𝚟𝚊𝚙𝚜
точно, потому и был выбран путь удаления ноды, что бы уж точно никаких хвостов не оставалось
Aleksey
точно, потому и был выбран путь удаления ноды, что бы уж точно никаких хвостов не оставалось
значит будем менять свой bash-скрипт 🙂 ну или брать твоё поделье 🙂
Andor
> арч в проде
Валентин
> арч в проде
И? Убунту ж люди не боятся в прод, хотя я вот лично побоялся бы
Andor
если у тебя рач в проде, то тебе нечего бояться вообще
Валентин
Валентин
А не миллион пакетов сверху, которые мнетна проде не нужны
Andor
зачем тогда арч вообще?
Rainbow
и установка pacman -Syu всегда. Он не умеет частично. Как это у вас в проде живет?
Rainbow
Мне для рабочей машины норм, но прод...
𝚔𝚟𝚊𝚙𝚜
арч кстати вполне стабильная штука, на десктопе отлично работает и не ломается вот уже какой год. но вот для серверов меня больше alpine привлекает как ос :)
Grey
Ребят как деплоить docker pull tutum/hello-world и создать ему dns запись и обратиться?
𝚔𝚟𝚊𝚙𝚜
особенно когда он загружается в live сразу по pxe
𝚔𝚟𝚊𝚙𝚜
это чтобы libc в непредсказуемые моменты вёл себя не так как ожидается?
docker и kubelet там работают нормально, а что там еще нужно?
Andor
docker и kubelet там работают нормально, а что там еще нужно?
почвему бы не atomic или nix сразу тогда?