Andor
Вкратце содержание предыдущих серий: - база в кубе зло, контейнер рестартанет и пиздец - так вольюмы же - не панацея, багов в докере дохера - не используй докер, есть crio,containerd/докер стал лучше - ваш куб все ресурсы заберёт у базы - так мы на отдельные ноды шедулим и тейнтим там - так зачем тогда куб? Ставьте рядом на виртуалку - куб даёт повторяемость деплоя, готовые рецепты ввиде операторов, единообразный мониторинг, rbac/network policy и проч - ваш куб скрывает прямой доступ, как мне psql запускать или конфиг править, файлики двигать? - ну есть kubectl exec в контейнер (тут кубоводы очевидно забивают на повторяемость результатов и автоматизацию ухода за базами :) - у меня куча тулзов и скриптов на все случаи жизни, из никогда не будет в контейнере в нужный момент - ну можно kubectl port forward, можно дебаг контейнер собрать и запустить с тем же pvc , можно подстелить соломку и таки положить нужные бинарники в контейнер с базой - ни один нормальный ДБА не примет куб, он не может отвечать за то, что он не контролирует, все многолетние наработки и опыт придется переделывать - ну прогресс же, не умеешь клауднатив - вон из профессии - вы сами то какие базы держите у себя раз за куб топите? - а ну мы пока экспереиентируем, базы пока на виртуалках, но скоро вот точно будем в кубе/ у нас ВордПресс с mysql на 200 мб в кубе в проде! - а ну ясно, на будущее, база это оракл на пару террабайт минимум, как дорастете и отрастите яйца ее в кубе пускать - там поговорим :) #базавкубере
#платиновые_треды_k8s
Rainbow
redirect http->https
Alexey
Вкратце содержание предыдущих серий: - база в кубе зло, контейнер рестартанет и пиздец - так вольюмы же - не панацея, багов в докере дохера - не используй докер, есть crio,containerd/докер стал лучше - ваш куб все ресурсы заберёт у базы - так мы на отдельные ноды шедулим и тейнтим там - так зачем тогда куб? Ставьте рядом на виртуалку - куб даёт повторяемость деплоя, готовые рецепты ввиде операторов, единообразный мониторинг, rbac/network policy и проч - ваш куб скрывает прямой доступ, как мне psql запускать или конфиг править, файлики двигать? - ну есть kubectl exec в контейнер (тут кубоводы очевидно забивают на повторяемость результатов и автоматизацию ухода за базами :) - у меня куча тулзов и скриптов на все случаи жизни, из никогда не будет в контейнере в нужный момент - ну можно kubectl port forward, можно дебаг контейнер собрать и запустить с тем же pvc , можно подстелить соломку и таки положить нужные бинарники в контейнер с базой - ни один нормальный ДБА не примет куб, он не может отвечать за то, что он не контролирует, все многолетние наработки и опыт придется переделывать - ну прогресс же, не умеешь клауднатив - вон из профессии - вы сами то какие базы держите у себя раз за куб топите? - а ну мы пока экспереиентируем, базы пока на виртуалках, но скоро вот точно будем в кубе/ у нас ВордПресс с mysql на 200 мб в кубе в проде! - а ну ясно, на будущее, база это оракл на пару террабайт минимум, как дорастете и отрастите яйца ее в кубе пускать - там поговорим :) #базавкубере
это прекрасно )))
Kirill
я вот так написал https://paste.ee/p/MJKZ1
Rainbow
я вот так написал https://paste.ee/p/MJKZ1
нет смысла писать анотацию. By default the controller redirects HTTP clients to the HTTPS port 443 using a 308 Permanent Redirect response if TLS is enabled for that Ingress. У вас где-то ошибка в другом месте скорее всего
Andor
посоны, есть у кого готовый хук для рестарта пода по вебхуку из алертменеджера?
Mikhail
развернул кластер по мануал the-hard-way. и такой вопрос, что такое cluster-ip, почему он 10.32.0.0/24 и должен ли он пинговаться?
Mikhail
этот диапозон не пересикается ни с чем и не пингуется
Mikhail
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/kubernetes ClusterIP 10.32.0.1 <none> 443/TCP 15m
Mr.
это диапазон в котором будет подам выделяться ip в твоем кластере
Etki
айпишники сервисов существуют только в правилах редиректов пакетов
Mikhail
подам выделяется из 10.200.0.0/16
Denis
этот диапозон не пересикается ни с чем и не пингуется
И не будет. Там если не ошибаюсь в правилах iptables reject icmp увидеть можно
Mikhail
Это диапазон для Service
я создал сервис $ cat nginx-svc.yaml apiVersion: v1 kind: Service metadata: name: my-nginx labels: run: my-nginx spec: ports: - port: 80 protocol: TCP selector: run: my-nginx он получил ип 10.32.0.55, должен ли он пинговаться из другого пода?
A
С gluster кто-то работает?
Puma
имел большой продакшен период с гластером , сказать честно печальный, не знаю как люди его готовят
Puma
про ceph усиленно читал два дня на выходных , тоже не сказать что просто готовится
Puma
видимо буду его использовать , вроде как он стандарт дефакто для кубера же
A
Но у меня чисто практический вопрос, сделал кластер, три ноды по одному девайсу на каждой, на этих девайсах увеличили объем, а гластер об этом никак не может узнать, что делать не знаю уже... Кто нибудь может сталкивался с таким?
Vitalik
у кого-нибудь была проблема при установке kubernetes на ArchLinux`fatal error: runtime: out of memory`?
Puma
Но отзывы не очень вроде как...
ну отзывы будут у всех не очень так как гластер и цепх сложно готовить , а если не умеешь то будет как всегда не очень
Vitalik
кончилась память , наверно не связано с арчем
Ну в том то и дело, что 10 гигов кончается при билде. Обидно как-то, может надо env какие-то поставить
Puma
слава богу нет
ну я вчера относительно глубоко вник и увы это не сказать что просто , в целом то если накатить его ничего не понимая то да не проблема, а ведь надо еще как то понимать что куда и зачем, так как из за него будет вставать колом вся система
𝚔𝚟𝚊𝚙𝚜
не, я в целом не про ceph, а про "дефакто стандарт"
Puma
ну на вскидку в большинстве инсталяций если не брать локальный сторадж вижу везде ceph , а ест ькакой то другой лидер о котором все молчат ?
Max
Привет. У меня после падения одной из пяти машин некоторые поды получили статус Unknown и даже спустя час куб не удалил их. Из-за чего это может быть? v1.11.2
Max
Когда машина поднялась, поды удалились
Puma
для мониторинга везде вроде прометей, для логок ефк , для сетевой файловой системы ceph, других вариантов то особо не вижу
Puma
в том то вся и проблема, что другие варианты еще хуже)
ну может быть он не так плох как гластер )
Михаил
Mentat
ceph это про безысходность
В цеф-фс ровно два стула, либо ты даешь ему ресурсов с превышением процентов 20-30, либо терпишь падение производительности по случайным поводам)
Puma
в целом расскажу через несколько месяцев )))
Puma
В цеф-фс ровно два стула, либо ты даешь ему ресурсов с превышением процентов 20-30, либо терпишь падение производительности по случайным поводам)
ну в таких системах это везде , как будто в кубере ты не даешь ресурсов боьлше и прямо память режешь до мегабайта
Mentat
кому надо вообще cephfs для кубера?
Некоторые странные люди хотят мульти-маунт. Это примерно как мастер-мастер у базистов, никто не знает зачем, но все хотят
Puma
кому надо вообще cephfs для кубера?
а где диски сетево хранить ? какие еще есть варианты мейнстримовые?
Puma
Некоторые странные люди хотят мульти-маунт. Это примерно как мастер-мастер у базистов, никто не знает зачем, но все хотят
не ну а как у тебя будет переезжать под с персистент волюмов на другую ноду без сетевого диска ?
Puma
сетевые диски хранить в ceph rbd
ну это однохренственно в стеке ceph
Михаил
не ну а как у тебя будет переезжать под с персистент волюмов на другую ноду без сетевого диска ?
а теперь иди и разбирайся что такое сетевой диск, что такое кластерный сторадж
Mentat
не ну а как у тебя будет переезжать под с персистент волюмов на другую ноду без сетевого диска ?
Мы с Мишей про cephfs, а не ceph-rbd. С ceph-rbd у тебя все норм будет, не парься
Puma
ну я еще только вникаю , подаван в общем
Mentat
ну я еще только вникаю , подаван в общем
Кратко: ceph бывает разный. Бывает блочный - ceph-rbd, бывает s3-стайл - это ceph-rados, бывает файловый - ceph-fs
𝚔𝚟𝚊𝚙𝚜
а где диски сетево хранить ? какие еще есть варианты мейнстримовые?
Имею практику запускать nfs-сервер в контейнере, для организации ReadWriteMany - отлично подходит
G72K
Привет. У меня после падения одной из пяти машин некоторые поды получили статус Unknown и даже спустя час куб не удалил их. Из-за чего это может быть? v1.11.2
У подов был pvc? Куб не рискует такие поды перезапускать, надо их явно удалять или поднимать году обратно, чтобы куб мог убедиться, что вольюмы на ней действительно неиспользуются
𝚔𝚟𝚊𝚙𝚜
Puma
Ну сломался сервер где нфс
Puma
Все виртуалки с дисками встанут колом
𝚔𝚟𝚊𝚙𝚜
Ну запустится другим контейнером значит
Puma
Ну а данные то откуда возьмутся на другом?
𝚔𝚟𝚊𝚙𝚜
Все виртуалки с дисками встанут колом
Ну это не основной сторадж для них, а скорее вспомогательный, так что не встанут
Puma
Ну а основной то какой?
𝚔𝚟𝚊𝚙𝚜
Ну а данные то откуда возьмутся на другом?
А это уже вопрос к backing filesystem
Mentat
Ну это не основной сторадж для них, а скорее вспомогательный, так что не встанут
А что, ядро больше не паникует, если у него отваливается nfs-kernel диск?
𝚔𝚟𝚊𝚙𝚜
Это может быть тот же rbd, iscsi или что угодно
𝚔𝚟𝚊𝚙𝚜
В моем случае это drbd
Puma
Ну это вариант для мелких решений
𝚔𝚟𝚊𝚙𝚜
А что, ядро больше не паникует, если у него отваливается nfs-kernel диск?
Никогда такого не было, не используйте NFSv4, и все будет прекрасно переключаться
𝚔𝚟𝚊𝚙𝚜
Есть две опции контролирующих это: hard и soft, т.к. не все приложения умеют soft обрабатывать, по умолчанию используется hard
𝚔𝚟𝚊𝚙𝚜
То есть I/O будет висеть до тех пор пока сторадж не появится в online
Denis
Нет таймаута, нужен fencing или cloud provider
А я думал что парметр pod-eviction-timeout отвечает в controller-manager
Max
важный момент, у меня deployment c такими параметрами: yaml replicas: 1 strategy: type: Recreate
Max
может быть из-за этого оно не запускает новый?
𝚔𝚟𝚊𝚙𝚜
А я думал что парметр pod-eviction-timeout отвечает в controller-manager
это как раз тот момент когда они в Unknown переходят