« Rev
@kubernetes_ru   862
Fwd »


Denis
Всем привет! А кто нибуть юзает fedora atomic?
𝚔𝚟𝚊𝚙𝚜
а как вы вольюмы делаете для подов?
Для подов у нас сейчас локальный ZFS, но мы рассматриваем возможность перехода на DRBD и Linstor как оркестратор
Oleg
хаха, это уже другой вопрос :)
я смотрел разные решения, которые не требуют отдельного диска. Выходит или zfs или rook (привет от ceph) или openebs. Может что-то еще есть?
Denis
я юзаю
А можно какую нибуть мне доку нормальную посоветовать по деплою k8s на эту систему или хоть какое-то актуальное чтиво?
Oleg
Если вам не критично количество IOPS берите Ceph - имхо самый простой вариант
ceph поддерживает rwx, это да. А какие еще есть решения?
𝚔𝚟𝚊𝚙𝚜
а зачем вам ReadWriteMany?
𝚔𝚟𝚊𝚙𝚜
А он разве не с S3 напрямую работает?
𝚔𝚟𝚊𝚙𝚜
я тут статейку писал, про отказоустойчивый NFS-сервер, по моему отличное решение, если что https://habr.com/post/417473/
𝚔𝚟𝚊𝚙𝚜
с тем лишь отличием, что сам NFS-сервер деплоится кубером как контейнер, а drbd-девайс создается через Linstor
Vadim
с тем лишь отличием что NFS не проверяет что он вообще записал, так что я не понял к чему относилось слово "отказоустойчивый"
𝚔𝚟𝚊𝚙𝚜
почему не проверяет?
V
Или nginx - не суть. Ребят не сбивайте, сейчас ковыряюсь с трэфиком, давайте по теме
Есть же линк на Deployment для Dashboard без SSL: https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/alternative/kubernetes-dashboard.yaml
Vadim
почему не проверяет?
чтобы он хоть как-то шевелился нужно включать async write, и при рестарте сервера все кэши уйдут лесом. Тем более он у вас в контейнере
𝚔𝚟𝚊𝚙𝚜
чтобы он хоть как-то шевелился нужно включать async write, и при рестарте сервера все кэши уйдут лесом. Тем более он у вас в контейнере
ну вы бы в сути вопроса разобрались бы, сначала - async вас никто не заставляет включать, с самого начала понятно что это не безопасно. - повысить производительность NFS можно и другим спопобом, наприме увеличением числа рабочих инстансов RPCNFSDCOUNT - "при рестарте сервера все кэши уйдут лесом" не используйте NFSv4 и будет вам счастье
V
Спасибо ! Но с ссл таки до ковыряюсь
А вот ссылка на Deployment с SSL: https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml
V
Ты хочешь поместить свой, заранее созданный сертификат в Kubernetes, чтобы его использовал Dashboard, или будет достаточно автоматически сгенерированных?
CHIP
Пора кубером заняться, подскажите кто чем разворачивает весь стэк, хорошо бы ансиблом
𝚔𝚟𝚊𝚙𝚜
и это еще при условии что под ним drbd
𝚔𝚟𝚊𝚙𝚜
так и есть
𝚔𝚟𝚊𝚙𝚜
а нафига здесь stateful?
CHIP
kubespray посмотри
Ммм, любимый ансибл
CHIP
Vadim
а нафига здесь stateful?
An NFS Version 4 server can allow an NFS Version 4 client to access and modify a file in it's own cache without sending any network requests to the server, until the server indicates via a callback that another client wishes to access a file
Vadim
ну и прочие отличия версии 3 от 4, где разработчики внезапно узнали про конкуретные врайты и прелести cache invalidation
И́грь
Добрый вечер, правильно ли ставить ceph прямо на теже ноды где стоит кубер и почему нет?)
𝚔𝚟𝚊𝚙𝚜
тем не мене он тоже не без недостатков из-за того что NFSv3 stateless - он лучше переживает разного рода сбои и переключения
Vadim
может быть кому-то его будет достаточно, у нас NFS для registry / logging / metrics стораджа объявлен неподдерживаемой конфигурацией после десятка тикетов с "у меня там половина закорраптилась"
𝚔𝚟𝚊𝚙𝚜
полагаю что это из-за включенного `async`)
𝚔𝚟𝚊𝚙𝚜
а еще если хочется супер-производительности, вместо NFS можно использовать iSCSI и нарезать его на кусочки тем же самым LVM'ом
Vadim
полагаю что это из-за включенного `async`)
часто NFS кастомерский, там особо не проконтролируешь. Надежнее развернуть ceph/glusterfs/local-provisioner
Vitalii
Привет. А есть что-нибудь в kubernetes для управления cpu приоритетами подов? Аналогично с sched_setscheduler в https://habr.com/company/odnoklassniki/blog/346868/
Vadim
Привет. А есть что-нибудь в kubernetes для управления cpu приоритетами подов? Аналогично с sched_setscheduler в https://habr.com/company/odnoklassniki/blog/346868/
https://medium.com/google-cloud/quality-of-service-class-qos-in-kubernetes-bb76a89eb2c6 и https://kubernetes.io/docs/concepts/configuration/pod-priority-preemption/
Vitalii
https://medium.com/google-cloud/quality-of-service-class-qos-in-kubernetes-bb76a89eb2c6 и https://kubernetes.io/docs/concepts/configuration/pod-priority-preemption/
Это к сожалению немного не то. Qos может спасти под от убийства при system out of memory. Но мы до такого не доводим:) Реквесты, лимиты, квоты, limitrange активно используем. Но хочется ещё защитится от микро всплесков из низкоприоритетных приложений. Вот думаю пройтись и nice руками расставить ...
Vadim
если уж очень хочется ручками, то nice cgroups ничего не сделает
Vadim
но я не понимаю что такое "микровсплески" и чем они плохи для лимитов, например
Vitalii
Cpu лимиты работают с окном в 100мс в кубернетес. Ещё мы везде ставим cpu лимит в 1.5 - 4 раза больше реквеста. Иначе никакого железа не хватит:) И иногда получается что на короткий период времени (десятки или сотни милисекунд) приложения злоупотребляют лимитом
Vadim
Вы гластер 4 пробовали?
Не знаю, какая-то версия ставится. А что с ним?
Михаил
Не знаю, какая-то версия ставится. А что с ним?
Да вроде лучше стал судя по анонсам
Vitalii
https://habr.com/company/flant/blog/418269/
Это интересно, спасибо. Но нам не подходит:( У нас в качестве "жертвы" jvm приложения, которые делают gc в 24 потока, поэтому "выкусить" из хоста для них ограниченное число потоков не получится.
Etki
Так их можно задать в параметрах JVM
Vitalii
там специально так настроено, чтобы максимально сократить время gc. а я хочу снизить воздействие внешних факторов (других подов)
Etki
может, стоит просто взять G1 и пусть работает в параллель?
Vitalii
я в этом не компетентен... JVM приложение здесь скорее как пример. В целом интересно, как делать nice подам не руками:)
И́грь
Можно
Тогда подвопрос, ставить на кубер через helm, либо прямо на сервера?
Egor
а если с минимальными иопсом, но надо иметь общую хранилку для подов — прокатит?
И́грь
Я глянул у ceph уже свое родное есть вроде http://docs.ceph.com/docs/mimic/start/kube-helm/
Egor
кстати да, даже в первых минутах лабораторных тестов на висяк при ребуте напоролся
Alexander
Маааааакс! Приветы :)
Andrey
Ребят, а ни у кого не бывает такого, что дашборд зависает? У меня 2 ноды + мастер. В кластере из юзерских 1-2 пода которые почти ниче не делают. При редеплое, дашборд иногда просто повисает и перестает отвечать. Через kubectl вижу что поды дашборда работают и все у них ок. версия куба: v1.10.4 имедж дашборда: k8s.gcr.io/kubernetes-dashboard-amd64:v1.8.3
Михаил
Поэтому руками тащим пакеты по старинке
И́грь
Отлично, это мне нравится больше)
Egor
то есть лучше голый ceph поставить на ноды, чем rook мучить?
V
В частности, той ноды, где запущен Dashboard, а также загрузку Master
Andrey
Посмотри загрузку нод по CPU
вообще близко к нулям. Как только сделаю дашбрду scale -> 0 scale ->1 сразу оживает.
Anonymous
https://corp.mail.ru/ru/press/events/496/ а приглашения когда вышлют?
V
Тогда ничего конкретного. Единственно - посмотри логи пода Dashboard
Anonymous
или уже всем выслали а меня продинамили?(
Andrey
Тогда ничего конкретного. Единственно - посмотри логи пода Dashboard
В основном там такие записи: 2018/08/07 19:32:12 Metric client health check failed: the server could not find the requested resource (get services heapster). Retrying in 30 seconds.
Andrey
Дернул под напрямую за внутренний IP. Открылся моментально. Но через /api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/ не открывается, просто висит.
« Rev
@kubernetes_ru   862
Fwd »