А self hosted вообще норм идея?
Вообще норм, если etcd не селфхостить
G72K
Serega
всмысле в стороночке на виртуалочке...? )
Anton
Анонс видел, в aws теперь managed master ноды для к8с. Можно вообще с себя эти вопросы снять
Sergey
Sergey
мне на запрос дать потыкать даже не ответили
Anton
а куда его деть то?
В контейнере или стэнд алон. Имеется в виду не управлять кубером деплойментом етцд
Sergey
https://github.com/aws/amazon-ecs-cni-plugins интеренсо будут ли они свой же плагин там юзать
Sergey
там ipvlan - выглядит интересно
Serega
Анонс видел, в aws теперь managed master ноды для к8с. Можно вообще с себя эти вопросы снять
ну эти вопросы можно было снять и при помощи GKE. Но по факту даже kops вопросы все не снимает...
Serega
В контейнере или стэнд алон. Имеется в виду не управлять кубером деплойментом етцд
ясно. Но когда много мелких кластеров, хочется сэкономить и поплотнее утилизировать...
Volodymyr
Подскажите как запустить один под на один воркер без daemonset
CrusaderX
1 под на любую 1 ноду?
CrusaderX
Или сформируй вопрос правильно
Oleg
Я написал, что мне нужна подробная дока с мелочами по всем пунктам поднятия kubernetes на ubuntu 16.04 на виртуалках.
https://devopsmates.com/part-1-kubernetes-introduction-installation/ - пока я только эту нашел, и в свободное время попробую адаптировать или поднять на centos.
мой ман https://medium.com/@olegsmetanin/kubernetes-recipe-kubernetes-kubespray-glusterfs-gluster-kubernetes-letsencrypt-kube-lego-595794665459
CrusaderX
Ты не поверишь, Kind: Pod
Logan
мой ман https://medium.com/@olegsmetanin/kubernetes-recipe-kubernetes-kubespray-glusterfs-gluster-kubernetes-letsencrypt-kube-lego-595794665459
от себя добавлю, что гластер по-возможности использовать не стоит
Anonymous
мой ман https://medium.com/@olegsmetanin/kubernetes-recipe-kubernetes-kubespray-glusterfs-gluster-kubernetes-letsencrypt-kube-lego-595794665459
Ну, так у меня не завелся kubespray. Через вагрант. Вручную дернуть плейбук не пробовал, потому что в вагранте вроде так же дергается
Volodymyr
Задача например обновить 10% pods
Logan
Ceph хорош оказался?
значительно лучше гластера. Работает быстрее, большое коммюнити, активная разработка
Logan
очень много документации, хорошая система отладки и управления правами доступа
Oleg
сильно сложнее развернуть?
Oleg
и automatic provisoning есть?
Logan
пока что - не нарадуюсь.
нет, не сильно. Там есть специальный инструмент, он здорово облегчает процесс развертывания. По цефу есть прекрасная книга, рекомендуется прочитать как минимум для общего развития.
Logan
да, storage class есть и работает отлично
Logan
цеф очень мощный и гибкий инструмент, главное – не лезть в него глубоко без четкого понимания, чего хочется добится. Он из коробки вполне неплохо работает
Logan
особенно, если кластер небольшой. Цеф очень чувствителен к качеству внутренней сети (по которой он синхронизируется). Гигабит возможен только, если кластер маленький. Если кластер большой - десятка будет маст хэв
Oleg
особенно, если кластер небольшой. Цеф очень чувствителен к качеству внутренней сети (по которой он синхронизируется). Гигабит возможен только, если кластер маленький. Если кластер большой - десятка будет маст хэв
ну с десяткой до контейнеров вообще есть сомнения что нужен кластер
Logan
ну с десяткой до контейнеров вообще есть сомнения что нужен кластер
кластер нужен. Вам же машины обновлять надо
Logan
вам никто не мешает взять три машины, между собой связать их десяткой а до контейнеров кинуть единичку
Logan
просто при фейле диска у вас начнется пересинхронизация томов. Всех томов
Oleg
ну это явно решение для приватного облака на своем железе
Logan
не обязательно облако. Ну да
Logan
если у вас публичное облако - покупаете провайдера стораджа просто
Logan
зачем вам его реализовывать?
Logan
готовое же есть
Oleg
ну я вообще за то чтобы от проприетарщины вендора не зависеть
Logan
ну я вообще за то чтобы от проприетарщины вендора не зависеть
нет, если вы используете чужое облако - вам имеет смысл использовать возможности этого облака. Если вы строите свое решение (как это делаю я) - вам придется все компоненты делать самому. Это нормально
Oleg
я скорее за то чтобы покупать ноды
Serega
вам никто не мешает взять три машины, между собой связать их десяткой а до контейнеров кинуть единичку
у вас ceph живет на специально выделенном кластере(нодах)? или совместили с k8s
Logan
у вас ceph живет на специально выделенном кластере(нодах)? или совместили с k8s
сейчас вместе с кубом, но у меня кластер - одно название, 3 машины. В дальнейшем будет жить отдельно
Logan
по-хорошему нужно ставить три машины под цеф, три под мастер и N+1 под ноды
Serega
ясно, спасибо.
Sergey
цеф любит память кушать. особенно на процессе ребаланса
Sergey
так что его совмещать на одной ноде с воркер нодами кубера - так себе затея
Sergey
оом похуй что килять
Logan
у меня просто их физически три - не дали больше под испытания
Logan
я лимиты лапками рихтую, благо нагрузка плевая. Будет нормальная нагрузка - воркеры уедут
Sergey
ну я больше для тех, кто решит ceph с кубером в один кластер на проде собирать
Logan
да, замечание верное
Serega
цеф любит память кушать. особенно на процессе ребаланса
сколько в среднем надо для ребаланса скажем 1TB ?
Logan
лучше уж воркеров на на мастерах запускать :)))
Sergey
хотя я знаю одного извращенца, который через сигруппу ограничил потребление памяти дл яосд (ссзб) и вырубил на процесс osd oom
Serega
я лимиты лапками рихтую, благо нагрузка плевая. Будет нормальная нагрузка - воркеры уедут
лимиты системные? или неушто ceph в самом кубере развернут?
Logan
сколько в среднем надо для ребаланса скажем 1TB ?
при таких размерах можно вообще ни о чем не думать
Sergey
сколько в среднем надо для ребаланса скажем 1TB ?
могу сказать, что на полупетобайтном кластере рав места, при 70% занятого места, на нодах с 64 гигами памяти - память выжрало всю
Logan
хотя я знаю одного извращенца, который через сигруппу ограничил потребление памяти дл яосд (ссзб) и вырубил на процесс osd oom
а еще replication factor = 1 сделал, угадал?
Sergey
я одну ноду из кластера погасил
Serega
при таких размерах можно вообще ни о чем не думать
я хочу с гластера тоже спрыгнуть на ceph. Но мне большой обьем не нужен. (там где нужен - там кассандра)
Sergey
Logan
могу сказать, что на полупетобайтном кластере рав места, при 70% занятого места, на нодах с 64 гигами памяти - память выжрало всю
подозрительно много. Петабайт ребалансился в 32 гигах оперативы - влез. Но там есть настройки, можно поэкспериментировать
Sergey
Sergey
плюс и нюанс был - пошли сыпатьс ядиски на других нодах
Sergey
Sergey
осд выжрали всю память, а потом кластер сказал - ой все
Logan
ну кластеры вообще не любят, когда из ОСД табуретки выдергивают