всмысле в стороночке на виртуалочке...? )

Анонс видел, в aws теперь managed master ноды для к8с. Можно вообще с себя эти вопросы снять

Анонс видел, в aws теперь managed master ноды для к8с. Можно вообще с себя эти вопросы снять

вопрос цены)

мне на запрос дать потыкать даже не ответили

а куда его деть то?

В контейнере или стэнд алон. Имеется в виду не управлять кубером деплойментом етцд

мне на запрос дать потыкать даже не ответили

Зачем анонсили тогда ?

Зачем анонсили тогда ?

ну навряд им интересен синг ван вася пупкин с корпорацией хом)

https://github.com/aws/amazon-ecs-cni-plugins интеренсо будут ли они свой же плагин там юзать

там ipvlan - выглядит интересно

Анонс видел, в aws теперь managed master ноды для к8с. Можно вообще с себя эти вопросы снять

ну эти вопросы можно было снять и при помощи GKE. Но по факту даже kops вопросы все не снимает...

В контейнере или стэнд алон. Имеется в виду не управлять кубером деплойментом етцд

ясно. Но когда много мелких кластеров, хочется сэкономить и поплотнее утилизировать...

Подскажите как запустить один под на один воркер без daemonset

1 под на любую 1 ноду?

Или сформируй вопрос правильно

1 под на любую 1 ноду?

Да один под одна нода

Я написал, что мне нужна подробная дока с мелочами по всем пунктам поднятия kubernetes на ubuntu 16.04 на виртуалках. https://devopsmates.com/part-1-kubernetes-introduction-installation/ - пока я только эту нашел, и в свободное время попробую адаптировать или поднять на centos.

мой ман https://medium.com/@olegsmetanin/kubernetes-recipe-kubernetes-kubespray-glusterfs-gluster-kubernetes-letsencrypt-kube-lego-595794665459

Ты не поверишь, Kind: Pod

мой ман https://medium.com/@olegsmetanin/kubernetes-recipe-kubernetes-kubespray-glusterfs-gluster-kubernetes-letsencrypt-kube-lego-595794665459

от себя добавлю, что гластер по-возможности использовать не стоит

от себя добавлю, что гластер по-возможности использовать не стоит

почему и что стоит?

почему и что стоит?

потому, что он медленный (особенно на запись) и ломается :)

мой ман https://medium.com/@olegsmetanin/kubernetes-recipe-kubernetes-kubespray-glusterfs-gluster-kubernetes-letsencrypt-kube-lego-595794665459

Ну, так у меня не завелся kubespray. Через вагрант. Вручную дернуть плейбук не пробовал, потому что в вагранте вроде так же дергается

Ты не поверишь, Kind: Pod

А можно делать update canary ?

потому, что он медленный (особенно на запись) и ломается :)

какой выбор?

какой выбор?

NFS или ceph rbd. я выбрал второе.

Задача например обновить 10% pods

NFS или ceph rbd. я выбрал второе.

Ceph хорош оказался?

Ceph хорош оказался?

значительно лучше гластера. Работает быстрее, большое коммюнити, активная разработка

очень много документации, хорошая система отладки и управления правами доступа

сильно сложнее развернуть?

и automatic provisoning есть?

пока что - не нарадуюсь. нет, не сильно. Там есть специальный инструмент, он здорово облегчает процесс развертывания. По цефу есть прекрасная книга, рекомендуется прочитать как минимум для общего развития.

да, storage class есть и работает отлично

цеф очень мощный и гибкий инструмент, главное – не лезть в него глубоко без четкого понимания, чего хочется добится. Он из коробки вполне неплохо работает

особенно, если кластер небольшой. Цеф очень чувствителен к качеству внутренней сети (по которой он синхронизируется). Гигабит возможен только, если кластер маленький. Если кластер большой - десятка будет маст хэв

Задача например обновить 10% pods

В гугле есть вся инфа на этот счет

особенно, если кластер небольшой. Цеф очень чувствителен к качеству внутренней сети (по которой он синхронизируется). Гигабит возможен только, если кластер маленький. Если кластер большой - десятка будет маст хэв

ну с десяткой до контейнеров вообще есть сомнения что нужен кластер

ну с десяткой до контейнеров вообще есть сомнения что нужен кластер

кластер нужен. Вам же машины обновлять надо

вам никто не мешает взять три машины, между собой связать их десяткой а до контейнеров кинуть единичку

просто при фейле диска у вас начнется пересинхронизация томов. Всех томов

ну это явно решение для приватного облака на своем железе

не обязательно облако. Ну да

если у вас публичное облако - покупаете провайдера стораджа просто

зачем вам его реализовывать?

готовое же есть

ну я вообще за то чтобы от проприетарщины вендора не зависеть

ну я вообще за то чтобы от проприетарщины вендора не зависеть

нет, если вы используете чужое облако - вам имеет смысл использовать возможности этого облака. Если вы строите свое решение (как это делаю я) - вам придется все компоненты делать самому. Это нормально

я скорее за то чтобы покупать ноды

вам никто не мешает взять три машины, между собой связать их десяткой а до контейнеров кинуть единичку

у вас ceph живет на специально выделенном кластере(нодах)? или совместили с k8s

у вас ceph живет на специально выделенном кластере(нодах)? или совместили с k8s

сейчас вместе с кубом, но у меня кластер - одно название, 3 машины. В дальнейшем будет жить отдельно

по-хорошему нужно ставить три машины под цеф, три под мастер и N+1 под ноды

ясно, спасибо.

цеф любит память кушать. особенно на процессе ребаланса

так что его совмещать на одной ноде с воркер нодами кубера - так себе затея

цеф любит память кушать. особенно на процессе ребаланса

потому и отдельные машины.

оом похуй что килять

у меня просто их физически три - не дали больше под испытания

я лимиты лапками рихтую, благо нагрузка плевая. Будет нормальная нагрузка - воркеры уедут

ну я больше для тех, кто решит ceph с кубером в один кластер на проде собирать

да, замечание верное

цеф любит память кушать. особенно на процессе ребаланса

сколько в среднем надо для ребаланса скажем 1TB ?

лучше уж воркеров на на мастерах запускать :)))

хотя я знаю одного извращенца, который через сигруппу ограничил потребление памяти дл яосд (ссзб) и вырубил на процесс osd oom

я лимиты лапками рихтую, благо нагрузка плевая. Будет нормальная нагрузка - воркеры уедут

лимиты системные? или неушто ceph в самом кубере развернут?

сколько в среднем надо для ребаланса скажем 1TB ?

при таких размерах можно вообще ни о чем не думать

лимиты системные? или неушто ceph в самом кубере развернут?

системные

сколько в среднем надо для ребаланса скажем 1TB ?

могу сказать, что на полупетобайтном кластере рав места, при 70% занятого места, на нодах с 64 гигами памяти - память выжрало всю

ERROR: S client not available

хотя я знаю одного извращенца, который через сигруппу ограничил потребление памяти дл яосд (ссзб) и вырубил на процесс osd oom

а еще replication factor = 1 сделал, угадал?

я одну ноду из кластера погасил

а еще replication factor = 1 сделал, угадал?

хуже = 2

при таких размерах можно вообще ни о чем не думать

я хочу с гластера тоже спрыгнуть на ceph. Но мне большой обьем не нужен. (там где нужен - там кассандра)

я хочу с гластера тоже спрыгнуть на ceph. Но мне большой обьем не нужен. (там где нужен - там кассандра)

что не так с глстером?

могу сказать, что на полупетобайтном кластере рав места, при 70% занятого места, на нодах с 64 гигами памяти - память выжрало всю

подозрительно много. Петабайт ребалансился в 32 гигах оперативы - влез. Но там есть настройки, можно поэкспериментировать

подозрительно много. Петабайт ребалансился в 32 гигах оперативы - влез. Но там есть настройки, можно поэкспериментировать

это был редиз 0,8 еще

это был редиз 0,8 еще

с тех пор стало сильно лучше :)

плюс и нюанс был - пошли сыпатьс ядиски на других нодах

осд выжрали всю память, а потом кластер сказал - ой все

ну кластеры вообще не любят, когда из ОСД табуретки выдергивают

ну таб было желание в пяток нод вообще воткнуть тер рав места, слава богу оно обосралось на этапе тестирования

проблема метса в стойках, руководство хотело сыкономить

хотя бы объясняют в деталях, что и как устроено в процессе деплоя. Хайтауэру как соавтору куба я верю несколько больше, чем безымянному Кумару

Нет, он не соавтор Kubernetes :) Что не делает его авторитет менее значимым.

у кубера НЕТ документации. Некий минимум есть на сайте. Дальше ручками

У Kubernetes есть документация. Если есть пожелания по тому, чего не хватает - пишите сюда https://github.com/kubernetes/website/issues Если есть что добавить - сюда https://github.com/kubernetes/website/pulls

ну как по мне, что ыб им начать приводить документацию в порядок, надо на какой-то момент сделать фича фриз и договориться об апи

Feature freeze у нас происходит каждый релиз-цикл. Если под feature freeze вы имеете ввиду приостановку работы над фичами проекта вообще, то такого не будет, по вполне очевидным причинам. Тем более что за последний год мы сильно сдвинулись в сторону вынесения всего по максимуму из core. Абсолютное большинство новых фич в последних релизах - это экстеншны. Сам core API вполне стабилен, последние крупных изменения - именно в 1.9, с Workloads API, где она стал стабильным. Стабильные API менять точно не будут, как минимум до 2.0 (который мы еще даже не планируем).

Feature freeze у нас происходит каждый релиз-цикл. Если под feature freeze вы имеете ввиду приостановку работы над фичами проекта вообще, то такого не будет, по вполне очевидным причинам. Тем более что за последний год мы сильно сдвинулись в сторону вынесения всего по максимуму из core. Абсолютное большинство новых фич в последних релизах - это экстеншны. Сам core API вполне стабилен, последние крупных изменения - именно в 1.9, с Workloads API, где она стал стабильным. Стабильные API менять точно не будут, как минимум до 2.0 (который мы еще даже не планируем).

это не отменяет того факта, что на документацию у вас попросту не хватает времени

или желания

или людей

да на гитхабе в ишь/ много чего можно найти - но это не документация)

или людей

this. Со временем и желанием все более чем хорошо. Поэтому если есть желание контрибьютить - велкам.

К слову, о документации. Мы планируем делать документацию Kubernetes доступной не только на английском языке, и сейчас уже ее переводят на китайский. Если у кого-то есть желание запустить эту же инициативу для русского (или других языков) - дайте мне знать.

Ну я пока не имею. Какого-то практического опыта сильно выходящего за пределы той части ты документации что есть

К слову, о документации. Мы планируем делать документацию Kubernetes доступной не только на английском языке, и сейчас уже ее переводят на китайский. Если у кого-то есть желание запустить эту же инициативу для русского (или других языков) - дайте мне знать.

Русский - это интересно

Пора учить английский

В гугле есть вся инфа на этот счет

Да я не прошу в деталях. Мне просто направление дайте. 1. Задача запускать ворке на одной ноду. тоесть один под один хост (при этом всё скейлиться ) тоесть при добавление ноды на ней автоматически запускаеться pod. чем лучше такой функцилонал использовать? 2. При выше сказанном нужна возможнсть обновлять эти поды в процентном или количественном соотношении. я понимая что кубер это всё умеет например daemonset он мне подходит даже очень но судя по докам https://kubernetes.io/docs/tasks/manage-daemon/update-daemon-set/ он не умеет canary update Значит что то другое. А replication монжно как то заставить делать под под на одну ноду при условии автоскейла?

Да я не прошу в деталях. Мне просто направление дайте. 1. Задача запускать ворке на одной ноду. тоесть один под один хост (при этом всё скейлиться ) тоесть при добавление ноды на ней автоматически запускаеться pod. чем лучше такой функцилонал использовать? 2. При выше сказанном нужна возможнсть обновлять эти поды в процентном или количественном соотношении. я понимая что кубер это всё умеет например daemonset он мне подходит даже очень но судя по докам https://kubernetes.io/docs/tasks/manage-daemon/update-daemon-set/ он не умеет canary update Значит что то другое. А replication монжно как то заставить делать под под на одну ноду при условии автоскейла?

кубер умеет автоматом запускать по нужному поду на ноде? т.е. я могу запустить x*N подов на N серверах? Серьезно?

кубер умеет автоматом запускать по нужному поду на ноде? т.е. я могу запустить x*N подов на N серверах? Серьезно?

это к кому вопрос?

это к кому вопрос?

к вам) у вас же написано что умеет, вот интересно как. я в принципе могу себе представить подобеную ситуацию, но там поизвращаться немного придется

daemonset

разве нет ?