
Ivas
11.05.2018
11:41:23
что посоветуете использовать в качестве fs для stateful контейнеров на kubernates, кроме ceph ничего в голову не приходит, но ceph не хочется

bebebe
11.05.2018
11:42:05

Сергей
11.05.2018
11:42:25
Если нужна именно фс, а не блочные устройства, то выбор не велик гластер как вариант ещё
Nfs - не отказоустойчивый

Google

bebebe
11.05.2018
11:44:03

Ivas
11.05.2018
11:44:25

Сергей
11.05.2018
11:44:37
Гластер, как выше Вам писали

bebebe
11.05.2018
11:44:38
но я бы все равно поглядел на https://rook.io/
встало без единой проблемы, пережило несколько ребутов и потерю нод

Сергей
11.05.2018
11:44:56
Но он производительностью на запись с мелкими файлами не порадует

Sergey
11.05.2018
11:44:57
в зависимости от задачи - я пришел к тому, что Ceph для проброса нескольких динамических томов нерационально использовать, на NFS остановился

Ivas
11.05.2018
11:45:09
вот про рук читал, а есть у кого практический опыт использования

Сергей
11.05.2018
11:45:47

bebebe
11.05.2018
11:45:51

Andor
11.05.2018
11:47:51
а можно повторить вкратце?

bebebe
11.05.2018
11:50:56
а можно повторить вкратце?
в лично моем юз-кейзе домашнего k8s кластера оно подошло хорошо, а главное разворачивается из helm чарта без единого лишнего движения, падают на каждую нуду, заводить osd/mon поды которые пирит между собой само и в результате получается кластер.
Переживает отключение и потерю нод и восстанавливается когда ноды приезжают обратно.
в ближайшем будущем меня ждет такая операция: из k8s кластера я уберу одну ноду и заменю другой
это видимо будет первый "стресс" тест для ceph внутри k8s

Stanislav
11.05.2018
12:08:22
Лично я собрал образ nginx со статикой, когда задумался как сделать)
Если интересно я нашел способ. Если у тебя не много статики я копирую её в SharedDir:
volumes:
- name: nginx-config
configMap:
name: nginx
- name: static
emptyDir: {}
volumeMounts:
- name: static
mountPath: /mnt
lifecycle:
postStart:
exec:
command: ["/bin/cp", "-rf", "/cunt/static", "/mnt/static"]
Энто работает и нет необходимости собирать nginx со статикой отдельно

Andrey
11.05.2018
12:25:43
Ребят, а где helm’у кол-во ревизий можно проставить?

Google

Evgenii
11.05.2018
12:31:54
helm init —help

Andrey
11.05.2018
12:38:57
Такое уже не прокатит, только при первой инициализации?
helm init --upgrade --force-upgrade --history-max 7

Evgenii
11.05.2018
12:42:53
Вроде можно TILLER_HISTORY_MAX поправить в окружении пода тиллера

Andrey
11.05.2018
12:58:35
Да, спасибо! Поменял, но не помогло, не чистит(

Андрэ
11.05.2018
13:01:35

Valentin
11.05.2018
13:09:18

Andrey
11.05.2018
13:20:57
Мда, а он подхватит свои старые деплои?

L
11.05.2018
13:23:41
Всем привет,
скажите куда копнуть.
не запускается 2 nginx-ingress-controller (DaemonSet) одновеременно.
Поды первого запустились, а у второго DESIRED = 0.
hostNetwork не используется, ресурсы есть, в евентах чисто, в логах шедулера все ок.

Valentin
11.05.2018
13:24:21

L
11.05.2018
13:24:51

Valentin
11.05.2018
13:25:43
ингресс контроллер без хостНетворк?
как сервис чтоле?

L
11.05.2018
13:26:26

Valentin
11.05.2018
13:27:17
а как извне в контроллер заходить?

L
11.05.2018
13:28:34

Andrey
11.05.2018
13:41:44

Рустамыч
11.05.2018
13:58:25
Всем привет. Народ подскажите есть ли возможность удалить #label с пода скриптом из контейнера ?

Banschikov
11.05.2018
14:02:11
Народ, кто нибуть юзал маилрушное облако для k8s?
Вообщем тут проводили поиск облачных провайдеров для нашего облака. И маилрушное облако оказалось самым дешевым и навороченным по фишкам из всех, кого смотрели

Evgenii
11.05.2018
14:07:20
А какие фишки привлекли?

Google

Banschikov
11.05.2018
14:07:29
Так что брехня это все, кто говорит что не обоснованно дорогие цены.
А какие фишки привлекли?
Насколько понимаю есть все фишки OpenStack. Образы ОС, распределенные сети, балансеры нагрузки, плавающие айпишники, бесплатный гигабитный канал, возможно быстро маштабировать свою инфраструктуру. Тарификация гибкая
Еще k8s умеет работать со стораджами cinder. Можно вольюмы нарезать и отдавать в k8s. Очень удобно. Ну и свой s3 есть, относительно не дорогой

Dmytro
11.05.2018
14:14:56
вроде бы мейлру был дороже ДО и vscale

Banschikov
11.05.2018
14:16:37
vscale имеет ограниченное кол-во инстансов. да и создан вроде для других целей, если не ошибаюсь. Там быстренько развернуть и протестить удобно.
Я кстатт сразу скажу что Селектел, оказался нам в 1.5 раза дороже, чем мэйл

Dmitry
11.05.2018
14:18:38
На DO 2vCPU/4GB стоит $20, на мейлру $42 + на DO диск 80gb вместо 40gb у мейлрушечки.

Banschikov
11.05.2018
14:19:00
Не буду показывать пальцем, но один довольно известный облачный интегратор прислал мне коммерческое предложение, где стоимость гигабитного канала была 100.000)
Из РФ естественно
В среднем за канал просят 50 кусков

Valentin
11.05.2018
14:22:42

Dmitry
11.05.2018
14:23:20
Оба виртуалки, откуда такое железо.

Banschikov
11.05.2018
14:23:30

Valentin
11.05.2018
14:31:45
чёто пиздец дорого для виртуалок
извиняюсь за экспрессию

Dmytro
11.05.2018
14:32:25
русский бизнес

Valentin
11.05.2018
14:32:58
а, понятно, к чему этот закон =) Заставить юзать простаивающие мощности втридорога

Banschikov
11.05.2018
14:33:47

Google

Dmytro
11.05.2018
14:38:59
скоро яндекс подтянется

Valentin
11.05.2018
14:41:12
и reg.ru
они ещё тем летом собирались

Banschikov
11.05.2018
14:47:17

Valentin
11.05.2018
14:50:53

Banschikov
11.05.2018
14:51:22

Alisa
11.05.2018
15:19:08
привет
у меня есть вопрос, периодически у меня в кластере перезвгружаются ноды, и когда это происходит, то не все сервисы нормально поднимаются обратно:
- у монги меняется мастер
- у ребита какието ошибки и его надо вручную переставлять
утонибудь сталкивался? как хотя бы монгу починить? что ж это за отказоустойчивость такая

Banschikov
11.05.2018
15:20:01

Valentin
11.05.2018
15:22:08

Эдуард
11.05.2018
15:28:04

Banschikov
11.05.2018
15:28:30
Народ кто kubespray делоил k8s?
Сеть для подов и для сервисов дефолтная?
по умолчанию

Dmytro
11.05.2018
15:40:37
с ребитом похоже аналогично - нет self healing

Banschikov
11.05.2018
15:54:31
хотел сам поставить k8s через kubeadm и выяснит, а тут вон че
https://download.docker.com/linux/dists/stretch/stable/binary-amd64/Packages

Andrey
11.05.2018
16:01:20

Banschikov
11.05.2018
16:01:44

Google

Banschikov
11.05.2018
16:03:00
# Kubernetes internal network for services, unused block of space.
#kube_service_addresses: 10.233.0.0/18
kube_service_addresses: 10.254.0.0/16
# internal network. When used, it will assign IP
# addresses from this range to individual pods.
# This network must be unused in your network infrastructure!
#kube_pods_subnet: 10.233.64.0/18
kube_pods_subnet: 10.254.0.0/16
# internal network node size allocation (optional). This is the size allocated
# to each node on your network. With these defaults you should have
# room for 4096 nodes with 254 pods per node.
Где закоментировано, это дефолтные значения. Но с ними у меня 2 сервиса не могли подружится. Сделал поды и сервисы в одной подсети ради эксперемента и все заработало


Maxim
11.05.2018
19:40:50
Народ помогите с дашбордой. Задеплоил кластер, борда открывается по токену без проблем, но нужен Basic Auth. Создал ингресс, секрет, прописал в деплое борды basic, но по логину.паролю из секрета не пускает. Кто нить заморачивался с бэйсиком в кубе?

Ivas
11.05.2018
19:42:23
Через нжинкс заверни )))

Evgenii
11.05.2018
19:43:12
Не заморачивался, просто работало :-)

Grigory
11.05.2018
19:43:31
пароль и логин в секрете в base64?

Maxim
11.05.2018
19:44:09
канеш

Grigory
11.05.2018
19:46:38
и пароль сначала в хеш завернут, а потом в b64?

Maxim
11.05.2018
19:50:37
пароль просто в b64
echo -n '1f2d1e2e67df' | base64
MWYyZDFlMmU2N2Rm
типа так

Anton
11.05.2018
21:21:19
Всем ку, чем грозит совмещение мастера и ноды? Были у кого-нибудь такой опыт, были проблеммы?

Paul
11.05.2018
21:22:10
если нагрузка копеечная и взлом маловероятен – дерзайте

Anton
11.05.2018
21:24:11
Ну вроде этот процес обратим, выставлчем запрет мастеру быть нодой
Просто хочется убить двух зайцев, увеличить количество мастеров, и лучше задействовать ресурсы

Эдуард
11.05.2018
21:28:00