Интересная голосовала) https://twitter.com/asynchio/status/837395139333140480

Как проще всего развернуть k8s на DO?

Может быть лучше azure?

Что посоветуете?

Спасибо

Может быть лучше azure?

В прод или на поиграться?

Я пытаюсь сообразить Azure и там есть ряд ньюансов, вроде (пока) не работающих PV.

Может быть лучше azure?

http://dev.haufe.com/state-of-kubernetes-on-azure/

На DO я развернул игрушечный кластер с помощью kubeadm и он работает норм (а еще дешевле azure в 10 раз :)

В прод или на поиграться?

В итоге в прод, но сейчас этап поиграться

На DO я развернул игрушечный кластер с помощью kubeadm и он работает норм (а еще дешевле azure в 10 раз :)

Спасибо ?попробую этот инструмент

а на чем лучше построить прайват инфраструктуру? та же rancherOS норм?

а на чем лучше построить прайват инфраструктуру? та же rancherOS норм?

Лучше на том, чем умеете пользоваться. Решать вопросы эксплуатации будет проще.

а на чем лучше построить прайват инфраструктуру? та же rancherOS норм?

я бы не стал

я взял убунту LTS

можно ещё на ДО попробовать с кореос развернуть, если прод на кореос - это ок для вас

прод на кореос - дерзко, стильно, молодёжно!

У кого большие кластера в проде?

у меня под 50 подов

это большой?

На кореос тектоник, например, свое решение держит. Суть в том, что кореосовцы уделяют внимание ядру и поддержке в нем докера, минимизируя феилы всего кластера при приезде проблемного ядра.

у меня под 50 подов

А нод сколько?

5 основных, 2 под парами

это ещё не совсем прод

пока не пойму, как это апгрейдить без проблем. я имею в виду сам кубернетес

Есть у кого в проде кластера в 50 нод?

Я накатывал обновления через карго то все работало.

Правда в тестовой среде

я тестировал 1000 нод

карго как раз разворачивал

часов 12 разворачивается, проблемы с etcd и вообще все еле пашет)

но за неделю до вменяемого состояния допилилось

собственно все эти мезосы и прочие на 200 уже таво

мирантис тут есть щас живые? как там сейчас со скейлом дела?

Я накатывал обновления через карго то все работало.

если карго только разворачивать. у меня сборная солянка, собственно ТЗ такое

там и под системд и контейнеры и есть даже один сервак arm с покоцанным линупсом

Я ставил через kubeadm - обновлялось. Вручную - тоже обновлялось и карго. Но все по группам, то есть каждый кластер сам по себе. На продакшен буду пока ставить через карго. Меня там не все устраивает, но плюсы все перевешивают.

через kubeadm постепенно обновился с 1.5.1 до 1.5.3

в карго лучше все что не устраивает или сломано оформлять как issue на гитхуб. тут есть разработчики, есть шанс, что быстро починят или замплементят

а мажорные как обновлять?)

надо под каждый кейс скрипты писать, они ключи делают incompatible

и не всегда работает часть со старыми, часть с новыми

ну и наш любимый etcd обновлять та ещё веселуха

да, когда больше 20 нод надо что то делать с сетью, выделять служебный трафик в другой влан и сетевуху, отдельно от клиентского. также выкручивать таймауты и буферы. Иначе все начинает само себя ддосить

у меня до смешного доходило, при дефолтных настройках 80% трафика служебный, клиентский там в уголке грустно прижался

в целом это нормальная практика, но надо про неё помнить

?

у меня до смешного доходило, при дефолтных настройках 80% трафика служебный, клиентский там в уголке грустно прижался

а как определить долю трафика? дампами?

я iptables помечал и заворачивал в ip ru

у меня до смешного доходило, при дефолтных настройках 80% трафика служебный, клиентский там в уголке грустно прижался

среди etcd-трафика 80%, или среди трафика всего?

там не только etcd, там ещё api и calico

но в основном etcd больше всего конечно

среди всего трафика - но это без нагрузки совсем.

любая фича, дашборд там или днс, все добавляет к служебного трафику. вот из коробки его дофигища летает с дефолтными наст ройками

подскажите, пожалуйста, а как в кубере делать ACL?

на что ACL?

Кто-нибудь пробывал добавлять master к существующему кластеру по этому руководству https://kubernetes.io/docs/admin/high-availability/ . Если кластер создавался через kubeadm?

подскажите, пожалуйста, а как в кубере делать ACL?

вроде тебе сюда - https://kubernetes.io/docs/user-guide/networkpolicies/

kubeadm изначально не поддерживает мастер-мастер и нужно перестраивать все вручную.

как это сделать? если я правильно понял, нужно перезапустить свой etcd и apiserver через манифесты, сгенерировать новые сертифакты и положить на ноды. Предполагаю вся беда в сертификатах, как их правильно сгенерировать или где почитать об этом?

https://github.com/kelseyhightower/docker-kubernetes-tls-guide

@yolkov Спасибо

народ с опытом кубернетеса на DO: стоит ли с гугля слезать ради удешевления, или геморои себя не оправдают?

на ДО же экосистемы вокруг нет?

сторейдж, лодбалансер, автоскейлинг, что там ещё гугл клауд даёт хорошего

балансер есть, но не поддерживается кубом. Автоскейл тоже есть, поддерживается ли кубом - неизвестно. Стораджа нет. Выделения адресов у ДО нет и не планируется

балансер у них чуть ли не совсем недавно появился, да?

угу, и стоит бешеную двадцатку

народ с опытом кубернетеса на DO: стоит ли с гугля слезать ради удешевления, или геморои себя не оправдают?

Все зависит от того, как вы проектируете и поддерживаете ваш кластер в рабочем состоянии. Никаких проблем не будет. С появлением Ingress-а необходимость в балансерах отпала. Достаточно настроить кластер правильным образом. Могу поделиться ссылочкой на тему того, как развернуть кластер Kubernetes на голом железе или же самом тупом хостинге.

Спасибо, почитаю

http://avmaksimov.ru/2017/03/06/kubernetes-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-ingress/

Пожалуйста

О, шикарно

а ингресс можно настроить на tcp/udp load balancing?

нгинкс умеет

но там сейчас есть бага, по крайней мере в beta1, он список апстримов не генерил

ага, умеет, мы даже немножко используем без кубернетиса

в стабильной вресии работало

Все зависит от того, как вы проектируете и поддерживаете ваш кластер в рабочем состоянии. Никаких проблем не будет. С появлением Ingress-а необходимость в балансерах отпала. Достаточно настроить кластер правильным образом. Могу поделиться ссылочкой на тему того, как развернуть кластер Kubernetes на голом железе или же самом тупом хостинге.

С появлением Ingress-а необходимость в балансерах отпала а вот этот тезис хотелось бы детальнее послушать

С появлением Ingress-а необходимость в балансерах отпала а вот этот тезис хотелось бы детальнее послушать

Мой корявый русский, конечно, но суть в том, что использовать Services с --type=LoadBalancer теперь не обязательно, т.к. можно пользоваться своим IngressController-ом (балансером) и Ingress-ом (набором правил для него)

Перенёс в https://t.me/coreos_ru :)