Logan
Коллеги, оффтоп-вопрос - можно ли назначить балансировщикам внешние адреса? в смысле, у меня N серверов и я хочу запускать балансировщики входящих подключений только на M серверов, где M < N
Logan
для тех, кто столкнулся с этой же проблемой: https://hackernoon.com/kubernetes-ingress-controllers-and-traefik-a32648a4ae95#.jy9b8rj35
Anonymous
у меня вопросы:
- для контроллеров кластера какие требования к машинам по памяти и оперативке?
- какую ось щас модно делать хостом кубернетеса?
- вы etcd на отдельные машины выносите или в контроллерах запускаете?
Logan
в моде coreos. Конкретно я использую ubutu16. etcd запущен на машине контроллера, что не очень правильно, но у меня пока экспериментальный парк
Alexander
машины - ec2, m3.large (2 vcpu, 7.5Gb)
os - CoreOS
etcd - на отдельной t2.small машине (1 vcpu, 2Gb) - есть мнение что нужно побольше ;)
Anonymous
машины одинаковые для контроллеров и хостов где докеры в плане мощности? сколько машин под контроллеры лучше выделить и сколько под etcd?
Anonymous
(вот например 2-х хватит или кворума не будет)
Aleksey
для кворума минмум три
Anonymous
то есть:
1) 3 машины t2.small на etcd
2) 3 машины m3.* на контроллеры кубернетеса
3) X машин m3.* на ноды где движуха будет
так?
Aleksey
ну примерно так, мне сложно сказать - у меня кластер пока в лабе, но пока не вижу причин вносить etcd отдельно от контроллера
Alexander
https://github.com/kz8s/tack
Примерная конфигурация
Alexander
расшифрую немного
1 t2.small для файервола и точки входа
3 etcd на m3.medium
3 ноды m3.medium (нет разграничения на контроллеры кубернейтса и "там где движуха будет" ))
Alexander
плюс мы заюзали спотовые инстансы - очень выгодно получается по стоимости железок
Anonymous
1) в aws ведь внешний фаервол и балансировщик, не?
2) конкретно под etcd выделять целый medium... он чем там занимается, порнуху смотрит чтоли?
3) такой сетап не нравится: у меня уже ноды падали под нагрузкой :(
Alexander
сделали разделение нод для "системных" вещей - типа баз, кэша, редиски и тп... и это оставили на "классических" инстансах, а вот всякий веб и сервисы уже вынесли на споты
Alexander
падали??? печально - разграничте нагрузку
Alexander
ограничьте сервисы по потребляемой mem/cpu
Anonymous
тут вопрос скорее не в "настройте правильно и все будет ок", а в том что это вообще может произойти в принципе
Alexander
для etcd мы тоже выбрали не такие тачки, а t2.small
Anonymous
а вот интересно - в выносе баз в отдельные инстансы бенефиты есть после появления стейтфулсета? из минусов вижу что повышается стоимость обслуживания (как железа так и потраченых сил)... возможно я ошибаюсь, просто не пробовал ни то ни другое пока
Anonymous
а, сори, неправильно прочитал :) подумал что системные вещи вынесли за пределы кластера
Alexander
неее) все в кластере конечно же)
Alexander
просто разделили на приоритетные группы
Anonymous
а поднимали как - руками, или через утилиты типа kops?
Alexander
все через terraform
Anonymous
мой aws просто в китае, там есть специфика: например зона не везде поддерживается, свой iam отдельный от остального мира... хз насчет терраформа :(
Alexander
нюансы да
Anonymous
то есть вопрос для меня стоит в том что быстрее: руками прописать пару-тройку машин, или возиться с кастомизацией тераформовских скриптов попутно его изучая... ладно, сори за офтоп :)
Zon
Alexander
терраформ окупается очень быстро, кмк
а если не секрет, то каким образом? в чём основное преимущество? какие кейсы?
Zon
а если не секрет, то каким образом? в чём основное преимущество? какие кейсы?
приучаешься НИЧЕГО не делать руками на нодах, есть история инфраструктуры, общие модули, но главное - пересоздать инфраструктуру или её части становится очень просто
Alexander
приучаешься НИЧЕГО не делать руками на нодах, есть история инфраструктуры, общие модули, но главное - пересоздать инфраструктуру или её части становится очень просто
хмм.. а как часто приходится пересоздавать инфраструктуру?
Zon
Когда ничего не меняется - никогда. Но добавляются новые роли, скейдинг, старые уходят и тд
Alexander
Когда ничего не меняется - никогда. Но добавляются новые роли, скейдинг, старые уходят и тд
ну и как никак гарантия на всякий случай.. мало ли что бывает )
Logan
приучаешься НИЧЕГО не делать руками на нодах, есть история инфраструктуры, общие модули, но главное - пересоздать инфраструктуру или её части становится очень просто
если не секрет - почему именно терраформ? Насколько удобно-приятно-нравится?
Logan
я сам работаю с chef и ansible
Anonymous
ну это разного уровня тулзы
Anonymous
и решают разные задачи
Logan
просто я с терраформой не встречался практически, потому и спрашиваю. А что такого делает терраформа, чего не умеет, скажем, шеф? управлять облачными машинами (aws/do/msazure) шеф умеет, ЕМНИП, из коробки
Timur
Logan
в смысле?
Timur
можешь сделать пачку виртуалок в определенной последовательности и сказать запустить внутри виртуалки уже chef/puppet/etc
Logan
то есть это аналог вагранта?
Alexander
Модульность Terraform позволяет работать с сервисами Амазона, Гуга, DigitalOcean и др, создавать инстансы, настраивать взаимодействие между ними и тд
Alexander
более того. Это все может соединяться в единую инфраструктуру если у вас разброс по вендорам
Anonymous
с моей точки зрения:
chief/puppet/ansible/bash и тп декларативно выполняют определенные функции, то есть ты пишешь "запусти в амазоне 10 инстансов с такими-то параметрами"
terraform же дает инструмент описания конфигурации, то есть ты пишешь "хочу чтобы в амазоне было 10 инстансов" и он уже сам думает сколько щас инстансов и какие шаги предпринять чтобы было то что нужно тебе
ну это так, из того что я успел покопать :) это удобно вероятно
Alexander
часть на Амазоне, часть на Д.О. управление DNS,
Alexander
вся имплементация там да, внутри модулей... более того, с помощью терраформа ты можешь импортировать текущее состояние
Alexander
естественно для текущей конфигурации
Alexander
и соотвественно его изменить инкрементально, не пересоздавая все снуля
Alexander
как говорилось ранее - увеличить количество инстансов, добавить подсети или еще что
Timur
с моей точки зрения:
chief/puppet/ansible/bash и тп декларативно выполняют определенные функции, то есть ты пишешь "запусти в амазоне 10 инстансов с такими-то параметрами"
terraform же дает инструмент описания конфигурации, то есть ты пишешь "хочу чтобы в амазоне было 10 инстансов" и он уже сам думает сколько щас инстансов и какие шаги предпринять чтобы было то что нужно тебе
ну это так, из того что я успел покопать :) это удобно вероятно
я бы все-таки зону ответственности chief/puppet/ansible/bash ограничил тем, что внутри виртуалок. А создание виртуалок - за терраформом
Logan
http://docs.ansible.com/ansible/ec2_module.html - пример аналогичного функционала на ansible
Logan
то есть scm можно использовать и для управления машинами тоже, без проблем
yolkov
делай как удобно, когда станет не удобно, посмотри на другие инстументы.
Logan
я всегда смотрю на новые инструменты - как мне еще развиваться?
был аналог терраформа, только полностью облачный. Централизованное управление через веб + апи. Но я не помню его названия.
Arsen
Logan
нет, клаудформейшн - только для амазона, ЕМНИП
Logan
а там был десяток провайдеров
Gleb
С терраформом главное понимать при каких действиях он обновит инфраструктуру, а при каких пересоздат.
Timur
да. Слышал всякие чудные истории, когда он сносил инфраструктуру ))
Alexander
для этого надо изначально plan запустить и он покажет что он сделает)
Zon
если не секрет - почему именно терраформ? Насколько удобно-приятно-нравится?
Инфраструктура как код. Не управление конфигурацией, а именно инфраструктура. Это удобно, хотя некоторых руби фишек не хватает
Logan
во-первых IaaC – абстракция. Как и всякая абстракция - использовать надо с осторожностью. Во-вторых - SCM это и есть инфраструктура как код. Сугубо ИМХО, конечно :)
Zon
во-первых IaaC – абстракция. Как и всякая абстракция - использовать надо с осторожностью. Во-вторых - SCM это и есть инфраструктура как код. Сугубо ИМХО, конечно :)
SCM это конфигурация софта, а не облака. Конфигурировать шефом балансировщики, диски и тому подобное кажется как-то не очень удобно. А в рамках перехода на к8с от текущего puppet стека решено отказаться.
Zon
В те времена, когда я использовал шеф была возможность создавать и удалять облачные хосты, но, тогда, только через knife.
Logan
по поводу паппета - искренне рад за вас
хуже паппета только cfengine, который я видел в ОК
Logan
там сейчас есть возможность управлять прямо из chef, без knife. Но я в деталях не помню, как
Zon
Я тоже не фанат паппета)
Logan
коллеги, а тут есть ментейнеры https://github.com/kubernetes/heapster или знакомые с ментейнером? Поправьте ссылки пжлст, деплой не проходит :)
Zon
Можно же пуллрек сделать)
Sash
Кто работает с Ingress на gcloud дожен он работать с сервисами с типом ClusterIP? Меняю на тип сервиса на LoadBalancer работает (через ingress), с ClusterIP - нет.
Zon
Anonymous
nginx например из сервиса только адреса подов берет, то есть ему пофиг тип сервиса
Sash
разобрался, там нужен NodePort
Etki
Привет, я помню тут был момент, когда срали ранчер. Можете скинуть статью/основные тезисы, почему им пользоваться не стоит?
Etki
Бэкграунд - у меня сейчас стоит задача сделать что-то для быстрого развертывания композиций контейнеров, но кубернетес тупо не потяну.
Lex
dc/os?