Mikhail [azalio]
Ivan
Всем привет. У кого живут кластера в амазоне, пробовал кто нить юзать NLB как эндпойнт для апи?
Svyatoslav
Добрый день. А как вы строите multi DC HA инсталяции k8s? Хочется репликации контейнеров между ДЦ
Anton
что за репликация контейнеров?
Sergei
Господа, а кто-нибудь заводил kubernetes пуллить образа из реджистри с basic auth ?
Sergei
у меня не хочет заводиться, но я не уверен, поддерживается ли basic auth вообще
Vitalii
Господа, а кто-нибудь заводил kubernetes пуллить образа из реджистри с basic auth ?
я недавно делал token auth для vmware/harbor https://docs.docker.com/registry/spec/auth/token/#how-to-authenticate И сделал в config.json на хосте, т.к. imagePullSecret пока не нужен Про basic вообще не слышал
Artem
basic auth с помощь nginx? что мешает прописать в allow IP кубовые?
Artem
эмм, там же простой docker login с данными от basic auth проходят?
Sergei
да. а kubernetes через imagePullSecrets не хочет. впрочем, минуту, кажется я нашел причину.
Artem
https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/#create-a-secret-that-holds-your-authorization-token
Artem
вероятнее всего, ты где то ошибся
Artem
все отлично работает
Sergei
отлично работает с basic auth или с token auth?
Artem
и так и сяк
Sergei
оок
Artem
есть инсталяции, где registry в gitlab, по токену приватный на докерхабе и локальные, в докер контейнере, с basic auth. Везде работает одна схема
Artem
случалась проблема с правильностью логина. Т.е. если испрользовать команду создания секрета из мана, не всегда корректна. Точнее, почему то адрес до регистри не всегда корректно записываетс при таком использовании. Можно сделать docker login, потом создать секрет с данными из ~/.docker/config.json
Sergei
печаль похоже в другом.
Sergei
по-видимому ноды в GKE не могут дойти до сервиса в GCP по какой-то причине
Artem
ну еще совет может быть по фотографии, по гуще дальше сложновато =)
Sergei
оно еще и замечательно работает из пода в кластере интерактивно
Sergei
а не из пода не работает. где-то на сети странное что-то. спасибо.
Zloy-Dobry
парни а как вы логи в этом мире собираете с контейнеров?
bebebe
этот вопрос был задан знатокам еще пару дней назад
bebebe
один из вариантов fluentd
bebebe
либо так да
Artem
https://habrahabr.ru/company/flant/blog/341386/
Anatoliy
народ, вот смотрю на kubespray, если на чистом железе - какая ось лучше? debian пробовал кто?
Alex Sharov
Господа, а сложно перелезть на helm с чистого kubectl?
Alex Sharov
учитывая, что k8s у меня в gke
Alex Sharov
kubectl задолбал. Надоело проставлять версии имаджей sed-ом
Sergey
Ансиблом генерить нужный ямл)
Sergey
Им же и ранить
Sergey
Я до появления Хелма так делал
Serega
Привет, камрады! #whois я инженер широкого профиля 😉 инфраструктуры, девпос, администрирование, виртуализация, клауды. k8s используем как в облаке так и на своем железе. (строим SaaS) Часто бывают вопросы по которым не хочется изобретать колесо ) Поэтому нашел эту группу в гугле, пришел за опытом ! (но и своим поделится мож где смогу)
Anatoliy
Народ, на машине-ноде указан другой порт, плюс надо указать путь для ssh private key. Что я делаю не так? [all] node1 ansible_ssh_host=IP ansible_ssh_port=7864 ansible_ssh_user=ansible ansible_ssh_private_key_file=/home/user/.ssh/ansible/k8s-node1
Serega
каким образом собираетелоги с контейнеров?
пока используем papertrail, но паралельную систему активно рассматриваю. Или ELK или loghouse свеже испеченный попробую ) Papertrail удобен тем, что позволяет легко собирать логи с мульти-датацентр серверов. Если есть какие-то еще не хостед варианты (кроме грейлога, который по сути настройка к еластику), то с удовольствием выслушаю.
Serega
Я до появления Хелма так делал
тоже через ансибл генерим kubectl плейбуки. Но как-то это все меньше нравится (т.к. все ложится на плечи опс). Как в случае с хельмом менеджите секреты если нужно деплоить в несколько энвайроментов (dev\stg\prod\etc) ? чарты хельма хранятся вместе с кодом сервисов?
Alex Sharov
и да, не извращение ли генерить k8s манифесты через ansible?
Alex Sharov
ведь нужен то всего-лишь шаблонизатор
Serega
а нельзя использовать k8s секреты вместе с хельмом?
секреты же (и envrionment-application specific data) нужно в кластер положить чем-нибудь для начала. Ваш вариант?
Alex Sharov
а да, вы правы
Serega
иметь же деплой отдельно сервиса и отдельно секретов - вообще очень скользкая дорожка.
Alex Sharov
ну я тоже за то, чтобы разом навернуть на голый k8s кластер все
Alex Sharov
сейчас мы делаем kubectl create -f <file> что доставляет определнную долю боли
Alex Sharov
при этом 1 раз содаем секреты
Alex Sharov
хелм спасет от всего этого безобразия?)
Vitalii
В helm есть плагины, для шифрования файлов с секретами, но у меня пока руки не дошли
G72K
https://habrahabr.ru/company/flant/blog/341386/
" является fluentd — Open Source-проект при фонде CNCF, который, обеспечивая хорошую производительность (10 тысяч записей в секунду при занятых в памяти 300 Мб)," офигеть. 30 мб на 10к/секунду записи считается хорошо? По мне так это позорище
Oleksandr
Minimum Resources Required Fluentd is written in a combination of C language and Ruby, and requires very little system resource. The vanilla instance runs on 30-40MB of memory and can process 13,000 events/second/core. If you have more tighter memory requirement (-450kb), check out Fluent Bit, the lightweight forwarder for Fluentd.
Anatoliy
Народ, а есть вариант с виндовых машин разворачивать кластер через ansible/kubespray?
Anatoliy
ну ты нарисуй как это себе видишь
ну по сути ансибл подключается по ssh к серверам, клиенты для подключения есть и со стороны винды, значит по идее его если запустить на винде оно заработает. вопрос в том можно ли вообще это сделать или нет
Oleksandr
для винды winrm же
Oleksandr
http://docs.ansible.com/ansible/latest/intro_windows.html#windows-how-does-it-work
Aleksey
то есть то, что ты ансибл на винде запустишь, что на мастере: и там и там - грязное дело :)
Anatoliy
запустить ансибл на винде? Ну наверное изи, и даж рил толк, но на вот на хзачем? Ну зашеё по ssh на мастер и сделал грязное дело
так я не спорю, просто мастер это по сути сервер который ничего не делает, ну кроме как с него кластером рулят через ансибл, так?
Aleksey
не так
Oleksandr
как это мастер ничего не делает
Aleksey
вещи типа ансибл призваны звать декларативное описание инфраструктуры
Aleksey
кубер тут не в тему даже