вопрос по поводу опций controller-manager: - --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.crt - --cluster-signing-key-file=/etc/kubernetes/ssl/ca.key это должны быть те-же самые ключи которые используются для генерации в том числе и вот этих вот ключей для api сервера: - --tls-cert-file=/etc/kubernetes/ssl/master.crt - --tls-private-key-file=/etc/kubernetes/ssl/master.key или просто произвольная пара самоподписанных корневых ключей?

image pull policy Always

Думаю оно не будет перекачивать если хеш тот же, но при этом у доскера крыша поехала и данные реально потерялись

Ребята, странное что-то наблюдаю. Выполнил команду на ноде: sudo kubeadm join —skip-preflight-checks —token b0f7b8.8d1767876297d85c 10.73.64.132:6443 —discovery-token-unsafe-skip-ca-verification Она отчиталась об успешном выполнении. Захожу на мастер, выполняю: kubectl get nodes По-прежнему не вижу новой ноды. Куда смотреть, что дебажить?

Проверь ttl tokena

Kubeadm token list

Проверь ttl tokena

Проверил. До завтра ещё будет работать.

смотри логи kubelet'a на ноде

смотри логи kubelet'a на ноде

Смотрел. Во время join-а ничего в лог не попадает.

А, не, вру.

Я смотрел логи apiserver.

смотри логи kubelet'a на ноде

Посмотрел journalctl -u kubelet -f Делаю kubeadm reset, вижу: Apr 25 15:52:04 kube-node1 systemd[1]: Stopped Kubernetes Kubelet Server. Делаю kubeadm join ..., ничего в лог не попадает.

Ребят, а какие-то дополнительные манипуляции для работы cephfs при бутстрапе через kubespray нужны?

Ребят, а какие-то дополнительные манипуляции для работы cephfs при бутстрапе через kubespray нужны?

Там в файле k8s-cluster.yml можно указать это насколько понимаю

Ребят, а какие-то дополнительные манипуляции для работы cephfs при бутстрапе через kubespray нужны?

# CephFS provisioner deployment cephfs_provisioner_enabled: false # cephfs_provisioner_namespace: "{{ system_namespace }}" # cephfs_provisioner_cluster: ceph # cephfs_provisioner_monitors: # - 172.24.0.1:6789 # - 172.24.0.2:6789 # - 172.24.0.3:6789 # cephfs_provisioner_admin_id: admin # cephfs_provisioner_secret: secret # cephfs_provisioner_storage_class: cephfs

Я понимаю, включены. Что-то еще нужно? Или нужно перед этим ручками поднять кластер, а ему уже просто ip мониторов скормить?

Я понимаю, включены. Что-то еще нужно? Или нужно перед этим ручками поднять кластер, а ему уже просто ip мониторов скормить?

Как мне видится все кубеспрей должен сделать. Перед этим должен быть поднять класер ceph. Сам не пробовал

Как мне видится все кубеспрей должен сделать. Перед этим должен быть поднять класер ceph. Сам не пробовал

Судя по всему нет, только провижинг ставит. Только клиент

Пробую через helm установить redis

pod has unbound PersistentVolumeClaims

Вот такую ошибку выдаёт

Что это значит?

см. PersistentVolumeClaims, которые прописаны в деплойменте. У тебя для них нет PersistentVolume

Всем привет , почему kubectl показывает статус системных и обычных нод running хотя 2 из трёх воркера выключено

systemctl status kubelet

А все обновилось. Но слишком долго около 5 минут. Как то можно увеличить время опроса подов и нод ?

Логи кублет читай

Во. Наконец что-то проясняется. Я выполнил kubeadm join — никакой активности в логе kubelet не было потому, что он был не запущен. Выполнил systemctl start kubelet, он тут же вывалил кучу всего в лог и завершился. Меня обеспокоило вот это: Apr 25 18:06:39 kube-node1 kubelet[18756]: F0425 18:06:39.676996 18756 server.go:233] failed to run Kubelet: cannot create certificate signing request: Post https://10.0.2.15:6443/apis/certificates.k8s.io/v1beta1/certificatesigningrequests: dial tcp 10.0.2.15:6443: getsockopt: connection refused 10.0.2.15 — это виртуальный интерфейс для связи с железом. Он же у меня фигурирует в admin.conf на мастере после выполнения kubeadm init.

Должен ли в admin.conf быть реальный ip, и как этого добиться во время kubeadm init?

Полагаю, мне нужно использовать во время kubeadm init опцию —apiserver-advertise-address <real-ip-address-for-api-server> ?

Парни, может кто-нить ткнуть, где лучше почитать или как-то рассказать принципы, как правильно приготовить кластер Clickhouse? Ну, то есть, как запустить кликхаус - проблем то нет. Но как правильно сделать, чтобы, допустим, три реплики, работали именно как кластер? Там ведь конфигурация кластера именно в конфигах КХ прописывается. Это получается конфиги должны меняться, когда поды меняются или как? Курю -курю гугл, но думаю, спросить совета, что где читать, не помешает) Спасибо-пожалуйста заранее

А k8s-то тут при чём?

Statefulset + entrypoint будет только для replic норм , для шардирования не рискнул бы я в k8s его пихать. Clickhouse много ручной работы любит..

А если Job создать при том, что нет памяти для ее запуска она будет отклонена или будет ждать пока не появятся ресурсы?

А k8s-то тут при чём?

Речь о том, как репликацию КХ в кубере поднять. Как на железе руками сделать вопросов не возникает

Statefulset + entrypoint будет только для replic норм , для шардирования не рискнул бы я в k8s его пихать. Clickhouse много ручной работы любит..

Ну шардировать не предполагается. Хотелось бы только репликации

У меня прост как-то фундаментально знаний не хватает на эту тему (репликация подобных штук, как КХ в кубере) )

Речь о том, как репликацию КХ в кубере поднять. Как на железе руками сделать вопросов не возникает

Zookeeper statefulset, clickhouse statefulset + configmap с основными настройками (zookeeper в ней захардкожен). Конфигурация репликасета лежит в отдельном месте и настраивается через entrypoint при старте контейнера

Zookeeper statefulset, clickhouse statefulset + configmap с основными настройками (zookeeper в ней захардкожен). Конфигурация репликасета лежит в отдельном месте и настраивается через entrypoint при старте контейнера

А если один под упал, надо для остальных пересоздать как-то кофиги, чтобы этот под не учитывали? или как? вот тут у меня прям непонятки

То ли какой-то sidecar должен рядом бежать, править конфиги и перезапускать поды или я не туда думаю...

А если один под упал, надо для остальных пересоздать как-то кофиги, чтобы этот под не учитывали? или как? вот тут у меня прям непонятки

В statefulset имена постоянные

А если кол-во реплик меняется?

Это надо конфиги пересоздать получается и контейнеры перезапустить

Речь о том, как репликацию КХ в кубере поднять. Как на железе руками сделать вопросов не возникает

Ок, а то я уж было хотел тебя в @devops_ru отправить.

Парни, может кто-нить ткнуть, где лучше почитать или как-то рассказать принципы, как правильно приготовить кластер Clickhouse? Ну, то есть, как запустить кликхаус - проблем то нет. Но как правильно сделать, чтобы, допустим, три реплики, работали именно как кластер? Там ведь конфигурация кластера именно в конфигах КХ прописывается. Это получается конфиги должны меняться, когда поды меняются или как? Курю -курю гугл, но думаю, спросить совета, что где читать, не помешает) Спасибо-пожалуйста заранее

Тот же вопрос, нашел на гитхабе https://github.com/count0ru/k8s-clickhouse-v2 в качестве примера

ага, видел это тоже. уже не помню почему пошел дальше искать, но ещзе раз посмотрю что там к чему, спасиб

Господа, есть вариант с помощью FileBeat слать логи в logstash с разным индексом для разных типов логов? Например ingress-controller с одним индексом, дашборд - со вторым, всё остальное - с третьим. Или нужно иметь отдельных демонов?

ага, видел это тоже. уже не помню почему пошел дальше искать, но ещзе раз посмотрю что там к чему, спасиб

Ну, как минимум, сделать volume ы persistent и, по хорошему, в helm завернуть

ну так то да

А еще можно поставить на тачку и завести external service)

Господа, есть вариант с помощью FileBeat слать логи в logstash с разным индексом для разных типов логов? Например ingress-controller с одним индексом, дашборд - со вторым, всё остальное - с третьим. Или нужно иметь отдельных демонов?

используй теги

Тот же вопрос, нашел на гитхабе https://github.com/count0ru/k8s-clickhouse-v2 в качестве примера

тут забавно гвоздями прибито 2 шарда 2 реплики)

используй теги

о, тока. спс

но я уже и подумываю. может для начала тоже привязаться к конкретному кол-ву реплик

Все правильно, шарды на разных тачках - это гуд

У вас какое хранилище данных для volumes?

Пока все еще проектируется. И познаний у меня в кубере маловато, учу еще

Пока даже не понятно, где работать будет - на AWS каком или bare metal. Или и так и так (разные экзепляры приложения имеется ввиду)

Я может не прав, сам только в это влез, но я clickhouse прибил к двум нодам и данные держу на локальных дисках. Пока как в примере: две реплики, два шарда. Это на bare-metal

да, тоже сейчас думаю именно об этом. Правда есть вариант, что может быть одна физическая машина.

Я в hetzner взял две тачки по 4тб, норм)

Дешево и живое пока

Я может не прав, сам только в это влез, но я clickhouse прибил к двум нодам и данные держу на локальных дисках. Пока как в примере: две реплики, два шарда. Это на bare-metal

Тут задавал похожий вопрос, ну и так практический опыт других людей изучал. Сделал вывод такой, что БД приложений нужно выносить в отдельную сущность. В кубере на локальных дисках хранить очень экстремальное дело. Если есть возможность собираем свой кластер под волумы для БД или используем стораджи облачного провайдера или держим БД вне кластера, как я и говорил про отдельную сущность

А почему экстремальное? По сути данные то останутся на хостовой машине.

Про «свой кластер под волумы для БД» тоже не совсем понятно, ибо для clickhouse оно лишнее, там свой механизм отказоустойчивости. Если говорим о prod решении для, к примеру, mysql, то соглашусь, лучше отдельно от куба держать и в реплике

Имхо, я б в кубе только для dev базу держал на ceph)

Про «свой кластер под волумы для БД» тоже не совсем понятно, ибо для clickhouse оно лишнее, там свой механизм отказоустойчивости. Если говорим о prod решении для, к примеру, mysql, то соглашусь, лучше отдельно от куба держать и в реплике

Да я вот к примеру и имел в виду про mysql, galera-cluster, postgres и etc

Имхо, я б в кубе только для dev базу держал на ceph)

Тоже побаиваюсь этого зверя)

Это надо конфиги пересоздать получается и контейнеры перезапустить

Есть второй костыль, entrypoint запускает в supervisor clickhouse, сам по шедулеру стучится в api(сертификаты в поде уже есть, только кастомный service account понадобится) и смотрит за количеством реплик в statefulset, в зависимости от этого меняет файлик с конфигами реплик (можно сделать четные номера шард 2, нечётные шард 1). Кликхаус уже динамически релодить конфиг вроде научился. Я бы в эту сторону смотрел. Я у себя прибил гвоздями на тестовой среде, больше пока не нужно.

Ага. Изучу вопрос

Господа, вопрос: как разграничить kubectl при использовании двух разных кластеров (один на aws, второй на gcp)?

так в конфиг добавь профили

Нативного ничего в kubectl нет? Или проще юзать алиасы с kubectl config?

kubectl use-context же ж

Ага, нашел где. Благодарю!

https://habr.com/company/flant/blog/333956/

как в Filebeat add_kubernetes_metadata указать папку с логами /var/log/containers ? чёт делал как здесь, и нифига: https://github.com/elastic/beats/pull/4981 и в доках нет

Ребята, как освободить привязку PVC от PV после удаления PVC?

если при создании PVC не использовать persistentVolumeReclaimPolicy: Recycle тогда нужно удалить PV и создать заново

:(

by default persistentVolumeReclaimPolicy: Retain

by default persistentVolumeReclaimPolicy: Retain

Раньше было delete

как в Filebeat add_kubernetes_metadata указать папку с логами /var/log/containers ? чёт делал как здесь, и нифига: https://github.com/elastic/beats/pull/4981 и в доках нет

Какая версия filebeat?

Раньше было delete

"Раньше"

В 1.8.7 ещё delete)

хз.. на данный момент на 1.9.5, но на старом кластере 1.7.7 тоже самое

А подскажите ранчер 2 взлетает на core os или можно норм юзать центу?

А подскажите ранчер 2 взлетает на core os или можно норм юзать центу?

взлетает

Спс

Какая версия filebeat?

опследняя. 6.2.4

он себя ведёт так, какбудто в папке нет ничего :/

он себя ведёт так, какбудто в папке нет ничего :/

Я уже писал здесь, там не файлы, а симлинки, нужно symlinks: true

Ну и в logstash приходится source парсить , чтобы namespace, container-name вытащить(

kubectl use-context же ж

https://github.com/jonmosco/kube-ps1 имхо похуже https://github.com/ahmetb/kubectx