привет всем. кто-то прикручивал в кубернетес cephfs? при создании claim выдает ошибку: I0723 10:03:28.964828 1 leaderelection.go:178] successfully acquired lease to provision for pvc kube-test/claim1 I0723 10:03:28.966849 1 event.go:218] Event(v1.ObjectReference{Kind:"PersistentVolumeClaim", Namespace:"kube-test", Name:"claim1", UID:"82da642a-8e58-11e8-be2c-005056b2b12a", APIVersion:"v1", ResourceVersion:"14503224", FieldPath:""}): type: 'Normal' reason: 'Provisioning' External provisioner is provisioning volume for claim "kube-test/claim1" E0723 10:03:39.796804 1 cephfs-provisioner.go:155] failed to provision share "kubernetes-dynamic-pvc-f1905d95-8e5e-11e8-9700-ea04dd2539d0" for "kubernetes-dynamic-user-f1905e1a-8e5e-11e8-9700-ea04dd2539d0", err: exit status 1, output: Traceback (most recent call last): File "/usr/local/bin/cephfs_provisioner", line 336, in <module> main() File "/usr/local/bin/cephfs_provisioner", line 330, in main print cephfs.create_share(share, user, size=size) File "/usr/local/bin/cephfs_provisioner", line 210, in create_share volume = self.volume_client.create_volume(volume_path, size=size) File "/usr/local/bin/cephfs_provisioner", line 106, in volume_client self._volume_client.connect(None) File "/lib/python2.7/site-packages/ceph_volume_client.py", line 471, in connect self.fs.mount() File "cephfs.pyx", line 548, in cephfs.LibCephFS.mount (/home/jenkins-build/build/workspace/ceph-build/ARCH/x86_64/AVAILABLE_ARCH/x86_64/AVAILABLE_DIST/centos7/DIST/centos7/MACHINE_SIZE/huge/release/13.2.0/rpm/el7/BUILD/ceph-13.2.0/build/src/pybind/cephfs/pyrex/cephfs.c:5648) cephfs.Error: (110, 'error calling ceph_mount: error code 110') E0723 10:03:39.796908 1 controller.go:1068] Failed to provision volume for claim "kube-test/claim1" with StorageClass "cephfs": exit status 1

я так и не понял как ты zfs в куб подаешь через nfs?

В данный момент как-раз занимаюсь реализацией этого решения. В большинстве своем я все описал в этой статье. https://habr.com/post/417473/

Только применительно для куба

По сути есть linstor который создает drbd-устройства на нодах, он умеет ZFS или LVM как backend. После этого запускаешь под с NFS-сервером с NodeAffinity к нодам где находится это drbd-устройство

все очень просто

только я сейчас больше к iscsi склоняюсь нежели к nfs, но обе реализации возможны

а вообще у linstor свой драйвер был для куба, он умеет drbd-устройство напрямую к поду доставлять

Привет. А подскажите, может кто в курсе, есть какая-нибудь штука конвертить описания конфигураций kubernetes в terraform? вроде kompose для compose -> kubernetes

Нету

я так и не понял как ты zfs в куб подаешь через nfs?

А если нужно локально то обычные local-volumes работают вообще идеально: https://kubernetes.io/blog/2018/04/13/local-persistent-volumes-beta/

а вообще у linstor свой драйвер был для куба, он умеет drbd-устройство напрямую к поду доставлять

drbd и куб в одном предложении это конечно такое)

А образы также через тулзу собирать?

Ну docker push в репозиторий, потом containerd их забирает прекрасно

drbd и куб в одном предложении это конечно такое)

к сожалению аналогов у него особо нет, так что пытаемся обуздать необуздаемое :)

OpenEBS разве что, но он тоже немного странный

Ну docker push в репозиторий, потом containerd их забирает прекрасно

Спасибо

к сожалению аналогов у него особо нет, так что пытаемся обуздать необуздаемое :)

но есть более современные SDS!

и я сейчас не только про ceph

и не столько

Ну я перепробовал много всего, что ты имеешь ввиду?

Ceph - он очень сильно проседает при более-менее приличной нагрузке.

+ ресурсов требует немеренно

Ceph - он очень сильно проседает при более-менее приличной нагрузке.

а что у вас такого в кубе?

многа хостинга и многа VPSок

но есть более современные SDS!

Например какие?

Например какие?

у делл есть неплохой бесплатный вариант)

у делл есть неплохой бесплатный вариант)

а можно ссылочку, что конкретно имеется ввиду?

Перфекционист во мне грустит( Иконка чата криво вписана в круг

Перфекционист во мне грустит( Иконка чата криво вписана в круг

а можно ссылочку, что конкретно имеется ввиду?

Я так понимаю, имелся в виду https://www.opensds.io/

Но это все поверх цефа и дрбд

Я так понимаю, имелся в виду https://www.opensds.io/

Это же не замена ceph, насколько. Понимаю. Или zfs, если уж на то пошло. Вариант надстройки. Типа лонгхорна, только умеет жить вне куба

Это же не замена ceph, насколько. Понимаю. Или zfs, если уж на то пошло. Вариант надстройки. Типа лонгхорна, только умеет жить вне куба

Я так понял, это просто некоторое общее апи надо всеми ними https://github.com/opensds/opensds/tree/master/examples/driver

Ребят в кубере есть какаянить политика зависимостей? Если например оьновил см файл который используется в деплойменте, то поды надо пересоздать автоматом?

а можно ссылочку, что конкретно имеется ввиду?

sacleio

Ceph - он очень сильно проседает при более-менее приличной нагрузке.

Вроде в последней стабильной версии bluestore объявлен стабильным. Он позволит избавиться от write amplification. Не тестировали?

Ребят в кубере есть какаянить политика зависимостей? Если например оьновил см файл который используется в деплойменте, то поды надо пересоздать автоматом?

в helm в зависимые объектые в аннотации добавляют хэши отрендеренных объектов. в итоге например деплоймент обновится, когда изменишь конфиг мап и поедет роллинг апдейт

в helm в зависимые объектые в аннотации добавляют хэши отрендеренных объектов. в итоге например деплоймент обновится, когда изменишь конфиг мап и поедет роллинг апдейт

Хм..я еще не дошел до хелма...)

смысл в том что ты меняешь прост объект при изменении конфигмапа

смысл в том что ты меняешь прост объект при изменении конфигмапа

Я это понимаю, просто думал мб реализованы какие то зависимости на основе селекторов например

Я так понял, это просто некоторое общее апи надо всеми ними https://github.com/opensds/opensds/tree/master/examples/driver

Общее api.. сырое общее апи над полусырыми кластерными фс? Подозрительно)

Я это понимаю, просто думал мб реализованы какие то зависимости на основе селекторов например

в prometheus используют такой инструмент: https://github.com/jimmidyson/configmap-reload но эта штука пытается релодить пром внутри. если конфиг невалидный - хз что случится. к8с сейчас не тригерит роллинг апдейт сам и думаю не будет никогда

в prometheus используют такой инструмент: https://github.com/jimmidyson/configmap-reload но эта штука пытается релодить пром внутри. если конфиг невалидный - хз что случится. к8с сейчас не тригерит роллинг апдейт сам и думаю не будет никогда

Очень жаль. Я сейчас только начинаю разбираться, написал деплой с помощью ансибла в к8с, но вот такие моменты ненравятся, стоит сразу посмотреть хелм?

что мешает в ansible то же самое применить?

https://github.com/helm/helm/blob/master/docs/charts_tips_and_tricks.md#automatically-roll-deployments-when-configmaps-or-secrets-change

все что нужно, это добавить хеш отрендеренного конфигмапа в spec.template.metadata.annotations

что мешает в ansible то же самое применить?

Да ничего не мешает, просто еще не раьотал с хелмом и пока плохое понимание что он делапт и как. Посмотрю. Спасибо

грубо helm шаблонизатор + каталог чартов (шаблонов\пакетов) + хранение истории. в данной ситуации нужно только добавить spec: template: metadata: annotations: checksum/config: {{ здесь какой то инклюд результата шаблонизирования configmap или набора входных данных для него | какая то хеш функция }}

всем привет. учусь, играюсь с 3хнодовым кластером на baremetal. на одной ноде внезапно падает kube-apiserver, соответственно перестаёт слушаться порт 6443. может кто сталкивался, или подскажет, как отловить?

всем привет. учусь, играюсь с 3хнодовым кластером на baremetal. на одной ноде внезапно падает kube-apiserver, соответственно перестаёт слушаться порт 6443. может кто сталкивался, или подскажет, как отловить?

docker ps -a | grep apiserver docker logs [id]

docker ps -a | grep apiserver docker logs [id]

Мммм

Подскажите плиз по Jobs. я вроде бы выставил restartPolicy: Never но джоба всё равно наровит рестартится.

и поставил backoffLimit: 1

Общее api.. сырое общее апи над полусырыми кластерными фс? Подозрительно)

Дивный новый мир

Подскажите плиз по Jobs. я вроде бы выставил restartPolicy: Never но джоба всё равно наровит рестартится.

а версия кубера какая? если между 1.10.0 и 1.10.4 (включительно), то там был баг с backoffLimit, он не работал, пофиксили в 1.10.5

чйорт

вот этот был https://github.com/kubernetes/kubernetes/issues/62382

очень сильно мне попортил жизнь в свой время 🙂

у меня 1.10.4

как воркэраунд можно всем джобам прописать activeDeadlineSeconds

я думаю настало время в первый раз обновить кубер и поучиться этому.

О, такаяж проблема

Подскажите, а кто-нибудь делал мульти мастер с помощью kubeadm? Есть годная статья?

Подскажите, а кто-нибудь делал мульти мастер с помощью kubeadm? Есть годная статья?

делали с помощью kubespray

Есть ссылочка?

Не на kubespray, а на туториал, если по нему делали

не, туториалов на сколько мне помнится не нашли, делали сами

в бою не заиспользовали, но поднялось как нужно 🙂

там основной поинт был правильно расставить лейблы на ноды, если память не подводит

Подскажите, а кто-нибудь делал мульти мастер с помощью kubeadm? Есть годная статья?

Статья есть) но назвать эти статьи годными..)

Я нашел в оф доке, как это делается, но там еще вкурить надо

еще такая статья была https://medium.com/@bambash/ha-kubernetes-cluster-via-kubeadm-b2133360b198

Подскажите, а кто-нибудь делал мульти мастер с помощью kubeadm? Есть годная статья?

Делал, статья находится прямо в оф.доке k8s, там ж все просто. Я только по 1.10 делал, в 1.11 ее перепилили сильно вроде.

Your clusters must run Kubernetes version 1.11 or later. You should also be aware that setting up HA clusters with kubeadm is still experimental.

Запускайте мастер в HA-виртуалке/lxc-контейнере и будет вам счастье

Ок, будем посмотреть, спасибо

в офицальной доке написано "In a cloud environment, neither approach documented here works with Service objects of type LoadBalancer, or with dynamic PersistentVolumes."

Your clusters must run Kubernetes version 1.11 or later. You should also be aware that setting up HA clusters with kubeadm is still experimental.

Там же везде заточкаНа Google?

Там же везде заточкаНа Google?

ну да, на GKE

ну да, на GKE

Угу