да, он на service discovery ориентируется, не должны люди руками каждый инстанс добавлять.

не хочу идти к сетевым девопсам и просить их прикручивать discovery на роутеры разбросанные по интернету)

не хочу идти к сетевым девопсам и просить их прикручивать discovery на роутеры разбросанные по интернету)

роутеры отлично мониторятся через snmp_exporter

не хочу идти к сетевым девопсам и просить их прикручивать discovery на роутеры разбросанные по интернету)

тогда может пусть сервисы при старте стукнутся в определенный домен и мы их запишем в конфиг ?

хм) сервисы?

cisco? microtic?

не хочу идти к сетевым девопсам и просить их прикручивать discovery на роутеры разбросанные по интернету)

Сетевые девопсы? Это кто такие?

cisco? microtic?

ну если роутеры взаимосвязанны, можно поллить snmp таблицы связности т.е. у вас там наверняка бекбон на ospf, забирая эти данные можно написать свой дискавери) но я вроде как уже говорил что для железа я сам рекомендую zabbix) слишком много нароботок там сделано за последние 10 лет

Сетевые девопсы? Это кто такие?

те которые не про кубернетси)

ну если роутеры взаимосвязанны, можно поллить snmp таблицы связности т.е. у вас там наверняка бекбон на ospf, забирая эти данные можно написать свой дискавери) но я вроде как уже говорил что для железа я сам рекомендую zabbix) слишком много нароботок там сделано за последние 10 лет

угу)

cisco? microtic?

MikroTik жееее, зачем коверкать та ?

Блин, ну начитался вашей писанины за ночь, голова распухла от того сколько еще надо изучить

Всем привет! Есть джоба с параметром backoffLimit : 3 Насколько понимаю, она должна ограничивать количевство перезапусков джобы?

еще политика рестартов есть для job, эти два параметра влияют на перезапуск

вообще limit помоему это число попыток. тоесть 3 запуска максимум

вообще limit помоему это число попыток. тоесть 3 запуска максимум

Читаю сейчас доку по k8s по джобам, и лимитов, кроме backoffLimit не увидел.

о нем и речь

о нем и речь

Указано backoffLimit : 3 и restartPolicy": OnFailure

вообще limit помоему это число попыток. тоесть 3 запуска максимум

Проблема в том что есть джоба которая фэйлится специально при помощи exit 1 В итоге она перезапускается бесконечно

попробуй restart policy never

ну или джобу переосмыслить нужно

попробовать легко на busybox с cmd

попробуй restart policy never

Пробоволи. В Never бесконечно перезапускается джоба. Ладно будем переосмысливать)

Ребят подскажите логику. У меня сейчас запускается плейбук и спомощью модуля к8с разворачивает приложение. Как правильно на удаленный сервер где исполняется kubectl , прокидывать ключи?

Пока в голове мысль хранить на мастере ансибла в анс-вульт содержание клбчей, потом на конечном хосте из этих секретов создать файлы ключей, а после исполнения удалить... но почти уверен что эта схема так себе

Ребят подскажите логику. У меня сейчас запускается плейбук и спомощью модуля к8с разворачивает приложение. Как правильно на удаленный сервер где исполняется kubectl , прокидывать ключи?

ложить ключ в /tmp и удалять handler'ом в конце плейбука?

сам знаешь какой там треш начнется, тут заббикс уже упоминался))

Что за церковь метрик, уже не первый раз слышу, дайте линк. Там наверное за забикс можно спрлсить. :)))))

metrics_ru

Что за церковь метрик, уже не первый раз слышу, дайте линк. Там наверное за забикс можно спрлсить. :)))))

В церкви метрик только и разговоров, что о забиксе

Что за церковь метрик, уже не первый раз слышу, дайте линк. Там наверное за забикс можно спрлсить. :)))))

там за заббикс можно, но только один раз

главное не использовать дедупликацию :)

Почему?

Почему?

если не хочешь что бы zfs много памяти жрала

при включенной дедупликации zfs все хэши в памяти держит

metrics_ru

СПС бро

Котоны, кто нибудь пробовал только containerd использовать в кубе?

Я использую в тестовом кластере. Работает

Были ли уже сложности с ним?

Нет, все ок. Он к спекам где-то относится более четко и это даже хорошо. Например nexus-oss HEAD запрос игнорит, хочет GET, а по спецификации HEAD только и containerd его и шлет регистри. Это вот единственное, что я заметил, но следование спекам мне нравится больше, чем "да и так работает и ладно"

А образы также через тулзу собирать?

при этом сохранить raidz и возможность снапшотов например

я так и не понял как ты zfs в куб подаешь через nfs?

привет всем. кто-то прикручивал в кубернетес cephfs? при создании claim выдает ошибку: I0723 10:03:28.964828 1 leaderelection.go:178] successfully acquired lease to provision for pvc kube-test/claim1 I0723 10:03:28.966849 1 event.go:218] Event(v1.ObjectReference{Kind:"PersistentVolumeClaim", Namespace:"kube-test", Name:"claim1", UID:"82da642a-8e58-11e8-be2c-005056b2b12a", APIVersion:"v1", ResourceVersion:"14503224", FieldPath:""}): type: 'Normal' reason: 'Provisioning' External provisioner is provisioning volume for claim "kube-test/claim1" E0723 10:03:39.796804 1 cephfs-provisioner.go:155] failed to provision share "kubernetes-dynamic-pvc-f1905d95-8e5e-11e8-9700-ea04dd2539d0" for "kubernetes-dynamic-user-f1905e1a-8e5e-11e8-9700-ea04dd2539d0", err: exit status 1, output: Traceback (most recent call last): File "/usr/local/bin/cephfs_provisioner", line 336, in <module> main() File "/usr/local/bin/cephfs_provisioner", line 330, in main print cephfs.create_share(share, user, size=size) File "/usr/local/bin/cephfs_provisioner", line 210, in create_share volume = self.volume_client.create_volume(volume_path, size=size) File "/usr/local/bin/cephfs_provisioner", line 106, in volume_client self._volume_client.connect(None) File "/lib/python2.7/site-packages/ceph_volume_client.py", line 471, in connect self.fs.mount() File "cephfs.pyx", line 548, in cephfs.LibCephFS.mount (/home/jenkins-build/build/workspace/ceph-build/ARCH/x86_64/AVAILABLE_ARCH/x86_64/AVAILABLE_DIST/centos7/DIST/centos7/MACHINE_SIZE/huge/release/13.2.0/rpm/el7/BUILD/ceph-13.2.0/build/src/pybind/cephfs/pyrex/cephfs.c:5648) cephfs.Error: (110, 'error calling ceph_mount: error code 110') E0723 10:03:39.796908 1 controller.go:1068] Failed to provision volume for claim "kube-test/claim1" with StorageClass "cephfs": exit status 1

я так и не понял как ты zfs в куб подаешь через nfs?

В данный момент как-раз занимаюсь реализацией этого решения. В большинстве своем я все описал в этой статье. https://habr.com/post/417473/

Только применительно для куба

По сути есть linstor который создает drbd-устройства на нодах, он умеет ZFS или LVM как backend. После этого запускаешь под с NFS-сервером с NodeAffinity к нодам где находится это drbd-устройство

все очень просто

только я сейчас больше к iscsi склоняюсь нежели к nfs, но обе реализации возможны

а вообще у linstor свой драйвер был для куба, он умеет drbd-устройство напрямую к поду доставлять

Привет. А подскажите, может кто в курсе, есть какая-нибудь штука конвертить описания конфигураций kubernetes в terraform? вроде kompose для compose -> kubernetes

Нету

я так и не понял как ты zfs в куб подаешь через nfs?

А если нужно локально то обычные local-volumes работают вообще идеально: https://kubernetes.io/blog/2018/04/13/local-persistent-volumes-beta/

а вообще у linstor свой драйвер был для куба, он умеет drbd-устройство напрямую к поду доставлять

drbd и куб в одном предложении это конечно такое)

А образы также через тулзу собирать?

Ну docker push в репозиторий, потом containerd их забирает прекрасно

drbd и куб в одном предложении это конечно такое)

к сожалению аналогов у него особо нет, так что пытаемся обуздать необуздаемое :)

OpenEBS разве что, но он тоже немного странный

Ну docker push в репозиторий, потом containerd их забирает прекрасно

Спасибо

к сожалению аналогов у него особо нет, так что пытаемся обуздать необуздаемое :)

но есть более современные SDS!

и я сейчас не только про ceph

и не столько

Ну я перепробовал много всего, что ты имеешь ввиду?

Ceph - он очень сильно проседает при более-менее приличной нагрузке.

+ ресурсов требует немеренно

Ceph - он очень сильно проседает при более-менее приличной нагрузке.

а что у вас такого в кубе?

многа хостинга и многа VPSок

но есть более современные SDS!

Например какие?

Например какие?

у делл есть неплохой бесплатный вариант)

у делл есть неплохой бесплатный вариант)

а можно ссылочку, что конкретно имеется ввиду?

Перфекционист во мне грустит( Иконка чата криво вписана в круг

а можно ссылочку, что конкретно имеется ввиду?

Я так понимаю, имелся в виду https://www.opensds.io/

Но это все поверх цефа и дрбд

Я так понимаю, имелся в виду https://www.opensds.io/

Это же не замена ceph, насколько. Понимаю. Или zfs, если уж на то пошло. Вариант надстройки. Типа лонгхорна, только умеет жить вне куба

Это же не замена ceph, насколько. Понимаю. Или zfs, если уж на то пошло. Вариант надстройки. Типа лонгхорна, только умеет жить вне куба

Я так понял, это просто некоторое общее апи надо всеми ними https://github.com/opensds/opensds/tree/master/examples/driver

Ребят в кубере есть какаянить политика зависимостей? Если например оьновил см файл который используется в деплойменте, то поды надо пересоздать автоматом?

а можно ссылочку, что конкретно имеется ввиду?

sacleio

Ceph - он очень сильно проседает при более-менее приличной нагрузке.

Вроде в последней стабильной версии bluestore объявлен стабильным. Он позволит избавиться от write amplification. Не тестировали?

Ребят в кубере есть какаянить политика зависимостей? Если например оьновил см файл который используется в деплойменте, то поды надо пересоздать автоматом?

в helm в зависимые объектые в аннотации добавляют хэши отрендеренных объектов. в итоге например деплоймент обновится, когда изменишь конфиг мап и поедет роллинг апдейт

в helm в зависимые объектые в аннотации добавляют хэши отрендеренных объектов. в итоге например деплоймент обновится, когда изменишь конфиг мап и поедет роллинг апдейт

Хм..я еще не дошел до хелма...)

смысл в том что ты меняешь прост объект при изменении конфигмапа

смысл в том что ты меняешь прост объект при изменении конфигмапа

Я это понимаю, просто думал мб реализованы какие то зависимости на основе селекторов например

Я так понял, это просто некоторое общее апи надо всеми ними https://github.com/opensds/opensds/tree/master/examples/driver

Общее api.. сырое общее апи над полусырыми кластерными фс? Подозрительно)

Я это понимаю, просто думал мб реализованы какие то зависимости на основе селекторов например

в prometheus используют такой инструмент: https://github.com/jimmidyson/configmap-reload но эта штука пытается релодить пром внутри. если конфиг невалидный - хз что случится. к8с сейчас не тригерит роллинг апдейт сам и думаю не будет никогда

в prometheus используют такой инструмент: https://github.com/jimmidyson/configmap-reload но эта штука пытается релодить пром внутри. если конфиг невалидный - хз что случится. к8с сейчас не тригерит роллинг апдейт сам и думаю не будет никогда

Очень жаль. Я сейчас только начинаю разбираться, написал деплой с помощью ансибла в к8с, но вот такие моменты ненравятся, стоит сразу посмотреть хелм?

что мешает в ansible то же самое применить?

https://github.com/helm/helm/blob/master/docs/charts_tips_and_tricks.md#automatically-roll-deployments-when-configmaps-or-secrets-change

все что нужно, это добавить хеш отрендеренного конфигмапа в spec.template.metadata.annotations

что мешает в ansible то же самое применить?

Да ничего не мешает, просто еще не раьотал с хелмом и пока плохое понимание что он делапт и как. Посмотрю. Спасибо

грубо helm шаблонизатор + каталог чартов (шаблонов\пакетов) + хранение истории. в данной ситуации нужно только добавить spec: template: metadata: annotations: checksum/config: {{ здесь какой то инклюд результата шаблонизирования configmap или набора входных данных для него | какая то хеш функция }}

всем привет. учусь, играюсь с 3хнодовым кластером на baremetal. на одной ноде внезапно падает kube-apiserver, соответственно перестаёт слушаться порт 6443. может кто сталкивался, или подскажет, как отловить?