чтобы отслеживать успешность сейчас отправляю event в newrelic. там тригерю по неудачам. но есть проблемы с тем чтобы зафиксировать что кто то перестал засылать event

У меня только монга бекапится. Я через пайплайны gitlab-ci запускаю задания, и там же фейлы отлавливаю)Удобно

сейчас превратить в cronjobs пытаемся задания по бэкапу - зафейлится джоб, стригерим на уровне k8s алертов. зафейлится и сможет отправить эвент - стригерим в двух местах сразу. но всеравно сыкотно как то

сейчас превратить в cronjobs пытаемся задания по бэкапу - зафейлится джоб, стригерим на уровне k8s алертов. зафейлится и сможет отправить эвент - стригерим в двух местах сразу. но всеравно сыкотно как то

сделай blackbox exporter и триггери алерт "не было бэкапов уже n дней"?

А бб куда будет тыкать?

А можно как то сделать что бы он не деплоил одну из реплик на мастере? Мастер открыт для деплоя, закрывать не надо...

ну написать ему nodeAffinity с оператором notIn где ключ значение (роль не мастер) только addon-manager конфиги перетирает, вы попробуйте сначала label поменять с reconcile на ensure exists

сейчас превратить в cronjobs пытаемся задания по бэкапу - зафейлится джоб, стригерим на уровне k8s алертов. зафейлится и сможет отправить эвент - стригерим в двух местах сразу. но всеравно сыкотно как то

Была такая идея у меня, даже пробовал бекапится из кронджоб. Но у меня помимо этой кронджобы еще много других, которые фэйлятся, поэтому бывает что этих алертов куча прилетает на не успешные джобы. Поэтому отказался от этой идеи.

А бб куда будет тыкать?

Наверное думаю в алерт менеджер

Была такая идея у меня, даже пробовал бекапится из кронджоб. Но у меня помимо этой кронджобы еще много других, которые фэйлятся, поэтому бывает что этих алертов куча прилетает на не успешные джобы. Поэтому отказался от этой идеи.

Но как же лейблы?

А бб куда будет тыкать?

в прометей сует метрику, алертманагер триггерит письмо Самому 👆. не знаю есть ли в newrelic такой вариант

в прометей сует метрику, алертманагер триггерит письмо Самому 👆. не знаю есть ли в newrelic такой вариант

Короче нужно метрику придумать и заэкспортить

угу, метрика поставляется bb в худшем случае

Но как же лейблы?

Их бывает штук по 100 за ночь прилетает. Иногда можно пропустить нужное событие.

угу, метрика поставляется bb в худшем случае

понятно, тоже самое по сути что я в newrelic отправляю, только эта хрень снаружи кластера и по идее,если отправить не смогу событие - зафейлю джобу (тогда стригерю внутри алерт по джобе)

у меня одного периодически бьется fs в rbd pv при переезде подов с ноды на ноду? приходится его отмонтировать делать e2fsck

Их бывает штук по 100 за ночь прилетает. Иногда можно пропустить нужное событие.

так фильтровать по своему лейблу, который только для бэкап джоб

уже даже делаю sync перед удалением пода и все равно иногда получаю corruption fs

понятно, тоже самое по сути что я в newrelic отправляю, только эта хрень снаружи кластера и по идее,если отправить не смогу событие - зафейлю джобу (тогда стригерю внутри алерт по джобе)

нене, суть в том чтоб отслеживать время последнего бэкапа, а не сам эвент. Нет бэкапа - пусть кластер рожает как хочет

ок ок =) я рассматриваю и такой вариант, с отсутсвием эвентов. тут не так важно кто собирает и как метрика\евент появляется.

Была такая идея у меня, даже пробовал бекапится из кронджоб. Но у меня помимо этой кронджобы еще много других, которые фэйлятся, поэтому бывает что этих алертов куча прилетает на не успешные джобы. Поэтому отказался от этой идеи.

можно по лейблу выбирать же)

так фильтровать по своему лейблу, который только для бэкап джоб

А, я понял понял про что ты. Имеешь в виду что только алертить фейл джобы с нужным мне лейблом?

конечно

конечно

У меня алертятся фэйлы многих джоб, и все практически по лейблу. Типа задачи на выгрузку данных в кластер. Этих выгрузок много и идут они часто, поэтому фейлов много

ребят а rancher использует по умолчанию k8s или swarm? Кто-то знает насчёт swarm или у него своё что-то

юзает кубер работает хуёво

лучше чистый кубер

Никак не пойму архитектуру для монги в стейтфулсете на bare metal

Какой лучше для этого использовать тип persistence volume

Мне, по большому счету, нужно чтоб у каждого пода, на своей ноде был диск/каталог

Но у local storage affinity на ноду

Ну дак local storage подходит

Надо чтоб у каждого пода был вольюм

Дак в чем проблема? У каждого и будет

Нет, affinity создаст вольюм только на одной ноде

Нет

Локал волюм провижн смотрит на маунты в определённом каталоге (из конфига) и добавляет эти маунты в список pv с определенным storage class

Соответственно на каждой ноде создаёшь каталог, маунтишь туда диск и он будет в списке пв с нужным классом. Сам под уже использует сторадж класс и забирает наиболее подходящий свободный волюм на ноде

Я извратился наделал имаджей прям на диске фаллокейтом и намаунтил их с нужными фс в нужные мне каталоги

Монга с xfs работает, сами образы дисков на ext4 валяются

Local Persistent Volumes for Kubernetes Goes Beta - Kubernetes https://kubernetes.io/blog/2018/04/13/local-persistent-volumes-beta/

Вот тут разве не об этом Note that there’s a new nodeAffinity field in the PersistentVolume object: this is how the Kubernetes scheduler understands that this PersistentVolume is tied to a specific node. nodeAffinity is a required field for local PersistentVolumes.

Читал. У меня всё на local storage :)

PV привязан к ноде

Такой вопрос: кто как бэкапы хранит? Наиболее интересен вариант с S3

restic все шифрует и дедуплит и потом может заливать вообще куда угодно

@bobrebyc посмотри в local-volume-provisioner

@bobrebyc посмотри в local-volume-provisioner

Это что-то сторонее?

Ребят, а если я монтирую emptydir, овнера у дирекории я могу сменить только через initcontainer?

Вроде как.

Вроде как.

О! Порешал через security-context.

@bobrebyc посмотри в local-volume-provisioner

https://github.com/kubernetes-incubator/external-storage/blob/master/local-volume/examples/manual-pv.yaml а тут тоже affinity

всё правильно, PV на определенной ноде же. ты можешь вручную создать PV, можешь через provisioner. Что бы он автоматом искал маунты и создавал PV

всё правильно, PV на определенной ноде же. ты можешь вручную создать PV, можешь через provisioner. Что бы он автоматом искал маунты и создавал PV

А ещё он их подчищать умеет, при удалении

Всем привет =) а можно нубский вопрос? пытаюсь завести kubernetes hardway под Vagrant https://github.com/Slach/kubernetes-the-hard-way-vagrant вопрос следующий kube-controller-manager может работать как single node? или ему обязательно нужен кворум из других контроллеров?

может

так, ок, а для этого ему какой то конкретный ключ надо указать? у меня проблема в том что kube-apiserver + etcd + kube-controller-manager стартуют и apiserver на 8080 даже делает listen но при попытке сделать curl http://127.0.0.1:8080/api у меня случается connection refused а journalctl -u kube-controller-manager.service бодро рапортует что типа не может сделать lock для ресурсов =( а при этом etcd рапортует что он пытается сделать leader election

etcd вообще кстати умеет как single node ? вроде ж умел всегда?

etcd вообще кстати умеет как single node ? вроде ж умел всегда?

Ему, вроде, ключик надо.

Типа standalone или чёто такое.

да, разберитесь с etcd

да, разберитесь с etcd

спасибо, буду копать

Случайно убил iptables правила от Weave. Как восстановить? Кого порестартить? (расскатано через kubespray)

Случайно убил iptables правила от Weave. Как восстановить? Кого порестартить? (расскатано через kubespray)

Сами прилетят

подскажите, как решить задачу ... все не могу найти ответ нужно пробросить порты из сервисов наружу пример <serviceA:port><namespaceA> ==> domain.com:port <serviceB:port><namespaceB> ==> domain.com:port и так несколько сервисов привязать к одному домену

ingress тут как-то не прокатил, он упорно проксирует на 80/443, и только на http/https

Сами прилетят

Вторые сутки не прилетают

Вот pod пытается подключиться к удалённому серверву: [Interface:vethweplb7fb5fe] 09:14:05.756761 IP 10.233.88.6.57090 > 10.196.21.6.80: Flags [S... [Interface:weave] 09:14:05.756776 IP 10.233.88.6.57090 > 10.196.21.6.80: Flags [S... Пакет уходит внутрь weave, вместо выхода на физический интерфейс сервера

Вот pod пытается подключиться к удалённому серверву: [Interface:vethweplb7fb5fe] 09:14:05.756761 IP 10.233.88.6.57090 > 10.196.21.6.80: Flags [S... [Interface:weave] 09:14:05.756776 IP 10.233.88.6.57090 > 10.196.21.6.80: Flags [S... Пакет уходит внутрь weave, вместо выхода на физический интерфейс сервера

Как насчёт под вива на ноде удалить?

Как насчёт под вива на ноде удалить?

Спасибки, заработало

Народ, по дефолту стефтутл сет ждет 5 минут , если он был на ноде, которую выключили, а потом переезжает. Верно?

(не сам стейтфулсет а под стейтфулсета)

Народ, по дефолту стефтутл сет ждет 5 минут , если он был на ноде, которую выключили, а потом переезжает. Верно?

Нет, если у пода были вольюмы, то только руками

Нет, если у пода были вольюмы, то только руками

А заставить его сделать это автоматом возможно? Волюмы - персистанс волюмы?

А заставить его сделать это автоматом возможно? Волюмы - персистанс волюмы?

а как он без волюмов переедет?

а как он без волюмов переедет?

а волюмы по fc. Че бы ему не переехать?

fc это что ?

fibre channel. напрямую с дискового массива монитрует в под

ну если в самом поде монтируется зачем локал сторейдж , не используйте его

ну если в самом поде монтируется зачем локал сторейдж , не используйте его

А почему ты решил что у меня локалстроайдж?

Нет локалстрайджа

(Или я тебя не понял)

ну если нет пв то все само переедет или в чем суть твоего фулстейтсета?