потому что забыл галочку network policy in nodes поставить в настройках gcloud

блин теперь вообще vpn не пускает никуда, все networkpolicy удалил и все равно не пускает, господи почему нет нормальных инструментов для дебага этого все, так и нужно чтоли тыкаться туда-сюда? 😡🗡

Можно ещё одну для меня, у мавен не хочет passphrase для гпг из окружения пробрасывать

спасибо, вот теперь хорошо

а это нормально при HA bare-metal установке заюзать отдельную VPS (например) с haproxy как load balancer для нод? Готов терпеть то, что HA не будет работать, если эта VPS отвалится

а это нормально при HA bare-metal установке заюзать отдельную VPS (например) с haproxy как load balancer для нод? Готов терпеть то, что HA не будет работать, если эта VPS отвалится

Я бы хапрокси на все мастера поставил бы и кепайлав в качестве VRRP

а это нормально при HA bare-metal установке заюзать отдельную VPS (например) с haproxy как load balancer для нод? Готов терпеть то, что HA не будет работать, если эта VPS отвалится

У всех свои представления о нормах.

весь HA – это 3 сервера, совмещающие мастер + воркеры

Я бы хапрокси на все мастера поставил бы и кепайлав в качестве VRRP

у меня всё это в hetzner, там с VRRP всё не так хорошо и просто, как хотелось бы

keepalived + floating ip иногда работает странно и не накидывает новый IP на интерфейс =/

у меня всё это в hetzner, там с VRRP всё не так хорошо и просто, как хотелось бы

Можно хапрокси и на воркеры тогда, и стучаться в локалхост

у меня всё это в hetzner, там с VRRP всё не так хорошо и просто, как хотелось бы

Pacemaker + corosync?

Можно хапрокси и на воркеры тогда, и стучаться в локалхост

хм, а зачем?

Dns + healthchecks

Pacemaker + corosync?

Не, я так понимаю что там проблема в антиспуфинге а не в vrrp, то есть айпишник просто так не повесишь

vrrp = l2 вы уверены что у вас машины в хецнере в одном бродкаст-домене?

Dns + healthchecks

типа round roubin?

vrrp = l2 вы уверены что у вас машины в хецнере в одном бродкаст-домене?

там есть vSwitch, поэтому с бродкастами проблем нет

Pacemaker + corosync?

хм, даже страшно гуглить, что это )

типа round roubin?

Нет, есть dns сервера с поддержкой балансировки по пулам и хэлсчеками

хм, даже страшно гуглить, что это )

https://m.habr.com/en/post/319550/

Не, я так понимаю что там проблема в антиспуфинге а не в vrrp, то есть айпишник просто так не повесишь

угу, ip вешается через API с задержкой примерно 40-60 секунд, что не очень здорово (учитывая то, что еще отваливается)

Нет, есть dns сервера с поддержкой балансировки по пулам и хэлсчеками

типа route 51? (ни разу не использовал)

типа route 51? (ни разу не использовал)

Типа Route53, например gdnsd

https://m.habr.com/en/post/319550/

спасибо, почитаю!

Типа Route53, например gdnsd

блин, точно, 53 )

Типа Route53, например gdnsd

вообще как вариант, но немного пугает то, что некоторые внешние сервисы кешируют ответы DNS, что не очень хорошо в случае падения одного из серверов

вообще как вариант, но немного пугает то, что некоторые внешние сервисы кешируют ответы DNS, что не очень хорошо в случае падения одного из серверов

вообще и внутренние тоже иногда )

https://m.habr.com/en/post/319550/

Вы конечно извините, но после MOS7 и 8 у меня есть ощущение что такую связку используют только олдфаги

Вы конечно извините, но после MOS7 и 8 у меня есть ощущение что такую связку используют только олдфаги

а это что такое? )

а это что такое? )

Мирантис опенстек

https://www.mirantis.com/software/openstack/releases/?

https://www.mirantis.com/software/openstack/releases/?

Оно

хм, еще одно "мы-настроим-всё-из-коробки-решение"...

последнее, что из этого разряда пробовал – kontena – вроде всё сначала хорошо, но в случае непредусмотренных движений влево/вправо начинается боль (

Вы конечно извините, но после MOS7 и 8 у меня есть ощущение что такую связку используют только олдфаги

Ну HA решений не так уж и много, если vrrp не работает, то приходится извращаться.

Кто-то ещё bgp строит, есть metal lb проект

https://metallb.universe.tf/

https://metallb.universe.tf/

что-то у меня его использование закончилось тем, что я указал ему floating ip как доступный, потом навесил ingress и оно как-то работало. Хотя мб я его не правильно готовил, но хотелось бы чего-нибудь, чтобы указать ему 3 внешних ip, а оно запросы на любой из них форвардило на нужную ноду (так не получилось настроить, запросы на активный ip проходили норм, на остальные не форвардились, в итоге всё-равно пришлось настраивать нестабильную схему с keepalived и 1 внешним ip - тогда всё ок работало)

Для бэкапа куба кто-нибудь использует https://heptio.github.io/velero/master/ ? Он похоже обучен только в облачные хранилища бэкапить. Не особо удобно. И вообе может более интересные ваинаты кто-нибудь знает. Раньше бэкапил ямлики через kubectl.

парни, подскажите, ввожу эти вот параметры инициализации кластера Stolon, где мне посмотреть их? где они генерируются? а то применяются без ошибок, а нигде не нашел их

парни, подскажите, ввожу эти вот параметры инициализации кластера Stolon, где мне посмотреть их? где они генерируются? а то применяются без ошибок, а нигде не нашел их

stolonctl spec —defaults …

с pgParameters всё четко и ясно, а вот с глобальными параметрами кластера не ясно

stolonctl spec —defaults …

а, то есть оно ни в какие конфиги посгреса таки не пишет да?

а, то есть оно ни в какие конфиги посгреса таки не пишет да?

они попадают в etcd, в пг попадает pgParameters

они попадают в etcd, в пг попадает pgParameters

понял, спасиб)

хм, а зачем?

Так kubespray делает, то есть у тебя не один балансер на всех, а на каждой ноде по балансеру

Так kubespray делает, то есть у тебя не один балансер на всех, а на каждой ноде по балансеру

а, то есть каждая нода типа балансит на остальные, а я могу обращаться на любую ноду и она форварднёт реквест куда надо?

а, то есть каждая нода типа балансит на остальные, а я могу обращаться на любую ноду и она форварднёт реквест куда надо?

Балансит между мастерами

Балансит между мастерами

ну в принципе норм решение, если юзать балансировщик на базе DNS

ну в принципе норм решение, если юзать балансировщик на базе DNS

А зачем днс? У тебя на каждой ноде nginx или haproxy, который балансит между api-серверами, проверяя их на доступность. Кубелеты уже на локалхост стучат и всегда попадают на рабочий апстрим.

А зачем днс? У тебя на каждой ноде nginx или haproxy, который балансит между api-серверами, проверяя их на доступность. Кубелеты уже на локалхост стучат и всегда попадают на рабочий апстрим.

не, ну у меня есть внешний домен вида something.domain.com, его же надо всё равно куда-то направлять – в итоге можно юзать либо кастомный balancer, либо через round roubin кинуть на все ноды кластера

не, ну у меня есть внешний домен вида something.domain.com, его же надо всё равно куда-то направлять – в итоге можно юзать либо кастомный balancer, либо через round roubin кинуть на все ноды кластера

Round Robin это не про HA

Round Robin это не про HA

а какие варианты есть кроме vrrp / floating ip / haproxy / внешнего dns балансирующего всё это?

Round Robin это не про HA

Гугл же выпилил round robin

а какие варианты есть кроме vrrp / floating ip / haproxy / внешнего dns балансирующего всё это?

Я все, что вспомнил, рассказал. Bgp ещё

Гугл же выпилил round robin

А что они взамен используют?

А что они взамен используют?

Ничего, сказали ебитесь сами, нечего наш round ronbin юзать :-/

а чатика по общему ci так и не появилось?

короче https://t.me/continuous_integration_ru

а кто-нибудь сталкивался с такой штукой: $ helm install --name postgres --storage-class=openebs-ssd replication.slaveReplicas=2 stable/postgresql --tls Error: unknown flag: --storage-class Гугл вообще молчит, строчка из https://docs.openebs.io/docs/next/postgres.html

а кто-нибудь сталкивался с такой штукой: $ helm install --name postgres --storage-class=openebs-ssd replication.slaveReplicas=2 stable/postgresql --tls Error: unknown flag: --storage-class Гугл вообще молчит, строчка из https://docs.openebs.io/docs/next/postgres.html

а ты StorageClass создал? https://docs.openebs.io/docs/next/configurepools.html

а ты StorageClass создал? https://docs.openebs.io/docs/next/configurepools.html

всё есть: # kubectl get sc NAME PROVISIONER AGE openebs-cstor-sparse openebs.io/provisioner-iscsi 75m openebs-jiva-default openebs.io/provisioner-iscsi 76m openebs-snapshot-promoter volumesnapshot.external-storage.k8s.io/snapshot-promoter 75m openebs-ssd openebs.io/provisioner-iscsi 66m

а кто-нибудь сталкивался с такой штукой: $ helm install --name postgres --storage-class=openebs-ssd replication.slaveReplicas=2 stable/postgresql --tls Error: unknown flag: --storage-class Гугл вообще молчит, строчка из https://docs.openebs.io/docs/next/postgres.html

https://github.com/helm/charts/tree/master/stable/postgresql вот тут есть persistence.storageClass

а кто-нибудь сталкивался с такой штукой: $ helm install --name postgres --storage-class=openebs-ssd replication.slaveReplicas=2 stable/postgresql --tls Error: unknown flag: --storage-class Гугл вообще молчит, строчка из https://docs.openebs.io/docs/next/postgres.html

а это флаг helm или это values в самом chart?

а кто-нибудь сталкивался с такой штукой: $ helm install --name postgres --storage-class=openebs-ssd replication.slaveReplicas=2 stable/postgresql --tls Error: unknown flag: --storage-class Гугл вообще молчит, строчка из https://docs.openebs.io/docs/next/postgres.html

а в выражении "storage-class" все символы - латинница? 🤣

keepalived + floating ip иногда работает странно и не накидывает новый IP на интерфейс =/

BGP подними с ECMP, будет адрес анонсится со всех узлов без переезжания

Bgp в хетцнере?

Не накидывается адрес на vrrp это случаем не то что адреса нет на интерфейсе? В сисцтл net.ipv4.ip_nonlocal_bind=0 добавлено?

Я хз, если их оборуюование поддерживает, то почему нет

Мне кажется оптимальный вариант в хетцнере - как кубеспрей разворачивает. На локалхост кубелет, а дальше проксей на три мастера балансировка, например

Балансеры удобнее масштабировать, а не руками в vrrp переназначать новые узлы мастерами, а другие слейвами

Через кипалайв и апи хетцнера менять некий флоат ip для управления и администрирования, что не так критично с не мгновенными переносом ip с ноды на ноду. Как вариант

Добавляя 3,4 и тд балансеры, на всех узлах надо переписывать конфиг, с bgp он один на все узлы статичный

Если хетцер так может, проще bird поднять

https://landscape.cncf.io/

а кто-нибудь сталкивался с такой штукой: $ helm install --name postgres --storage-class=openebs-ssd replication.slaveReplicas=2 stable/postgresql --tls Error: unknown flag: --storage-class Гугл вообще молчит, строчка из https://docs.openebs.io/docs/next/postgres.html

Я им сделал pr https://github.com/openebs/openebs-docs/pull/538 Можешь проверить пожалуйста?

Я им сделал pr https://github.com/openebs/openebs-docs/pull/538 Можешь проверить пожалуйста?

почти 🙂 $ helm install --name postgres persistence.storageClass=openebs-ssd replication.slaveReplicas=2 stable/postgresql Error: This command needs 1 argument: chart name

наверное надо --set заюзать