Nariman
kubectl describe pod aas-v1-869766d995-tn2sq Failed to pull image "nariman/proxy:master.db145789a436
Lucky SB
пересоздай секрет с паролем от докера.
Lucky SB
введи правильные буковки
Lucky SB
кстати. на докер хабе я что то никакого nariman найти не могу ) только narimantos/proxy
Андрей Филатов
простите, не сдержался )) ИЩЕМ ЧЕЛОВЕКА ДЛЯ ЗАХВАТА МИРА С ПОМОЩЬЮ НАНОРОБОТОВ! http://nanolabvr.com/wanted?fbclid=IwAR1A4opsoGmF89cRuzA7NM_K2yL9K__Mjk4jkqzJsXXs2G28R68Nkc9qW5s
Й
@kvaps - по MetalLB 1. У меня, как человеку, долгое время проработавшему в провайдинге, слово NAT вызывает плохие чуства. Как вспомню сколько core2duo кушает NAT потока 30к пакетов.... Ну вобщем стараюсь его избегать везде где он не нужен. и в данном случае концепция принятия http трафика в сервис типа LoadBalancer или NodePort вызывает недоумение. причем, что интересно, в GKE есть два режима LB, при первом все идет через сервисы и NAT, а вот во втором пакеты напрямую на нужные узлы идут сразу в под... мне не нравится принимать http через сервис. а нравится напрямую в ингресс-контроллер, запущенный с hostnetwork: true 2. Претензии уже не к самому LB, а толпе воинствующих адептов. Которые на любой вопрос про балансер сразу кричат - что надо ставить metalLB - типа оно простое и само заводится. при это адепты эти видимо не читали доки от слова совсем. и не знают о существовании странички Cloud Compatibility в доке. и что прежде чем советовать, стоит узнать о том как сеть построенна у спрашивающего. 3. Претензия к куче хаутушек с обманчиво простой инсталляцией: примените манифест, создайте конфиг-мап и все заработает - что также вызывает жалость к тем, кто попробует применить это знание не в простой L2 сети. 4. Претензия к самой доке металлб. крайне скудно описаны опции для BGP-режима, а опции для bgp-коммюнити в разных частях доки в разных ямл-переменных указываются. communities: vs bgp-communities: 5. Сам я не пробовал, но навскидку у меня есть такой вопрос к скорости переключения: Что будет если упадет узел на котором запущен controller и под с нагрузкой. (т.е. плавающий адрес на этом узле щас находится) ? будем ждать 7,5 минут стандартных таймаутов, пока поднимется новый под с контроллером ? спикеры же только адрес подставляют и правила фаерволла на узле правят ? 6. Альтернатива в виде keepalived VRRP или pacemaker для таскания ip адреса между узлами мне кажется более надежной и универсальной.
Тут все просто: если человек не сможет в процессе натягивания металлб на свой кластер понять нужно оно ему или нет, то такого человека к кластеру лучше не подпускать. И если вопрошающий не в состоянии осилить ридми и сравнить требования со своей инфрой, так опять таки, не нужен ему кластер. А НАТ там кста отключается через политику сервиса (локал) и все замечательно работает. А неосиляторам давно гке прописали
Й
Второй это какой?
Й
ДНАТ который?
Lucky SB
Второй это какой?
ну да. запрос то пришел на адрес узла, а сервис его натит на адрес пода
Й
Ну тут-то металлб уж точно непричем)
Lucky SB
ну он же не умеет прсто без ната делать. просто адреса перетаскивать между узлами.
Й
Не. Оно при политике локал, шлёт трафло на ту ноду где и под. Хотя могу ошибаться
Lucky SB
опять же. судя по количству оговорк в доке и пречислению CNI плагинов с которыми оно умеет работать - что-то то оно там нехоррошее делает с кубпрокси и правилами iptables
Й
Кластерный
Lucky SB
Кластерный
а запрос из инторнета на какой адрес пришел ?
Й
не ставил, но осуждаю...
Я как бы тож не прям фанат, но причину по которой обычно советую металлб описал выше)
Lucky SB
Я как бы тож не прям фанат, но причину по которой обычно советую металлб описал выше)
иэххх. первая доза бесплатно, а потом они придут на аутсорс
Й
иэххх. первая доза бесплатно, а потом они придут на аутсорс
Нуууу как говорится, надо же как то заманивать)
Lucky SB
Нуууу как говорится, надо же как то заманивать)
мягче, мягче надо вываживать, чтоб не сорвался
Solyar
Есть вопрос. Почему убив 1 воркер из 4 я начал ловить алерты об 33% отказе шедулера и контроллер менеджера?
Solyar
Какие-то порты на машинах закрыл кубу?
Solyar
Или забыл открыть
Й
А где вы их ловите, и какой у вас кластер, чем сетапили
𝚔𝚟𝚊𝚙𝚜
@kvaps - по MetalLB 1. У меня, как человеку, долгое время проработавшему в провайдинге, слово NAT вызывает плохие чуства. Как вспомню сколько core2duo кушает NAT потока 30к пакетов.... Ну вобщем стараюсь его избегать везде где он не нужен. и в данном случае концепция принятия http трафика в сервис типа LoadBalancer или NodePort вызывает недоумение. причем, что интересно, в GKE есть два режима LB, при первом все идет через сервисы и NAT, а вот во втором пакеты напрямую на нужные узлы идут сразу в под... мне не нравится принимать http через сервис. а нравится напрямую в ингресс-контроллер, запущенный с hostnetwork: true 2. Претензии уже не к самому LB, а толпе воинствующих адептов. Которые на любой вопрос про балансер сразу кричат - что надо ставить metalLB - типа оно простое и само заводится. при это адепты эти видимо не читали доки от слова совсем. и не знают о существовании странички Cloud Compatibility в доке. и что прежде чем советовать, стоит узнать о том как сеть построенна у спрашивающего. 3. Претензия к куче хаутушек с обманчиво простой инсталляцией: примените манифест, создайте конфиг-мап и все заработает - что также вызывает жалость к тем, кто попробует применить это знание не в простой L2 сети. 4. Претензия к самой доке металлб. крайне скудно описаны опции для BGP-режима, а опции для bgp-коммюнити в разных частях доки в разных ямл-переменных указываются. communities: vs bgp-communities: 5. Сам я не пробовал, но навскидку у меня есть такой вопрос к скорости переключения: Что будет если упадет узел на котором запущен controller и под с нагрузкой. (т.е. плавающий адрес на этом узле щас находится) ? будем ждать 7,5 минут стандартных таймаутов, пока поднимется новый под с контроллером ? спикеры же только адрес подставляют и правила фаерволла на узле правят ? 6. Альтернатива в виде keepalived VRRP или pacemaker для таскания ip адреса между узлами мне кажется более надежной и универсальной.
> слово NAT вызывает плохие чуства. Как вспомню сколько core2duo кушает NAT потока 30к пакетов.... Ну вобщем стараюсь его избегать везде где он не нужен. Ну это скорее притензия к кубу а не к MetalLB, в принципе и без ната жить вполне можно с IPVS > мне не нравится принимать http через сервис. а нравится напрямую в ингресс-контроллер, запущенный с hostnetwork: true Ну в общем-то это не проблема, запускай и юзай, с hostNetwork оно прекрасно будет работать. > Что будет если упадет узел на котором запущен controller и под с нагрузкой. (т.е. плавающий адрес на этом узле щас находится) Контроллер занимается только тем, что выдаёт адреса сервисам типа LoadBalancer. У спикеров есть свой leader election, так что в случае краха, если у сервиса несколько эндпоинтов, айпишник просто переедет на другую ноду. если один, то будет ждать пока появится новый под
Lucky SB
> слово NAT вызывает плохие чуства. Как вспомню сколько core2duo кушает NAT потока 30к пакетов.... Ну вобщем стараюсь его избегать везде где он не нужен. Ну это скорее притензия к кубу а не к MetalLB, в принципе и без ната жить вполне можно с IPVS > мне не нравится принимать http через сервис. а нравится напрямую в ингресс-контроллер, запущенный с hostnetwork: true Ну в общем-то это не проблема, запускай и юзай, с hostNetwork оно прекрасно будет работать. > Что будет если упадет узел на котором запущен controller и под с нагрузкой. (т.е. плавающий адрес на этом узле щас находится) Контроллер занимается только тем, что выдаёт адреса сервисам типа LoadBalancer. У спикеров есть свой leader election, так что в случае краха, если у сервиса несколько эндпоинтов, айпишник просто переедет на другую ноду. если один, то будет ждать пока появится новый под
а этот лидер елекшен через etcd и примитивы куба работает ?
Lucky SB
ну и как бы придираясь к словам... почему LB ? ;) если в L2режиме это просто переезжающий один адрес... и никакой балансировки с одним адресом быть не может
Lucky SB
ну супер. аналог pacemaker и keepalived
Lucky SB
заточен под куб и сеть, которую не встретишь у хостеров.
𝚔𝚟𝚊𝚙𝚜
ну супер. аналог pacemaker и keepalived
я бы сказал он похож на keepalived, но вместо VRRP он юзает куб API
Slach
https://kubeoperator.io/ что-то я все чаще и чаще думаю что я зря английский учу, что надо китайский
Игорь
а этот лидер елекшен через etcd и примитивы куба работает ?
https://github.com/danderson/metallb/issues/298#issuecomment-411848222 In 0.7, for scaling, I switched to trusting k8s to tell us the state of the cluster. Unfortunately, I assumed that it was way better than it actually is :(
George
по крайней мере как я понимаю. Т.е. - да, я согласен, что металлб - это про fail-over, а не про балансировку как мы ее понимаем.
Alex
Failed to pull image "some.private.registry/SOME_IMAGE:SOME_TAG": rpc error: code = Unknown desc = unexpected EOF А кто-нибудь сталкивался с такой ошибкой? Кубер в гугле, используется приватный регистри, все образы нормально выкачиваются, один, начиная с определенной версии, висит с такой ошибкой
Alex
причём локально всё идеально вытаскивается
Alex
Что-то с сетью между нодой и регистри?
Есть подозрения, но вроде на этой ноде другие образы тянутся идеально
Alex
еще подозрительно выглядит Pod sandbox changed, it will be killed and re-created.
Игорь
Alex
Это у одного пода или у всех на ноде?
только у одного, у всех подов деплоймента, после удаления такая же штука, даже если на другую ноду перекидывается
Alex
хм, решил проблему заменой толстого образа на 800Мб на компактный на 80Мб )
𝚔𝚟𝚊𝚙𝚜
@kvaps - по MetalLB 1. У меня, как человеку, долгое время проработавшему в провайдинге, слово NAT вызывает плохие чуства. Как вспомню сколько core2duo кушает NAT потока 30к пакетов.... Ну вобщем стараюсь его избегать везде где он не нужен. и в данном случае концепция принятия http трафика в сервис типа LoadBalancer или NodePort вызывает недоумение. причем, что интересно, в GKE есть два режима LB, при первом все идет через сервисы и NAT, а вот во втором пакеты напрямую на нужные узлы идут сразу в под... мне не нравится принимать http через сервис. а нравится напрямую в ингресс-контроллер, запущенный с hostnetwork: true 2. Претензии уже не к самому LB, а толпе воинствующих адептов. Которые на любой вопрос про балансер сразу кричат - что надо ставить metalLB - типа оно простое и само заводится. при это адепты эти видимо не читали доки от слова совсем. и не знают о существовании странички Cloud Compatibility в доке. и что прежде чем советовать, стоит узнать о том как сеть построенна у спрашивающего. 3. Претензия к куче хаутушек с обманчиво простой инсталляцией: примените манифест, создайте конфиг-мап и все заработает - что также вызывает жалость к тем, кто попробует применить это знание не в простой L2 сети. 4. Претензия к самой доке металлб. крайне скудно описаны опции для BGP-режима, а опции для bgp-коммюнити в разных частях доки в разных ямл-переменных указываются. communities: vs bgp-communities: 5. Сам я не пробовал, но навскидку у меня есть такой вопрос к скорости переключения: Что будет если упадет узел на котором запущен controller и под с нагрузкой. (т.е. плавающий адрес на этом узле щас находится) ? будем ждать 7,5 минут стандартных таймаутов, пока поднимется новый под с контроллером ? спикеры же только адрес подставляют и правила фаерволла на узле правят ? 6. Альтернатива в виде keepalived VRRP или pacemaker для таскания ip адреса между узлами мне кажется более надежной и универсальной.
Кстати, а как ты делаешь failover для ингресс-контроллера, запущенного с hostnetwork: true?
Viktor
Привет. Пытаюсь через edit sts поменять podManagementPolicy, но получаю: * spec: Forbidden: updates to statefulset spec for fields other than 'replicas', 'template', and 'updateStrategy' are forbidden Не существует никаких костылей, чтобы это сделать? Придется удалять sts? Может, patch?
G72K
Привет. Пытаюсь через edit sts поменять podManagementPolicy, но получаю: * spec: Forbidden: updates to statefulset spec for fields other than 'replicas', 'template', and 'updateStrategy' are forbidden Не существует никаких костылей, чтобы это сделать? Придется удалять sts? Может, patch?
Поищите старые гайды, до того как в STS появилось updateStrategy. Вкратце можно отцепить поды от STS, заменить sts, новый STS находит старые поды и продолжает работать
G72K
А что такое podManagementPolicy
Viktor
А что такое podManagementPolicy
Поднимать поды по одному или сразу все в реплике
Lucky SB
https://github.com/danderson/metallb/issues/298#issuecomment-411848222 In 0.7, for scaling, I switched to trusting k8s to tell us the state of the cluster. Unfortunately, I assumed that it was way better than it actually is :(
спасибо. год прошел, а у них все еще fail-over time when the elected leader is drained and shut down is never less than 320 seconds. @kvaps
Lucky SB
Кстати, а как ты делаешь failover для ингресс-контроллера, запущенного с hostnetwork: true?
зависит от хостера. В хетцнере pacemaker у меня меняет роутинг для FIP адресов (их 3 штуки для трех ингрессов). Дело не быстрое, где то секунд 40 уходит на смену роутинга. в это врем 30% запросов теряется. у другого хостера pacemaker просто ip адрес между серверами гоняет... а где-то cloudflare используется ;)
Lucky SB
В смысле они в Active/Active работают? - через IPaddr2 делаешь?
Если ты про хетцнер - то там ocf::kumina:hetzner-failover-ip а если просто про ip адреса, то да IPaddr2 три хоста, у каждого по адресу
𝚔𝚟𝚊𝚙𝚜
Понял. Значит nginx-ingress-controller нормально в несколько инстансов работает?
Arty
подскажите, а для PV можно как-то попроще задать nodeAffinity? без указания там hostname и прочего как в доках. типа "текущая нода" или вроде того
𝚔𝚟𝚊𝚙𝚜
Просто мы одно время по той-же причине чтобы избежать кубового Nat'а заюзали pipework. Он прекрасно работает вот уже два года, но хочется чего-нибудь более нативного.
Solyar
Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list resource "replicationcontrollers" in API group "" at the cluster scope Один из мастеров плюется ошибкой
Solyar
Все остальные работают нормально
Solyar
В чём соль?
Solyar
В RBACе ?
𝚔𝚟𝚊𝚙𝚜
как демонсет работает, а какие сомнения?
Никаких, просто поинтересовался
Марат
даже helm чарт с ингрес контроллером умеет и деплоймент, и демонсет поднимать, все ок
Mikhail [azalio]
В RBACе ?
Видимо у вас именно там активный шедулер.
Марат
у меня в кластерках в хецнере демонсетами, но с балансировкой проще, есть свои балансеры выше, миграция IP не нужна
Solyar
если умрёт он умрёт всё?
Mikhail [azalio]
если умрёт он умрёт всё?
Выберется другой
Solyar
Тогда интересно почему он плюется такими ошибками
Solyar
или это "норма"?