Мужики, кто юзает это у себя? https://github.com/kubernetes/charts/tree/master/stable/mongodb-replicaset

я его взял за основу этак полтора года назад и допилил - с тех пор все работает норм

Коллеги, как поменять owner'a у директории, которая является mountPath'ом для PersistentVolume? Через securityContext не получится, потому что он только группу умеет менять. Через initContainer не получается, т.к. при старте init контейнера ещё не запровижионен pv. Что делать?

хмм если вольюм примаунтить в инит контейнер тоже то он же не запустится пока вольюм не создался

ой я чет туплю кажись, можно же тот хелсчек удалить и натравить https healthcheck, не?

т.е. взять healthcheck, который будет смотреть на другой порт? так и делал на aws'е когда-то, лет 10 назад, пока не увидел, что кастомные коды можно прописывать. и почему такие базовые штуки не реализованы на GKE? :(

Джентльмены, логосрач. что нынче модное и трушное? ELK? EFK? ERK? graylog?

моднее всего слать в сторонний сервис типа loggly или logz.io

моднее всего слать в сторонний сервис типа loggly или logz.io

не, мне что-нибудь для более трушных

не, мне что-нибудь для более трушных

clickhouse

т.е. взять healthcheck, который будет смотреть на другой порт? так и делал на aws'е когда-то, лет 10 назад, пока не увидел, что кастомные коды можно прописывать. и почему такие базовые штуки не реализованы на GKE? :(

угу вместо http https healthcheck а про то чего в гцп нет это отдельная история например там нет нат

я думал о том, что использовать переменные дженкинса, но меня почемуто смущает мысль привязываться к дженкинсу

храните с гите зашифрованные gpg (git-crypt, passwordstore), в переменных дженкинса нужно хранить ключ для дешифрации (так тот же флант делает, например только в гитлабе неправославном)

спасибо. вижу, но там нет настроек, которые передаются в аннотации

nginx -T и смотрите что там оно нагенерировало

ой я чет туплю кажись, можно же тот хелсчек удалить и натравить https healthcheck, не?

а еще можно вообще убрать https из контейнера и отдать ssl offloading на откуп ингрессу или лоадбалансеру. Ну и/или сделать ещё все-таки норм healtcheck который имеет свой урл и может по хттп работать и заодно проверят что приложение действительно работает

nginx -T и смотрите что там оно нагенерировало

показывает то что и в конфиге, изменений нет (

значит не перегенерило конфиг

нужно глянуть логи этого контейнера - возможно ругается на аннотацию

там по умолчанию уровень логов может стоять низкий - надо его поднять

так прикол в том, что применилось все что было в аннотации

этого контейнера=ингресс контроллера

а сколько подов ингресс контроллера?

может в одном перегенерило конфиг а вдругом нет

в любом случае первым делом стоит попробовать удалить под нжинкс контроллера чтобы он пересоздался и с нуля сгенерил конфиг

(или поды если их много)

один

а еще можно вообще убрать https из контейнера и отдать ssl offloading на откуп ингрессу или лоадбалансеру. Ну и/или сделать ещё все-таки норм healtcheck который имеет свой урл и может по хттп работать и заодно проверят что приложение действительно работает

предполагаю, что если сделано так, то влезть в код приложения не могут чтобы сделать ноомальный эндпоинт

завтра попробую удалить

я его взял за основу этак полтора года назад и допилил - с тех пор все работает норм

Там оказалось у меня все гораздо проще. Там драйверу, конектора монги передал имя репликасета. И все нормально заработало. Но все равно спасибо за дельный совет!

? хорошо когда приложение умное и понимает когда репликасет и что надо делать в этом случае

мне вот пришлось костылить

угу вместо http https healthcheck а про то чего в гцп нет это отдельная история например там нет нат

Нашел вот такое решение, похоже на то, что надо: GCE’s Ingress controller does not support redirect rules, but the documentation includes a solution. The backend Service must inspect the x-forwarded-proto header and redirect if the value is equal to http. if ($http_x_forwarded_proto = "http") { return 301 https://$host$request_uri; } The check MUST be for http. Although theoretically equivalent, if the check is written as if($http_x_forwarded != 'https') Google Cloud Load Balancer’s automated health checks will end up getting a 301 redirect and the backend will be considered unhealthy. 

а еще можно вообще убрать https из контейнера и отдать ssl offloading на откуп ингрессу или лоадбалансеру. Ну и/или сделать ещё все-таки норм healtcheck который имеет свой урл и может по хттп работать и заодно проверят что приложение действительно работает

Вы, по-моему, не поняли: приложение/контейнер только на 80 порту доступно внутри кластера. ssl termination делает ingress gke. healthcheck url да тоже надо. Но есть интересный вариант с http_x_forwarded_proto = http. Люблю чекать так же, как внешний клиент, а не синтетические специальные healthcheck урлы, которые могут быть живыми, а приложение нет.

привет! никто не знает, почему конфиг-мап из файла монтируется папкой в под? другой json файл рядом, импортированный точно так-же и точно так-же подключенный в контенере как файл лежит. Что за магия?

тот-же самый файл, другой путь и примонтировало правильно....

хмм если вольюм примаунтить в инит контейнер тоже то он же не запустится пока вольюм не создался

Если посмотреть get event --watch во время создания, то порядок создания ресурсов такой: 1. pvc provision 2. attach succeed (Mount) 3. Init container image, pull/start 4. container image pull/start Конкретно в моем случае используется dynamic provision с Vsphere, k8s 1.9.5. Между вторым и третьим шагом вечный баг, первый mount всегда отваливается по timeout и дает FailedMount, но k8s считает это как warning. Видимо mount начинается, до того, как диск успеет замаунтиться к ноде. Как регулировать время этого timeout'a я не нашел. Баги на github открытые есть, т.к. со второй попытки все срабатывает, пока решил забить. Работает

> Люблю чекать так же, как внешний клиент это называется "тесты" > а не синтетические специальные healthcheck урлы, которые могут быть живыми, а приложение нет. а эта проблема не связана с ингрессом и вообще с кубернетисом

Коллеги, вопрос по helm. Почему при helm upgrade он тушит все поды разом, не смотря на то, что новые ещё не поднялись? Может я что то не понимаю? Даже kubectl set image работает, убивая только часть подов, ждёт пока поднимается новый pod, а только потом тушит и обновляет оставшиеся

❓Всем привет, не подскажите как конфигурации использовать для разных сред, чтоб конфиг при деплое для нужной среды подставлялся в проекте❓

у меня бежит для этого sidecar контейнер

Спасибо, похоже пришло костылить)

Всем привет. Коллеги, а как на GKE правильно выставить наружу сервис через ingress, если сервис отвечает 301 на 80 порту (переадресовывает на 443). У меня из-за этого healthcheck фейлится и этот backend наружу не выставляется, соответственно

сделайте на backend /healthz который будет возвращать 200 и выставьте healthcheck на него

Вы, по-моему, не поняли: приложение/контейнер только на 80 порту доступно внутри кластера. ssl termination делает ingress gke. healthcheck url да тоже надо. Но есть интересный вариант с http_x_forwarded_proto = http. Люблю чекать так же, как внешний клиент, а не синтетические специальные healthcheck урлы, которые могут быть живыми, а приложение нет.

Для внешних healthcheck обычно делают отдельный эндпоинт, не тот что для пода

Потому что бежит несколько копий пода и даже если один из них сломался - для внешнего юзера по существу будет секундный даунтайм но внешний чекер может поймать его и засчитать как даунтайм всего приложения на Х минут (как часто внешний чекер чекает) что имхо неправильно

Если посмотреть get event --watch во время создания, то порядок создания ресурсов такой: 1. pvc provision 2. attach succeed (Mount) 3. Init container image, pull/start 4. container image pull/start Конкретно в моем случае используется dynamic provision с Vsphere, k8s 1.9.5. Между вторым и третьим шагом вечный баг, первый mount всегда отваливается по timeout и дает FailedMount, но k8s считает это как warning. Видимо mount начинается, до того, как диск успеет замаунтиться к ноде. Как регулировать время этого timeout'a я не нашел. Баги на github открытые есть, т.к. со второй попытки все срабатывает, пока решил забить. Работает

Ага баг vsphere volume provisioner - нужно запомнить

Коллеги, вопрос по helm. Почему при helm upgrade он тушит все поды разом, не смотря на то, что новые ещё не поднялись? Может я что то не понимаю? Даже kubectl set image работает, убивая только часть подов, ждёт пока поднимается новый pod, а только потом тушит и обновляет оставшиеся

Причём тут хелм, покажите update strategy у деплоймента, там должно быть правильно указано max unavailable

❓Всем привет, не подскажите как конфигурации использовать для разных сред, чтоб конфиг при деплое для нужной среды подставлялся в проекте❓

Если хелм - то просто передавайте свой values.yaml для каждой среды

сделайте на backend /healthz который будет возвращать 200 и выставьте healthcheck на него

Вот только надо реально проверять состояние приложения внутри а не возвращать 200 в любом случае

ну повесь туда обработчик, который отдаёт 200 только если приложение рабочее

куча репортов в пустоту

Та там же был спам, я сначала тоже подумал что в пустоту. Админ сноси репорты тоже, а то с непривычки ниче не ясно :)

для каждого девелопера будет свой ns, который создается через дженкинс и в приложении, как и везде собсно, есть такие данные, которые нельзя залить на гит, пароли, токены и подобная инфа т.е. пришел новый девелопер - нажал в дженкинсе кнопку, ему создалось свое окружение с его доменом и т.п. а этот вариант не получится, если предварительно не создать секреты

Так может их сгенерить когда кнлпка нажимается? Как вариант.

Так может их сгенерить когда кнлпка нажимается? Как вариант.

сгенерить пароли для каких то внутренних сервисов я могу, а токены и пароля для внешних интеграций - у меня статические

https://tproger.ru/news/minimal-ubuntu-released/ не альпайн конечно но лучше чем минидеб образ от левой конторы, забыл название

сгенерить пароли для каких то внутренних сервисов я могу, а токены и пароля для внешних интеграций - у меня статические

Получается надо генерить то что генерится, а остальное копипастить откуда то.

Получается надо генерить то что генерится, а остальное копипастить откуда то.

для этого я и хотел использовать секреты, которые доступны между ns

А потом захотим сервисы на несколько неймспейсов и тд

Низкая связность за счёт дублирования считается в наше время хорошей практикой

Низкая связность за счёт дублирования считается в наше время хорошей практикой

в этом тоже есть логика, поэтому не особо хочется привязываться к дженкинсу, т.к. сразу отпадает возможность действий через kubectl

Почему отпадает?

Всем доброе утро! Подскажите пожалуйста. Есть statefulset из 2 реплик. Октлючаю один воркер, и statefulset поднимается на другом воркере. В итоге при инициализации получаю ошибку Multi-Attach error for volume "pvc-4162f80d-83fa-11e8-81f2-fa163ea01587" Volume is already exclusively attached to one node and can't be attached to another С чем это может быть связанно?

Эксклюзивно подключен

Написано же

Эксклюзивно подключен

Я это понимаю, но к чему он может быть подключен? Никчему, так как под который его использовал пересоздается на другом воркере

Всем доброе утро! Подскажите пожалуйста. Есть statefulset из 2 реплик. Октлючаю один воркер, и statefulset поднимается на другом воркере. В итоге при инициализации получаю ошибку Multi-Attach error for volume "pvc-4162f80d-83fa-11e8-81f2-fa163ea01587" Volume is already exclusively attached to one node and can't be attached to another С чем это может быть связанно?

Какая версия k8s? Был детач для pv при отключении воркера?

Всем доброе утро! Подскажите пожалуйста. Есть statefulset из 2 реплик. Октлючаю один воркер, и statefulset поднимается на другом воркере. В итоге при инициализации получаю ошибку Multi-Attach error for volume "pvc-4162f80d-83fa-11e8-81f2-fa163ea01587" Volume is already exclusively attached to one node and can't be attached to another С чем это может быть связанно?

Ну и если монга то сделайте 3 реплики, а то ж сплитбрейн все дела

Хотя бы арбитра доп деплойментом (но я бы не советовал)

Ну и если монга то сделайте 3 реплики, а то ж сплитбрейн все дела

я хотел 3 написать.

Ну и для полноты картины, где pv лежит?

ERROR: S client not available

Ага ок ?

Если ebs то там много багов вплоть до того что вольюм в авс вебморде показывает как детачед но виден со старого инстанса

В общем Allow force detach for volume if node has shutdown

Какая версия k8s? Был детач для pv при отключении воркера?

Версия: 1.9.8 PV лежит на open stack cinder. Кажется я понял в чем причина. Диск приатачен к воркер-инстансу. Когда инстанс выключился, диск автоматически не смог отмантироватся. Statefulset пытается его примонтировать к другому инстансу, но он этого сделать не может

Я такое вижу и не на StatefulSet

(RBD)

под переезжает, а PV нет

под переезжает, а PV нет

ага такая же беда

Версия: 1.9.8 PV лежит на open stack cinder. Кажется я понял в чем причина. Диск приатачен к воркер-инстансу. Когда инстанс выключился, диск автоматически не смог отмантироватся. Statefulset пытается его примонтировать к другому инстансу, но он этого сделать не может

openstack volume list показывает, что pv приаттачен, а воркера нет?

openstack volume list показывает, что pv приаттачен, а воркера нет?

Вот с этим буду как раз разбиратся. openstack не мой. Спасибо за наводку

Вот с этим буду как раз разбиратся. openstack не мой. Спасибо за наводку

Может быть этот тикет поможет: https://github.com/kubernetes/kubernetes/pull/56846

Может быть этот тикет поможет: https://github.com/kubernetes/kubernetes/pull/56846

респект

забаньте его

/report

всем привет. в эхотаге совсем новичок. что смотреть для постоянных volume в кластере baremetal ?

кажется оно умеет прям все что мне надо. Ну вот из-за этого в основном https://romana.io/images/multi-vlan.png

Привет, я romana использую, могу подсказать если что

https://youtu.be/JWHB8sN1O-4

разные сети для подов

Это не разные сети для подов как таковые, это просто 2 L2-домена под ноды

в romana можно описать топологию для твоей сети и она будет автоматически маршруты строить для нее

https://github.com/romana/romana/wiki/Romana%27s-topology-configuration

@kvaps романа умеет анонсить по бгп на два роутера?

Для этого нужен route-publisher, я не использую но думаю что можно просто два паблишера поднять https://github.com/romana/romana/blob/master/docs/romana/ROUTE_PUBLISHER.md

Учти, у romana сейчас есть один баг: она включает proxy_arp для всех интерфейсов, так что если у тебя на ноде больше одного интерфейса, то может получиться крайне неприятная ситуация

а мой PR никак не вмерджат :( https://github.com/romana/core/pull/107

Учти, у romana сейчас есть один баг: она включает proxy_arp для всех интерфейсов, так что если у тебя на ноде больше одного интерфейса, то может получиться крайне неприятная ситуация

У меня один физический включён будет.

И несколько логических

тогда ок, но я бы все равно ограничился бы включением proxy_arp только на контейнерных интерфесах. можешь использовать мой image для romana-agent kvaps/romana-agent - он с фиксом

я думаю что в следующей версии патч примут, во всяком случае это решение они мне сами подсказали во внутреннем слаке

Да, я уже там :)

а, вижу?

Привет посоны. Создал конжоб с шедулером 30 12 * * *