мы юзаем https://github.com/kubernetes-sigs/aws-iam-authenticator

что значит поделитесь опытом? мозги пересадить? есть конкретный вопрос - задавай

Имеет смысл вкладывать время в изучение? Или нет

Или ж нативные к8с средства использовать?

Какие преимущества дает к8с провайдер на терраформ ?

Для контейнеров

Кстати, как оказалось, докер и правда фигово с zfs работает, после ребута на 5 нодах из 45 начали встречаться ошибки типа "cannot iterate filesystems: i/o error" для некоторых docker volumes, решил пока остановиться на ext4 и overlayfs, работает и ладно.

Кстати, как оказалось, докер и правда фигово с zfs работает, после ребута на 5 нодах из 45 начали встречаться ошибки типа "cannot iterate filesystems: i/o error" для некоторых docker volumes, решил пока остановиться на ext4 и overlayfs, работает и ладно.

а ты докер запускал прям поверх zfs?

ну у меня был отдельный датасет под него, но сути это не меняет

т.е да, с --storage-driver zfs

привет, не получается завести calico для куба на aws, хостовая система — стандартная centos 7, ставил calico по офф гайду https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/calico#installing-with-the-kubernetes-api-datastore50-nodes-or-less

в подах сети нет, адрес выдается

куда копать хз, и забавно с ноды сервис куба доступен, а вот с пода на этой же ноде — нет

в подах сети нет, адрес выдается

что это значит? В каком статусе калико? если подергать calico node status вообще видно что-то?

что это значит? В каком статусе калико? если подергать calico node status вообще видно что-то?

# ./calicoctl node status Calico process is running. IPv4 BGP status +--------------+-------------------+-------+----------+-------------+ | PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO | +--------------+-------------------+-------+----------+-------------+ | 10.90.10.112 | node-to-node mesh | up | 10:48:49 | Established | | 10.90.10.165 | node-to-node mesh | up | 10:48:51 | Established | | 10.90.10.226 | node-to-node mesh | up | 10:48:50 | Established | | 10.90.11.169 | node-to-node mesh | up | 10:48:51 | Established | | 10.90.11.51 | node-to-node mesh | up | 10:48:49 | Established | | 10.90.12.216 | node-to-node mesh | up | 10:48:49 | Established | | 10.90.12.245 | node-to-node mesh | up | 10:48:51 | Established | | 10.90.12.78 | node-to-node mesh | up | 10:48:48 | Established | +--------------+-------------------+-------+----------+-------------+ IPv6 BGP status No IPv6 peers found.

видно

что это значит? В каком статусе калико? если подергать calico node status вообще видно что-то?

это значит, что kube-dns не может подключится к kube-api

есть какие-то идеи, как это все дебажить? Я вообще хз с какой стороны подойти :(

а connectivity между нодами реально работает? попинговать получается друг-друга хотя бы?

ноды?

да

и еще, внутри пода странный маршрут по умолчанию, не знаю, правильный ли: ~# ip r default via 169.254.1.1 dev eth0 169.254.1.1 dev eth0 scope link

да это норм. поды из пода, ноды из пода пингуются? что именно kube-dns пишет? на вид то просто все нормально

Днс не может подключится к api

Сети в подах нет, ща локальную проверю, но ноду пода

Только что пришло обновление на Docker, там в release notes написано Kubernetes Support. You can now run a single-node Kubernetes cluster from the “Kubernetes” Pane in Docker for Windows settings and use kubectl commands as well as docker commands. See https://docs.docker.com/docker-for-windows/kubernetes/

на мак уже давно такое было

Может и на линупсе каком-нибудь тоже есть такое, на винду вот только сделали

это наверное в stable релизе, т.к. в превью уже точно было ранее

вру, было в бете https://blog.docker.com/2018/07/kubernetes-is-now-available-in-docker-desktop-stable-channel/

теперь в стейбл выктали

да это норм. поды из пода, ноды из пода пингуются? что именно kube-dns пишет? на вид то просто все нормально

так, нода на которой под из пода пингуется, поды на другой ноде нет

Привет. Пишу чарт для хелма и при инсталле он ругается, что не знает , откуда брать значения для переменных, хотя в values.yaml они все описаны. Синтаксис и отступы уже проверил, ни у кого такого не было?

Привет. Пишу чарт для хелма и при инсталле он ругается, что не знает , откуда брать значения для переменных, хотя в values.yaml они все описаны. Синтаксис и отступы уже проверил, ни у кого такого не было?

debug и dry-run не подсказывает?

debug и dry-run не подсказывает?

нет, там говорят то же самое.

Я тут взвожу кубер в проде на баре метал и уже заебался :) Может кому-то он кажется простым, но блин, пока взведешь сойдёт семь потов :)

на убунте?

На centos, но это по-моему не важно на какой ос

А в чем проблемы?

ну у сентоси ядро 3.10 же

ну у сентоси ядро 3.10 же

это проблема?

хз, но докер рекомендует использовать 4+

так, нода на которой под из пода пингуется, поды на другой ноде нет

короче, дропнул кластер, насетапил новый, вырубил к чертям selinux (грешил на него), все равно не работает сеть в подах

это проблема?

дистрибутив где больше цифирька выигрывает!!111 Что, бэкпорты?

А в чем проблемы?

Проблем особых нет, есть тысяча мелочей.

Проблем особых нет, есть тысяча мелочей.

а подробнее?

а накатить посвежее систему никак нельзя?

дистрибутив где больше цифирька выигрывает!!111 Что, бэкпорты?

сразу видно настоящего красноглазика

а накатить посвежее систему никак нельзя?

свежая центос седьмая: # uname -r 3.10.0-862.3.2.el7.x86_64

хмм но ведь опеншифт на такой крутится, значит все должно быть ок

(я по центоси и версии ядра не в теме, сорри)

но опеншифт и на 6 вроде работает а на 7 так точно

сразу видно настоящего красноглазика

это был сарказм, если детектор не сломан у меня

есть тут кто, кто в калико разбирается?

слушай ну вчера же обсуждали, возьми копсом наверни кластер на 2 ноды с нужными флагами и подсмотри конфиги

а подробнее?

Ну начиная с начала. Обновить etcd, включить приём сертификатов. Настроить роли и политики. Поднять CA, сделать его отказоустойчивым. Написать манифесты паппета, дописать модуль кубера в паппете. Собрать бинари кубера. Взвести кластер. Поднять калико с бгп и роут рефлекторами. Найти почему нат, отключить. Найти почему из пода пингуется нода удаленная 1 раз из 100. Отключить ipip у калико. Поднять metric-server, выяснить что надо взвести дополнительные флаги в апи сервере, выписать сертификаты, понять что выписал не тот тип сертификата. И т.д. Все проблемы решаются, но постоянно на что-то натыкаешься.

и сделай дифф со своими, а то так можно долго пытаться найти где что-то пропустил

слушай ну вчера же обсуждали, возьми копсом наверни кластер на 2 ноды с нужными флагами и подсмотри конфиги

Я на ковыряние с копсом потеряю больше времени

Ну начиная с начала. Обновить etcd, включить приём сертификатов. Настроить роли и политики. Поднять CA, сделать его отказоустойчивым. Написать манифесты паппета, дописать модуль кубера в паппете. Собрать бинари кубера. Взвести кластер. Поднять калико с бгп и роут рефлекторами. Найти почему нат, отключить. Найти почему из пода пингуется нода удаленная 1 раз из 100. Отключить ipip у калико. Поднять metric-server, выяснить что надо взвести дополнительные флаги в апи сервере, выписать сертификаты, понять что выписал не тот тип сертификата. И т.д. Все проблемы решаются, но постоянно на что-то натыкаешься.

это про centos?

да в чем там ковыряние? там же одну команду выполнить с флагами

это про centos?

Да я же говорю нет разницы особой по-моему. Но да центос

это был сарказм, если детектор не сломан у меня

про бэкпорты? сомнительно или ты про мое сообщение?)

Я на ковыряние с копсом потеряю больше времени

и мне надо понять как оно работает и как его дебажить, а не получить готовое и в случае чего плясать с бубном

даже по идее можно не создавать кластер а заюзать флаг чтобы дампануть ТФ файлы и глянуть что там

Ну начиная с начала. Обновить etcd, включить приём сертификатов. Настроить роли и политики. Поднять CA, сделать его отказоустойчивым. Написать манифесты паппета, дописать модуль кубера в паппете. Собрать бинари кубера. Взвести кластер. Поднять калико с бгп и роут рефлекторами. Найти почему нат, отключить. Найти почему из пода пингуется нода удаленная 1 раз из 100. Отключить ipip у калико. Поднять metric-server, выяснить что надо взвести дополнительные флаги в апи сервере, выписать сертификаты, понять что выписал не тот тип сертификата. И т.д. Все проблемы решаются, но постоянно на что-то натыкаешься.

а про calico на aws в курсе?

а про calico на aws в курсе?

Я не работал особо с авс, не в курсе

Ну начиная с начала. Обновить etcd, включить приём сертификатов. Настроить роли и политики. Поднять CA, сделать его отказоустойчивым. Написать манифесты паппета, дописать модуль кубера в паппете. Собрать бинари кубера. Взвести кластер. Поднять калико с бгп и роут рефлекторами. Найти почему нат, отключить. Найти почему из пода пингуется нода удаленная 1 раз из 100. Отключить ipip у калико. Поднять metric-server, выяснить что надо взвести дополнительные флаги в апи сервере, выписать сертификаты, понять что выписал не тот тип сертификата. И т.д. Все проблемы решаются, но постоянно на что-то натыкаешься.

Ещё сервисные акаунты, работа с волтом, настройка пайплайна, поднятие чарта, сборка имаджей. Дофига всего.

Я не работал особо с авс, не в курсе

а если не aws, в чем может быть проблема, если из пода Я могу пингануть только хостовый ip?

а если не aws, в чем может быть проблема, если из пода Я могу пингануть только хостовый ip?

На хосте что вы видите в tcpdump?

Когда удаленный пингуете

Или вы не можете пинговать ip удаленного пода

Не могу

Не пингуется вообще ничего в мире

Погодите. Есть сеть подов, есть сеть хостов, есть внешняя сеть.

Только хост на котором под

Ок. Удалённый хост не пингуется тоже?

Ни другие поды ни ноды ни внешка не пингуются

Что в tcpdump на хосте

Минут через 20 смогу глянуть

Откуда пингуете

Из пода

Пинговал