проблема в том что хочу кластер с нодами в разных странах

Это идея, которую по возможности лучше избежать

наверное, лучше разные кластера хранить по разным странам

у дальше для управления разными датацентрами у куба есть федерации

Не, это уж черезчур круто для моих нужд )

мы не юзали, но на практике было разнесено, в разных дц - разные кластера

правитель федерации микросервисов

а кто чем разворачивает кластер ?

а кто кстати заводил и использовал федерацию в кубе?

Какие то свои решения или стандартные типо kubeadm

а кто чем разворачивает кластер ?

the hard way, свой набор терраформа и ансибла

the hard way, свой набор терраформа и ансибла

и его проходил, для понимания, но там же используют google cloud

хочеться на голые виртуалки или bare metal

ааа, ну у нас на aws

у дальше для управления разными датацентрами у куба есть федерации

Мне вот интересно, все их советуют , а кто-нибудь пользовался на практике? Там ограничений вагон, в итоге все деплои один хер надо делать в конечные кластеры

Мне вот интересно, все их советуют , а кто-нибудь пользовался на практике? Там ограничений вагон, в итоге все деплои один хер надо делать в конечные кластеры

вот мне тоже интересно, особенно в проде

вот в kubespray тоже по дефолту calico, понятно что там node-to-node mesh , а что такое route-reflectors ??? Вы не в курсе

Если вы не в курсе, вам они не нужны

Мне вот интересно, все их советуют , а кто-нибудь пользовался на практике? Там ограничений вагон, в итоге все деплои один хер надо делать в конечные кластеры

по мне они не очень то нужны, проще зайти на каждый мастер и что-то сделать, чем городить еще один уровень сырых абстракций

Короче ОБС советы

Если вы не в курсе, вам они не нужны

Ну так можно на каждом шагу отказываться от вещей )) , как понимаю они как раз нужны для более легкого пиринга между ДЦ

так это хорошо же, отказываться, не ломается то, чего нет

короч, не пойму в чём проблема, не хочу винить провайдера хостинга, но грёбанный рандомный рестарт естб-нод помог подняться 2м из 3х, а 3й (вообще он у меня 1й) поыдмается, а потмо виснет и всё на*, даже команды docker exec -it etcd1 sh не может запустить, хот в логе последняя запись rafthttp: established a TCP streaming connection with peer но она судя по всему последняя до того как нода зависает

Ну так можно на каждом шагу отказываться от вещей )) , как понимаю они как раз нужны для более легкого пиринга между ДЦ

Нет, это доя больших сетей, где BGP всех ко всем сходится дольше, чем хотелось бы. Если у вас нету этого, вам оно и не нужно.

Нет, это доя больших сетей, где BGP всех ко всем сходится дольше, чем хотелось бы. Если у вас нету этого, вам оно и не нужно.

Спасибо

и его проходил, для понимания, но там же используют google cloud

а как именно проблемы возникают адаптировать the hard way к своим виртуалкам? Там только сеть надо праивльно настроить, а сертификаты и настройки все компонентов кластера остаются. Не?

а как именно проблемы возникают адаптировать the hard way к своим виртуалкам? Там только сеть надо праивльно настроить, а сертификаты и настройки все компонентов кластера остаются. Не?

Собственно процесс идет ), может и не будет проблем, я не опс, я разработчик, но так карты легли, что делаю это я. Я больше смотрел в сторону https://github.com/kubernetes-incubator/kubespray , что бы была какая то повторяемость развертывания/добавления нод.

Собственно процесс идет ), может и не будет проблем, я не опс, я разработчик, но так карты легли, что делаю это я. Я больше смотрел в сторону https://github.com/kubernetes-incubator/kubespray , что бы была какая то повторяемость развертывания/добавления нод.

ха, я тоже разработчик и не опс, но меня тут послали учиться на офф доке и хард вей 🙂 Моя история по чату выше есть, постыня такая 🙂 В принципе хард вей это то, что я искал. Ток с настройкой сети разобраться и можно разворачивать свой первый кластер.

А деплоите чем ?

что в качестве CI?

я в сторону drone ci смотрю

что в качестве CI?

GitLat CI

там же храню контейнеры и там же код. А так же на ютубе от компании Flant есть видео крутые на всю архитектуру от а до я.

Собственно процесс идет ), может и не будет проблем, я не опс, я разработчик, но так карты легли, что делаю это я. Я больше смотрел в сторону https://github.com/kubernetes-incubator/kubespray , что бы была какая то повторяемость развертывания/добавления нод.

я не рекомендую юзать готовые решения для продакшена. Случись чего с кластером, что будешь делать?)) сперва рекомендую ручками пару кластеров собрать

да я уже собрал раза 4 )

там кстати все вроде ок

в этих ansible рецептах

они там ничего сверхестественного не делают, я почитал почти весь код

Конкретно в etcd внутри сидит протокол raft, который просто не считает операцию совершенной, пока ее не приняло большинство участников кластера, поэтому там это вообще сразу из коробки (правда с чтениями они один раз все же профакапились, но это пофиксили).

А я вот в прошлый четверг это собрал. Было очень неприятно. Щас думаю какой инсталлятор кубернетес использовать, чтобы не самому все опции запуска поддерживать

Если версия меньше 1.9, то проверьте что apiserver запущен с флагом --etcd-quorum-read=true Иначе рано или поздно придет беда.

А в 1.9 что поменяли? etcd-client там той,же версии

Коллеги, а чем можно мониторить наличие таких сущностей, как ep, ing, svc? Смотрю в сторону экспортера для прометеуса, но что-то не могу ничего нагуглить. Хочу алерты получать, если будут какие-то изменения происходить (постоянно пропадают эндпоинты гластера).

Коллеги, а чем можно мониторить наличие таких сущностей, как ep, ing, svc? Смотрю в сторону экспортера для прометеуса, но что-то не могу ничего нагуглить. Хочу алерты получать, если будут какие-то изменения происходить (постоянно пропадают эндпоинты гластера).

Видел на гитхабе скрипт, который слушает все события в апи сервере и может их куда-то отправлять. Можно его модифицировать

Видел на гитхабе скрипт, который слушает все события в апи сервере и может их куда-то отправлять. Можно его модифицировать

kube-api-exporter?

коллеги, кто-нибудь использует вояджер? как ощущения?

kube-api-exporter?

Не помню как называется. Могу посмотреть как буду на работе

Не помню как называется. Могу посмотреть как буду на работе

Буду благодарен.

Коллеги, а чем можно мониторить наличие таких сущностей, как ep, ing, svc? Смотрю в сторону экспортера для прометеуса, но что-то не могу ничего нагуглить. Хочу алерты получать, если будут какие-то изменения происходить (постоянно пропадают эндпоинты гластера).

https://github.com/kubernetes/kube-state-metrics ?

https://github.com/kubernetes/kube-state-metrics ?

Спасибо. Сейчас попробую.

но кстати, говорят глюстер - весьма дурной тон ) Он у вас снаружи кластера или внутри?

https://github.com/kubernetes/kube-state-metrics ?

а дашборда для графаны к этому есть ?

А в 1.9 что поменяли? etcd-client там той,же версии

В 1.9 флаг deprecated, kubernetes его игнорирует и считает что всегда true

коллеги, кто-нибудь использует вояджер? как ощущения?

использовал, он какой-то странный. Решил перейти на традиционный ингресс.

но кстати, говорят глюстер - весьма дурной тон ) Он у вас снаружи кластера или внутри?

Отдельно. Но бесит, что постоянно (рандомно) пропадают эндпоинты и поды не разворачиваются. Находятся в вечном ContainerCreating. Причину не могу найти никак.

а дашборда для графаны к этому есть ?

мне не попадалась. Но по правде, я сильно не искал. Если найдете - дайте знать.

а дашборда для графаны к этому есть ?

А зачем? Есть же названия метрик (и дока по ним), можно самому сделать.

вот-вот... я смотрю с дашбордами вообще печаль, в чарт stable/grafana вообще блин 7 дней назад только закомитили код что бы их цеплять автоматом

Отдельно. Но бесит, что постоянно (рандомно) пропадают эндпоинты и поды не разворачиваются. Находятся в вечном ContainerCreating. Причину не могу найти никак.

как вариант, попробовать ендпоинты создавать принудительно.

затем что там все автоматизируется на ура, зачем же делать это вручную ?

как вариант, попробовать ендпоинты создавать принудительно.

По крону раз в 5 минут))

но мне кажется дело здесь в кривости глюстера. Что-то серьезное на него нельзя. По крайней мере в k8s. У меня тоже ендпоинты на гластер отпадали.

В 1.9 флаг deprecated, kubernetes его игнорирует и считает что всегда true

Ну надо же и года не прошло

использовал, он какой-то странный. Решил перейти на традиционный ингресс.

традиционный – это nginx?

традиционный – это nginx?

традиционный — это Ingress. Voyager — это пародия на Ingress.

т.к. мне нужна была хапрокся, то я заюзал единственный доступный вариант: https://github.com/jcmoraisjr/haproxy-ingress Помогаю разрабу допиливать код по мере надобности

посмотрю, спасибо. А то мне надо TCP-потоки чистые тоже принимать, спецпротокол. HTTP-то я через nginx протолкну, это несложно

поговаривают, что в nginx ingress controller есть модуль stream и он умеет в TCP

но это неточно

поговаривают, что в nginx ingress controller есть модуль stream и он умеет в TCP

да, умеет. Но я не хочу его использовать. Хочу сделать два класса ингресса - http через nginx и haproxy для просто TCP

чем tcp через nginx не устраивает, если не секрет?

хозяин — барин

чем tcp через nginx не устраивает, если не секрет?

мне кажется (кажется тут ключевое слово), что nginx будет плохо обрабатывать чистую балансировку TCP под большой нагрузкой. Он не для этого придуман

Все. Я наигрался. Кубер на двух дешманских нодах это не вариант.

Пойду swarm смотреть. Может веселее будет

Буду благодарен.

https://github.com/azalio/kuberstack-monitoring-events

ай, дал ссылку на свой форк

вообщем там есть оригинал )

https://github.com/kuberstack/kuberstack-monitoring-events

https://github.com/azalio/kuberstack-monitoring-events

Спасибо)

КАк сделать чтобы сервис был доступен из под? тут вариант только ingress?

Пойду swarm смотреть. Может веселее будет

веселее точно не будет. Такого секса у вас еще не было, поверьте

КАк сделать чтобы сервис был доступен из под? тут вариант только ingress?

доступен куда, на внешку? можно неявный ингресс сделать kubectl expose pod/deploy/rs