А mysql statefull ?

или данные не через volume в pod монтируются?

нужно бэкапить данные изнутри контейнера. Например, у меня есть mysql, и я хочу его бэкапить

аа, ну эт забота тех кто деплоит в куб

или данные не через volume в pod монтируются?

statefull

sds не обеспечивает отказоустойчивость?

sds не обеспечивает отказоустойчивость?

с чего бы?

Ну да бекапы и не должен

а вот отказоустойчивость очень да же должно

ничего никому оно не должно. всё что он делает, это гарантирует что каждый под из сета всегда видит свои данные даже после рестартов. остальное - дело приложения

это кубер гарантирует

тот же ceph с глубиной 3...не так то просто убить

sds не обеспечивает отказоустойчивость?

вы точно не путаете отказоустойчивость и бэкап? Это разные вещи

тот же ceph с глубиной 3...не так то просто убить

не просто но можно)

и таки да, бекапы должны быть в отдельное место, даже если у вас мегаэнтерпрайзная СХД за сотни тысяч нефти

Ну шарики то же сломали и потеряли.)

@ceph_ru если че)

вопрос даже не в цеф, а в том, есть ли какой-то бест-практис в среде куба

sidecar container

while true; do backup; sleep 3600; done

sidecar container

https://kubernetes.io/docs/concepts/jobs/run-to-completion-finite-workloads/ - не лучше?

для каждого рессурса нужно обдумывать свои стратегии бекапа, можно для mysql например поднимать слейв, дождаться синка реплики и скопировать, либо задампить, или например держать в поде клиента бекап систем, к которой будет подключаться бекап сервер и запукать задание на бекап(т.е. скрипты для бекапа)

https://kubernetes.io/docs/concepts/jobs/run-to-completion-finite-workloads/ - не лучше?

чужой под не будет иметь доступа к дискам пода. а контейнер внутри пода будет

спасибо

Ребята привет всем. Начинаю изучение. Подскажите через инет кубернет работает? Имеется ввиду должно ли быть директли коннектед сети для кубернетов. Или только видны порты для сервисов. А проброс сетей уже через них идет. Или же нужно впн делать для разбросанных хостов.

я бы не стал один куб разносить на много сетей

сделайте несколько кубов

Не понял. Есть несколько серверов которые территориально не связаны между собой (разные AS , города, страны). Если я использую их в качестве НОД, то нужно ли чтоб они видели частные айпи или же можно делать через public ip?

сделайте в каждом по кубу, а не один куб на всех. так будет меньше сюрпризов

или у вас прям горстка (единицы) серверов в каждой точке по миру?

или у вас прям горстка (единицы) серверов в каждой точке по миру?

Пока единицы. В основном то дело имею с 30+ серверами в датацентрах в зависимости от проекта. Сейчас же ситуация с выделлными серверами vps/vds

а от куба чего хочется?

а от куба чего хочется?

Ну я как понял куб может много. Управление, развертывание, масштабирование и прочее. Если я не ошибаюсь. Просто раньше обходились виртуализацией на основе esxi kvm и прочее. Сейчас решили отказаться в пользу docker.

А в общем чтоб не мучать вас могЕте кинуть ссылочку на документацию на русском желательно. Заранее огромноеиспасибо

Ребята привет всем. Начинаю изучение. Подскажите через инет кубернет работает? Имеется ввиду должно ли быть директли коннектед сети для кубернетов. Или только видны порты для сервисов. А проброс сетей уже через них идет. Или же нужно впн делать для разбросанных хостов.

работает, используйте weave - там шифрование из коробки. Но рекомендуется поднимать кубы по одному на регион и вязать через ubernetes

у вас схожая с моей задача

работает, используйте weave - там шифрование из коробки. Но рекомендуется поднимать кубы по одному на регион и вязать через ubernetes

Спасибо! Буду смотреть.

гайз, а подскажите, кто как service discovery делал в k8s? хочется красивого околокоробочного решения, ведь dns рекорды создаются и рулятся в kube-dns, но обвязки я не нашел, помимо глупого маунта секрета, стучания в api и проверки, какие dns рекорды есть у сервисов по конкретным лейблам. и это все нужно делать в коде приложения

а просто в DNS ходить?

эм, это, простите, как?

ну стучаться в DNS и считать, что все что оттуда вернулось -живое )

ну, я именно это и описал выше и оно не очень удобно, т.к стучаться надо в апишку кубера, так? и я не хочу, чтобы сервис знал, что он крутится в кубере, ибо зачем? и как хендлить релоад конфига, когда что-то отмирает и днс-запись удаляется? стучаться регулярно в апишку и тоже в коде приложения?

https://www.slideshare.net/SreenivasMakam/service-discovery-using-etcd-consul-and-kubernetes вот, смотрю, дяденька из Индии велосипедов напоказывал, но тоже как-то устрашающе выглядит

гайз, а подскажите, кто как service discovery делал в k8s? хочется красивого околокоробочного решения, ведь dns рекорды создаются и рулятся в kube-dns, но обвязки я не нашел, помимо глупого маунта секрета, стучания в api и проверки, какие dns рекорды есть у сервисов по конкретным лейблам. и это все нужно делать в коде приложения

как раз руки дошли до этого, пока не понял чего хотеть.

кто-то уже рекомендовал варианты?

https://kubernetes.io/docs/concepts/services-networking/dns-pod-service/

ну, я именно это и описал выше и оно не очень удобно, т.к стучаться надо в апишку кубера, так? и я не хочу, чтобы сервис знал, что он крутится в кубере, ибо зачем? и как хендлить релоад конфига, когда что-то отмирает и днс-запись удаляется? стучаться регулярно в апишку и тоже в коде приложения?

не понял в чем проблема. стучаться надо в myapp.svs.cluster.local , где myapp это имя сервиса

я не хочу хардкодить DNS рекорды в конфигах, вот в чем

разве при использовании любого service discovery тебе не нужно хардкодить имена в конфигах? типа webapp.service.consul если юзать Consul

ну ты по сути должен просто хранить некие keys и креды для подключения к service discovery, чтобы пойти туда и получить values

допустим, на основании labels. в таком случае ты сможешь похендлить изменение хостнейма в поде, а в случае хардкода DNS имени - нет

какая тебе разница как под называется? ты ходишь в днс по имени сервиса https://kubernetes.io/docs/concepts/services-networking/service/

> Assume a Service named foo in the Kubernetes namespace bar. A Pod running in namespace bar can look up this service by simply doing a DNS query for foo. A Pod running in namespace quux can look up this service by doing a DNS query for foo.bar.

Из днс вернётся кластер ип, который пробрасывается автоматически на поды, так что он не меняется

по сути это как внутри проксмокса днс...

но я не хочу хардкодить все это в конфигах, а хочу делать запрос в апишку такого типа ?labelSelector=environment%3Dproduction,tier%3Dfrontend и получить DNS

я бред могу писать, думаю. ну, потому что могу, ибо не разорбрался еще в вопросе навигации по аппам динамической

короче, проще всего написать небольшой враппер свой какой-то)

а очень хочу понять как это сделать красиво (ранее использовали самопальные решения везде: внуково - из админки список, далее обновление дхцп -> днс, в биллингах - днс+ca внутри контура + такой же днс на опорном домене снаружи, а внутри разруливалось все не по именам, а, таки, по ip которые редко менялись)

но я не хочу хардкодить все это в конфигах, а хочу делать запрос в апишку такого типа ?labelSelector=environment%3Dproduction,tier%3Dfrontend и получить DNS

пункт выше про внуково, ага. нормально работало на 800, что ли гаджетах в двух локациях (в каждой центральный сервак)

ну, проще всего сделать так, как выше вон предлагают, рассчитывая, что имя сервиса и DNS на его основании будет как single source of truth, что для меня очень деревянным методом выглядит

но я не хочу хардкодить все это в конфигах, а хочу делать запрос в апишку такого типа ?labelSelector=environment%3Dproduction,tier%3Dfrontend и получить DNS

ну вы вот этот selector= хотите хардкодить, а результат селектора хардкодить не хотите почемуто

набор ключей, по которым потом генерится селектор, выглядит более гибким с наскоку. нужно более детально изучать

да ниче не гибко. никакой гибкости не надо. везде прибиваете myservice как конечная точка контакта и всё. оно будет брать myservice из того же namespace где и клиент

тогда если у вас есть 2 неймспейса: prod и staging, то конфиги приложений внутри одинаковы и ничего запрашивать/темплейтить не надо

ERROR: S client not available

и там и там приложения ходят в myservice

service это и есть набор селекторных ключей. Если хочется ещё гибче можно смотреть на сервис-брокеры

Посоны, а кто flannel настраивал, скажите, вы apiserver запускаете в контейнере flannel сети, или снаружи? А то у меня проблема

Провайдер дропает пакеты, которые имеют srcip отличный от хоста. Когда я, например, внутри пода обращаюсь к kubernetes.default то от минорной ноды улетает пакет в сторону мастера c srcip пода (провайдер такое дропает)

попробовал в kubeproxy добавить опцию --masquerade-all но чет она не работает походу.. пакеты не маскардятся =(

Есть вариант сам apiserver запускать в контейнере, тогда весь трафик до него будет ходить по оверлейной сети.. вот думаю, кошер ли это или зашквар?

Провайдер дропает пакеты, которые имеют srcip отличный от хоста. Когда я, например, внутри пода обращаюсь к kubernetes.default то от минорной ноды улетает пакет в сторону мастера c srcip пода (провайдер такое дропает)

flannel же оборачивает пакеты в свои, как src ip там не хостовый может быть?

В смысле оборачивает? он жеж просто предоставляет сеть для IP подов. Никаким маскардингом он не занимается

IP подов совпадают с flannel subnet и c докер --bip

Вот только когда запрос уйдет на внешние endpoints, то пакет покидает ноду и srcip у него остается фланеловский

по логике, тут kube-proxy должен маскардить их

FLANNEL_IPMASQ=true

фланел умеет

коллеги у кого кореос последний и 1.6.1?

заметил, что при запуске rkt gc кубелет начинает вести себя неадекватно до перезапуска

не может получить статус контейнеров и рестартит их, а также ломится в старую директорию удаленного rkt pod а

кто-то​ сталкивался?

альфа кореос?

в том то и дело что стейбл

ip-masq норм. Спасибо =)

gc нормально отрабатывает, но кубелету об этом никак не сообщает и он видимо теряется)

gc нормально отрабатывает, но кубелету об этом никак не сообщает и он видимо теряется)

у вас кублет поды в докере пускает или в rkt?

поды в докере

рокетом кореос запускает фланнел

да, и сам кюблет тоже рокетом. но причем тут rkt gc и кублет тогда?

нет, сам кубелет у меня бинарником, когда gc перемещает старый контейнер фланнела в другую директорию, кубелет перестает видеть эту директорию на своем месте и почему то теряет статус докер подов

kubelet[5869]: W0417 09:55:34.508259 5869 raw.go:87] Error while processing event ("/var/lib/rkt/pods/run/3338e455

в логах что то типа такого и маты про статус докеровских контейнеров

почему kubelet вообще видит контейнер flannel?

запускайте kubelet через kubelet-wrapper , у нас так работает и вроде бы проблем нет

я думал попробовать перейти с бинарника на kubelet-wrapper в рокете, у кого то есть такой конфиг с последними версиями?