нет, я про логи днс запросов

т.е. добавить флаг --log-queries в dnsmasq https://github.com/kubernetes/kubernetes/blob/master/cluster/addons/dns/kube-dns/kube-dns.yaml.base#L169

я себе поставил во всех подах приложений ndots:1 потом что приложение ходит только во внешние ресурсы по FQDN в другие поды в этом неймспейсе по имени сервиса

А как делал? сразу при сборке контейнера?

мало ли где Lua есть, только вот решение "для редактирования yaml теперь вот вам язык программирования" как минимум странное

> вот вам декларативная конфигурация > вот вам способ задавать ее programmatically ансибл в вакууме

А как делал? сразу при сборке контейнера?

нет, там же по ссылке я кидал - можно поду dnsConfig указать

Нигде не нахожу пояснения. Наверное это должно быть понятно всем, но до меня не доходит: Куб предназначен для работы исключительно внутри локальной сети, или разницы нет? Я ставил сервер отдельно, и добавил к нему 3 baremetal ноды по их публичным ип. Все вроде работало. Но можно так делать вообще?

Нигде не нахожу пояснения. Наверное это должно быть понятно всем, но до меня не доходит: Куб предназначен для работы исключительно внутри локальной сети, или разницы нет? Я ставил сервер отдельно, и добавил к нему 3 baremetal ноды по их публичным ип. Все вроде работало. Но можно так делать вообще?

Мой юзкейс - арендовать в облаке большой объем ssd не выгодно, поэтому пользуюсь выделенным железом. Но нужно иногда запускать мелкие инстансы, пользоваться s3 и прочими фичами облаков. Вот куб выглядит суперским решением, но можно ли его им пользоваться когда все ноды не в одной частной сетке? Кстати может есть какое надежное решение для меш-vpn по типу хамачей, чтоб можно было добавлять линукс машины туда одной командой по ssh?

Что?! А сеть кубера на что?

в нжинксе тоже Lua, не нужно плодить сущности

Ну как бы императивщина для генерации декларативщины это то еще счастье

Мой юзкейс - арендовать в облаке большой объем ssd не выгодно, поэтому пользуюсь выделенным железом. Но нужно иногда запускать мелкие инстансы, пользоваться s3 и прочими фичами облаков. Вот куб выглядит суперским решением, но можно ли его им пользоваться когда все ноды не в одной частной сетке? Кстати может есть какое надежное решение для меш-vpn по типу хамачей, чтоб можно было добавлять линукс машины туда одной командой по ssh?

использовать можно, на том же ДО и хетцнере по из коробки нет приватной сети. Но наверное стоит шифровать траффик между нодами

Привет. Подскажите пожалуйста я насетапил liveness и readinessProbe но после этого у меня валится команда kubectl wait. Не подскажете в чем может бть проблема? может я неправильно настраиваю initialDelaySeconds или что то такое?

Ну как бы императивщина для генерации декларативщины это то еще счастье

т.е. все шаблонизаторы хтмл, xml, yaml и т.д. - это плохо?

Эм, шаблонтзаторы плохи тем, что могут превратится в php

А этот сразу php

Только с lua

Вот есть тот же hcl, или hcl2, кривоват конечно, но все равно получше как по мне чем писать на lua

ну с такой аргументацией дальше дискуссию вести не вижу смысла

использовать можно, на том же ДО и хетцнере по из коробки нет приватной сети. Но наверное стоит шифровать траффик между нодами

Я сначала вообще думал что в кластер куба можно кидать любые ноды откуда угодно, пока мастер имеет публичный ип: baremetal сервер, виртуалка на aws, виртуалка фри тира в облаке Алибаба, распберри пай под диваном, умный электрочайник и тому подобное. Так нельзя делать?

можно то можно, но сеть ведь между ниим публичная

со всеми вытекающими

можно то можно, но сеть ведь между ниим публичная

Хмм, и трафик не шифруется разве?

ну если настроите - будет

по умолчанию нет конечно, либо ipsec на уровне нод или на уровне overlay network мжду подами - через weave (и может другие CNI это умеют, не уверен)

А как можно остановить весь k8s кластер?

А как можно остановить весь k8s кластер?

Мисье знает толк)

Стопануть все узлы по одному

Кто-то что-то убить надумал

Кто знает, редис нормально живет в кубах?

Мисье знает толк)

Ну, просто поставил себе кубер локально для управления докер контейнерами. Ну, чтобы просто не забывать как там все работает. Потому что если не пользуешься долгое время, то потом вообще ничего не можешь сделать. Вот и решил docker-compose заменить на кубер. Но когда мне этот кластер не нужен, то не хочу тратить ресурсы ноута. Поэтому и задался проблемой остановки всего кластера на время.

Ansible -a kubecluster "systemctl stop kubelet" ?

Кто знает, редис нормально живет в кубах?

Ну, вроде как. Но оверхед же будет приличный.

Он же в виртуалках. Запаузить не выходит?

Ну, вроде как. Но оверхед же будет приличный.

за счет сетки?

за счет сетки?

Ну, да. Лоад балансер, сетевая ФС для БД и прочее.

Ansible -a kubecluster "systemctl stop kubelet" ?

В смысле, остановить kubelet и потом все контейнеры потушить?

Ну, да. Лоад балансер, сетевая ФС для БД и прочее.

балансер и фс для редиса ???

балансер и фс для редиса ???

Ну, да. Балансер же в кубере встроен. А дефолтная конфигурация редиса синкает БД на диск раз в минуту.

ага, в форке

там не балансер встроен, а айпитейблы

там не балансер встроен, а айпитейблы

https://github.com/kubernetes/ingress-nginx - ну, не одни iptables

Ну, вроде как. Но оверхед же будет приличный.

Это вы проверяли? Оверхед на что?

на докир )

Тоесть из оверлей сети через нат ломится на виртуалку с редисом лутше?)

Ну, да. Балансер же в кубере встроен. А дефолтная конфигурация редиса синкает БД на диск раз в минуту.

Bgsave конечно та ещё ерунда. Aof интереснее выглядит в плане надежности, всетаки почаще на диск сбрасывать нужно, но это делает форк или фоновый тред, асинхронность туда завезли. Так что вероятно потребуется памяти больше если запись активная. Ну и совсем упоротым нужно быть чтобы гонять клиентов к редису внутри через ingress controller

Хотя вот всякое межсервисное взаимодействие по http через ингресс заворачивать договорились, чтобы не думать в том же ты кластере находишься или нет. Да и если клиенту внешнему отдать нужно будет урл, чтобы не хранить у себя и внутренние и внешние адреса

Он же в виртуалках. Запаузить не выходит?

О каких виртуалках идет речь?

О каких виртуалках идет речь?

Какие варианты для редиса, где в его разместите?

это аргумент "ачотаково, все так делают"?

Им корона не жмёт интересно?)

ну с такой аргументацией дальше дискуссию вести не вижу смысла

Вот ты можешь объяснить зачем они тащат Lua?

kustomize пока выглядит наименее безумно, если нет других условий - типа "остальной конфиг в ansible/chef"

kustomize пока выглядит наименее безумно, если нет других условий - типа "остальной конфиг в ansible/chef"

Что за kustomize?

Что за kustomize?

https://github.com/kubernetes-sigs/kustomize/blob/master/README.md

Вообще мне нравится реализация openshift

Но там это в экосистеме

Вообще мне нравится реализация openshift

Deploymentconfig'и интересно придумано, а темплейты какие-то глупые. Надо попробовать через Service Broker

3 раза подряд должна проверка не пройти. liveness заставит перезапуститься контейнер

А liveness probe сработает если нода слегла?

Кто знает, редис нормально живет в кубах?

Много проблем с failover, если бы ip не менялись, то sentinel бы решал эту проблему. А так могут быть проблемы с выбором мастера. Есть redis-ha, в целом он не плохой, только нужно statefulset + pvc ему

Кто знает, редис нормально живет в кубах?

Пытались сунуть кластер 3.8 на сентинелах без пвц

Работает, но иногда рассыпается наглухо

это норма

точнее редис

Кто-то запускает кластера кубера на амазоне с автоскейл группами и калико?

через ранчер можно

или сложными хелмами - видел такие, но не щупал

Ненене

Ранчер в топку

Тут вопрос как выключиь souce/destination chek для инстансов в aws asg

Вот ты можешь объяснить зачем они тащат Lua?

ну а что туда притащить то из скриптовых? Lua юзается как минимум нжинксом, редисом, варнишем и наверное другими тулзами тоже, выглядит логично же, нет?

Кто-то запускает кластера кубера на амазоне с автоскейл группами и калико?

это kops по дефолту делает

Да я уже понял, что нужно свои скрипты пилить, потому что готового вроде как нет (подобный issue на гитхабе так и застрял)

мы например так крутим

Да я уже понял, что нужно свои скрипты пилить, потому что готового вроде как нет (подобный issue на гитхабе так и застрял)

а локально как куб стоит? наверное проще всего будет просто потушить все докер контейнеры

Тут вопрос как выключиь souce/destination chek для инстансов в aws asg

хмм а зачем это может быть нужно?

это kops по дефолту делает

Эм, надо посмотреть как, так как нативно в launch configuration и в настройках самого aws asg эту опцию выставить нельзя.

хмм а зачем это может быть нужно?

Для calico

хммм 2 года юзаю калико на AWS с ASG - этот флаг не нужен был

это новое у них что-то?

это новое у них что-то?

Since Calico assigns IP addresses outside the range used by AWS for EC2 instances, you must disable AWS src/dst checks on each EC2 instance in your cluster as described in the AWS documentation. This allows Calico to route traffic natively within a single VPC subnet without using an overlay or any of the limited VPC routing table entries.

И вот еще: If you need to split your deployment across multiple AZs for high availability then each AZ will have its own VPC subnet. To use Calico across multiple different VPC subnets or peered VPCs, in addition to disabling src/dst checks as described above you must also enable IPIP encapsulation and outgoing NAT on your Calico IP pools.

погоди, так тебе нужна калико между нодами или между контейнерами?

а локально как куб стоит? наверное проще всего будет просто потушить все докер контейнеры

Ну, а как их потушить? Кубер же сам их поднимает. Он только знает delete pod Нужно посмотреть что происходит при перезагрузке. Наверное, systemd все же шлет sig term. И потом какой-то graceful shutdown происходит. Но systemctl stop kubelet ничего не дает.

ну а что туда притащить то из скриптовых? Lua юзается как минимум нжинксом, редисом, варнишем и наверное другими тулзами тоже, выглядит логично же, нет?

Не очень, но тут наши мнения расходятся а спорить бессмысленно

let's agree to disagree ?

погоди, так тебе нужна калико между нодами или между контейнерами?

Как реализация сети в k8s в aws

обычно между нодами делают фланнел (или еще как) а калико только как overlay network для сети между подами

обычно между нодами делают фланнел (или еще как) а калико только как overlay network для сети между подами

Это та самая связка которая canal?

Хотелось чистый calico, можно поприседать с автоматической установкой флага через lifecycle hook для asg (если это возможно конечно)

Но что-то не очень хочется

а хотя я не прав, таки копс делает с одним калико https://github.com/kubernetes/kops/blob/master/docs/networking.md#enable-cross-subnet-mode-in-calico-aws-only > In the case of AWS, EC2 instances have source/destination checks enabled by default. When you enable cross-subnet mode in kops, an addon controller (k8s-ec2-srcdst) will be deployed as a Pod (which will be scheduled on one of the masters) to facilitate the disabling of said source/destination address checks. Only the masters have the IAM policy (ec2:*) to allow k8s-ec2-srcdst to execute ec2:ModifyInstanceAttribute.

думаю, можно у копса стащить этот аддон и вкрутить себе

Ну как вариант, да

Спасибо

Чертов aws блин

Это та самая связка которая canal?

наверное, kube-aws делает из коробки self-hosted flannel как systemd unit и calico демонсетом как cni plugin

У нас что calico, что kube-proxy демонсеты. Flannel тоже был демонсетом, и есть, на другом кластере. Но тут нужны сетевые политики в которые flannel не умеет.

Чертов aws блин

там в доке копса написано что это не обазательно > Calico [since 2.1] supports a new option for IP-in-IP mode where traffic is only encapsulated when it’s destined to subnets with intermediate infrastructure lacking Calico route awareness – for example, across heterogeneous public clouds or on AWS where traffic is crossing availability zones/ regions.