все, у чего есть постоянный стейт, по возможности лучше держать вне куба

почему?

почему?

По идеологическим причинам)

приходится либо держать стейт директорией хоста, либо, либо подключать де-факто сетевое хранилище, которое будет медленнее. у меня не было опыта с цефом и прочим, но, насколько могу предположить - там тоже все плохо будет со скорстью по сравнению с установкой прямо на серваке. какая-нибудь мощная штука, у которой ноды могут влетать и вылетать из кластера by design может и взлетит, но при этом обновлять все поды/сеты/контроллеры придется разве что не вручную, чтобы каждый новый под сначала отреплицировал состояние, и только потом удалялся старый и вводился новый

в общем, такой роллинг апдйт, который может сутками длиться

Не надо пиздеть на цеф

Я правда цеф готовил отдельно от k8s

Но нагрузки там ок

я на самом деле сложных штук не запускал, максимум реплику монги, поэтому и спросил

на деплойментах монга болеет )

жду петсетов

kubectl delete namespace monitoring - это нормальный подход для удаления всего?

в 1.4 вроде весь namespace удаляется

я удалял через api, у меня все поды проподали в namespace

Да, пока проблем с этим не было, видел что многие сперва rc,svc,deploy удаляют, потом по pods проходятся, решил спросить на всякий случай

ну может логи посмотреть, покрайней мере контейнеры в докере пропадают

ну и сама kubectl умная утилита

все, у чего есть постоянный стейт, по возможности лучше держать вне куба

Так там(кафка) вроде бы стейт не особо важный/тяжёлый.

я не понимаю такой классификации стейта, если честно

А какая бывает?

ну я так понимаю имелось в виду, что его можно выкинуть и ничего страшного в этом не будет, но это решает не используемый сервис (кафка), а тот, кто его использует (приложение)

мельком читал про кафку, там очереди по умолчанию представлены потоками данных, относительно которых клиент сам поддерживает свою позицию

и в этом случае будем довольно странно, если сообщение N есть, N + 2 есть, N + 1 не существует

я не уверен, что такое вообще возможно с кафкой, но мой внутренний колокольщик начинает бить тревогу и запрашивать детализацию ситуации вместе с повышенными требованиями уже в этот момент

а есть кто-то кто монгу в кубернетесе держит?

есть

а как ты ее деплоишь?

у меня почему-то второй день уже инстансы выходят из реплики (state=REMOVED) и приходится вручную их обратно вводить... вот думаю над причинами и воркараундом

да деплою так же как и любой другой контейнер, с таким не сталкивался

ну у тебя реплика или одиночный инстанс?

есть

глупый вопрос - как добавлять новые монги в реплику? руками?

у меня все в комплексе идет один pod под монгу, второй под приложение, все автоматом через специальную приложуху и api

то есть монга сингл инстанс? ок

да

я уже тоже задумываюсь об этом

ибо че-то геморойно

у меня все в комплексе идет один pod под монгу, второй под приложение, все автоматом через специальную приложуху и api

только одна монга? без репликации?

пока без репликаций, возможно в будущем будет

но вообще в инете есть примеры с репликацией

да срал я на эти примеры... у меня все так и сделано, реплики тупо разваливаются когда контейнеры начинают перезапускаться по какой-нибудь причине (отслылка к беседе выше :)

да срал я на эти примеры... у меня все так и сделано, реплики тупо разваливаются когда контейнеры начинают перезапускаться по какой-нибудь причине (отслылка к беседе выше :)

реплики как друг с другом общаются? адреса, имена?

имена

а говорит чего? как именно разваливается?

когда засыпал была реплика из мастера и двух слейвов проснулся - два слейва и один инстанс со статусом "removed" пока rs.reconfigure(config, { force: true}) не сделал он не вошел в реплику обратно по логам я хз (глобально логи не собираются, в консоли естественно ничего, под уже перезапущен) думаю хелсчек не сработал и под перезапустил - но проблема-то не в том что он не отработал (бывает), а в том что после перезапуска не зашло (жалко)

еще я не понял почему две ноды не разрулили между собой мастера, по мануалам должны были - им не нужен кворум из 3-х нод поидее

еще я не понял почему две ноды не разрулили между собой мастера, по мануалам должны были - им не нужен кворум из 3-х нод поидее

если приоритет одинаковый - нужен кворум из 3

хм, ок спасибо - сделаю 5 инстансов и приоритеты рандомно расставлю

блин, мне уже поднадоело менять в днс айпишники после того как инстанс nginx ingress перезапускается в GKE окружении (на момент когда ресерчил - нгинковский ингресс не умел правильно работать с балансировщиком гугля), нет ли воркараунда?

в нджинксе можно использовать имена, при условии что указан резолвер

ты с саппортом по этой проблеме связывался?

саппорт в гугле? смешная шутка )

так же как и в яндексе

яндекс свое облако не продает, если не изменяет память

ну эм да

можно подумать, что у амазона саппорт есть

У меня кластер моговский в k8s живет уже месяцев 9, все норм там

У меня кластер моговский в k8s живет уже месяцев 9, все норм там

А что делать если упадёт k8s. Думали над таким? Бекапы в отдельное хранилище сливаете? Что за сетка в k8s?

саппорт в гугле? смешная шутка )

Вообще он есть, но за бабло

У меня кластер моговский в k8s живет уже месяцев 9, все норм там

Много раз за это время монга обновлялась?

@undassa хорошие скриптики https://github.com/kubernetes/kube-deploy/tree/master/docker-multinode все понятно что как запускается

@undassa хорошие скриптики https://github.com/kubernetes/kube-deploy/tree/master/docker-multinode все понятно что как запускается

Это полностью автоматическая установка?

@undassa хорошие скриптики https://github.com/kubernetes/kube-deploy/tree/master/docker-multinode все понятно что как запускается

Благодарю )

это не автомат.. нужно на каждую ноду зайти и запустить скриптик. на мастере / воркерах немного по разному

чуток подпиливал его, особенно для CNI

ERROR: S client not available

Блин, жаль. Но странно, что они Ansible не использовали.)

вроде где-то видел и для ансибла)

полный авто есть для 1.4. kubeadm

а kops - это только для облаков? никак не могу понять)

Много раз за это время монга обновлялась?

Пару раз, 3.2.x->3.3.x->3.3.10->3.3.15

А что делать если упадёт k8s. Думали над таким? Бекапы в отдельное хранилище сливаете? Что за сетка в k8s?

При тестировании валил отдельные ноды кластера, в том числе мастера, проблем не было, при восстановление ноды на нем запускалась монга и заходила в кластер

Пару раз, 3.2.x->3.3.x->3.3.10->3.3.15

3.3? Месье предпочитает бету?

Это про монгу, третья версия давно вышла

Уже 3.4 выпустили

3.3 - это бета. все стабильные версии монги - четные

а 3.4 сейчас - 3.4.0.

упс, лишний повод обновиться до 3.4

3.3 - это бета. все стабильные версии монги - четные

вообще еле нашел у них упоминание об этом. буду знать на всякий.

А как задеплоидить 3 мастера в HA и 4 воркера с 0 на 4х машинах и чтобы минимум гемора. Kubeadm подойдет для этих целей?

А что вы думаете о том варианте деплоя Kubernetes, который делает ранчер по кнопочке "задеплоить kebernetes"?

А как задеплоидить 3 мастера в HA и 4 воркера с 0 на 4х машинах и чтобы минимум гемора. Kubeadm подойдет для этих целей?

kubeadm может деплоить только один мастер

Получается только ручками? По мануалу hard way от негра с гитхаба?

Получается только ручками? По мануалу hard way от негра с гитхаба?

там не особо сложно. фактически все мастера не отличаются друг от друга и от обычного мастера. единственная разница - опция —apiserver-count int у аписервера и —leader-elect (которая по дефолту тру) у остальных компонентов мастера.

Сейчас, возможно, будет очень тупой вопрос. Я зачитался одним постом на инженерном блоге linkedin, где рассказывается, как системные треды JVM (GC) сжирают процессорное время и, тем самым, быстро расходуют всю квоту приложения, оставляя его в stop-the-world-состоянии на остаток периода квоты (строго говоря, там не про сам кубернетес, а про cgroups). Отсюда у меня родился этот тупой вопрос: можно ли в кубернетесе ограничить число ядер, доступных приложению? Дисклеймер: да, я понимаю, что описанная в блоге проблема так не решается / нет, я смутно представляю, что такое cgroups и пока погружаться в это не приходилось.

@etkee можно http://kubernetes.io/docs/admin/limitrange/

Вопрос такой: в кластере на GCE все nodes статус NotReady что делать?

@etkee нельзя:) https://github.com/kubernetes/kubernetes/issues/10570

А что вы думаете о том варианте деплоя Kubernetes, который делает ранчер по кнопочке "задеплоить kebernetes"?

У них там готовая ipsec сеть из коробки, что в некоторых случаях весьма удобно - но скорее всего остальное не все идеально прока. На днях пробовал раскатать на слабых виртуалках кластер k8s из 3х нод, на новой версии с 1.4.6 и поставить на него Deis worklow - он очень долго все делал, и в резуальтате оказалось что tiller контейнер не может авторизоватся при попытки установки пакетов.

@etkee можно http://kubernetes.io/docs/admin/limitrange/

там описываются обычные квоты, просто они зачем-то местами называют их ядрами

@etkee нельзя:) https://github.com/kubernetes/kubernetes/issues/10570

спасибо

Вопрос такой: в кластере на GCE все nodes статус NotReady что делать?

что у них в describe?

О как.. спасибо

что у них в describe?

Ready Unknown Sun, 04 Dec 2016 22:13:56 +0500 Sun, 04 Dec 2016 22:14:40 +0500 NodeStatusUnknown Kubelet stopped posting node status.

а что так все на deis рукоблудят. так себе поделие, мягко говоря.

мы используем deis уже наверно года полтора (на ютубе есть мой доклад про него). Это довольно удобно для разработчиков (по сути админ не нужен). Единственное странное решение, на мой взгляд - поместить build сервис и registry в кластер. Один память жрёт как не в себя, другой - диск. Причём в первой версии дейза (на coreos/fleet которая) нету вообще способов как-то с этим бороться. Во второй, по идее можно лэйблами их запустить на отдельной машине, но не пробовал еще.

о, надо тебя как-нить пометить, потом буду имплементить вопросы задам )