Спасибо за ответы, интересны кейсы, может кто еще накинет?

Я немного слупок, но: У нас есть шаблон для создания нэймспэйсов. Там по умолчанию создаётся LimitRange. Для CPU лимит 5. Для memory 1.5. Числа выведены эмпирически. Также есть Resource Quota. Эти настройки запрещают создание подов, где нет requests и limits

В графане есть дашборды по общей capacity кластера. Есть дашборды с таблицами, где сравнивается реальное потребление пола и его requests limits. Метрики достаются из kubelet и kube-state-metrics

Ещё в kubelet ставим флаги kube-reserved, system-reserved. Т.к. были проблемы с oom killer

Еще можно из kubernetes API достать данные по ресурсам подов, а дальше как угодно агрегировать. Я например писал консольную команду, чтобы найти все поды с неправильно указанными ресурсами

И есть один жирный минус: если что-то не так с ресурсами, то создаётся deployment, replicaset. А вот поды просто не создаются. Helm этого не видит например. И коллеги тоже не видят и не понимают что не так

кстати, оффтоп - во все деплойменты которые не юзают кластерное api и/или не имеют правильного настроеного rbac (а это 99%) добавляйте в спеку automountServiceAccountToken: false (в идеале конечно еще securityContext неплохо прописывать но это уже на любителя) юзкейс: если ваше крутое приложение поломает хацкер то ему будет сложнее добраться до api кубера 🙂

automountServiceAccountToken - хорошая штука. Еще бы сделать admission controller, который требует наличие automountServiceAccountToken или serviceAccountName

а securityContext делать больно. Приходится практически перебором. 99% докер образов хаба под это не заточены. Хотят рут и capabilities на CHOWN, SETUID, SETGID

@zakharovvi спасибо за расписанный ответ :)

а securityContext делать больно. Приходится практически перебором. 99% докер образов хаба под это не заточены. Хотят рут и capabilities на CHOWN, SETUID, SETGID

большая часть образов с хаба весьма ущербна

я скорее про официальные: mariadb, redis, postgres, prometheus, grafana и т.д.

свои собирать и поддерживать в порядке больно. Последнее время особенно от этого страдаю. Своих образов штук 30

https://www.nginx.com/resources/library/kubernetes-cookbook/?mkt_tok=eyJpIjoiTVRjMFpEVXpZVGc0TWpVeSIsInQiOiI3aUtiZ2UzY29aU2xKamtTOEhoT0twR1JIN1RaaDFLT3JqaTdtd2owVXNld01jYktucFk1eGxXSmJMUFlZN1pFbTlRS0lpbEhFYWNkencxcDA4Q0dzM1Noa2RJQThueDVmZUI4ZjlXaW1CRENTbGFOXC9pOVd2bVNYMzFUSW5RaG4ifQ%3D%3D

регистрацию хотят

Спасибо, а то смне ссылку так и не прислали :)

eviction manager может при DiskPressure condition на ноде выселяет все поды? чет я не пойму в этом логики. ощущение что он гонял поды с ноды на ноду, создавая проблемы

подкрути GC, чтобы оно больше имаджей удаляло

evicition там кажется крайний случай )

кстати, оффтоп - во все деплойменты которые не юзают кластерное api и/или не имеют правильного настроеного rbac (а это 99%) добавляйте в спеку automountServiceAccountToken: false (в идеале конечно еще securityContext неплохо прописывать но это уже на любителя) юзкейс: если ваше крутое приложение поломает хацкер то ему будет сложнее добраться до api кубера 🙂

а что, кто-то так не делает? :))

В графане есть дашборды по общей capacity кластера. Есть дашборды с таблицами, где сравнивается реальное потребление пола и его requests limits. Метрики достаются из kubelet и kube-state-metrics

дашборды нагуглили, или сами сделали?

И есть один жирный минус: если что-то не так с ресурсами, то создаётся deployment, replicaset. А вот поды просто не создаются. Helm этого не видит например. И коллеги тоже не видят и не понимают что не так

--wait видит и фэйлит деплой (когда фича работает :) )

automountServiceAccountToken - хорошая штука. Еще бы сделать admission controller, который требует наличие automountServiceAccountToken или serviceAccountName

а зачем? при RBAC дефолтные сервисаккаунты безправные

hello i can communicate in russian but its difficult for me to type is there any good architecture for microservices and use sockets for each microservices or just have 1 socket for all services?

подкрути GC, чтобы оно больше имаджей удаляло

машины пустые были совсем. я хз почему у него тригер сработал

причем видно что он срабатывал еще раз вчера вечером и я понятия не имею почему

вдруг ему взбредает в голову kubelet[28382]: W1012 17:36:48.046037 28382 eviction_manager.go:331] eviction manager: attempting to reclaim nodefs kubelet[28382]: I1012 17:36:48.046053 28382 eviction_manager.go:345] eviction manager: must evict pod(s) to reclaim nodefs и начинает выгонять поды (все) kubelet[28382]: I1012 17:36:48.046263 28382 eviction_manager.go:363] eviction manager: pods ranked for eviction:

всеобщее здравствуйте

hello i can communicate in russian but its difficult for me to type is there any good architecture for microservices and use sockets for each microservices or just have 1 socket for all services?

Do you want to say “service”?

service = microservice

service = microservice

I’m saying about K8s service.

service = microservice

just curious, where did you get your telegram name from :)

:D

машины пустые были совсем. я хз почему у него тригер сработал

ну видимо ничего другого скинуть с ноды нельзя было, а место кончается. сделай так чтобы не кончалось :))

ну видимо ничего другого скинуть с ноды нельзя было, а место кончается. сделай так чтобы не кончалось :))

попробовал сейчас набить маленькие разделы, на разделах use выше 20% нигде нет. иноды тоже меньше 10% использованы. реакции нет от eviction manager. читал https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/ , но не понял что именно мониторит kubelet

попробуй запстить kubelet с --v=4

парни, направьте в нужную сторону: 1. Есть хост машина с установленым kubectl 2. Есть виртуалбокс с бубунтой (или федорой или дебианом или еще с чем) Возможно ли развернуть кластерок на виртуалке? Что почитать?

miniukube

minikube start. done

Дело в том, что у меня есть локально установленый докер, но я не хочу заморачиваться с $env и прицеплять его к миникубу (это в случае если я захочу локально его ставить)

miniukube

ставить миникуб в виртуальную машину? т.е. виртуалка в виртуалке?

Подскажите, хочу понять кубы. Могу ли я в рамках одного впс все установить? Или нужен ещё один сервак как управляющий?

ставить миникуб в виртуальную машину? т.е. виртуалка в виртуалке?

запускайте на хосте, даже если это windows :)

дашборды нагуглили, или сами сделали?

Всё сами. На многие вопросы все равно сложно отвечать. Например "сколько серверов для тестов можно переназначить на продакшн без ущерба производству"

... продакшн ... производству - тавтология?

Ой. Под производством я имел ввиду разработку и тестирование)

трудности перевода. сложно, когда терминология то русская то англ.

Всё сами. На многие вопросы все равно сложно отвечать. Например "сколько серверов для тестов можно переназначить на продакшн без ущерба производству"

выложите куда-нибудь, чтобы помочь несчастным копи-пастерам? :)

Подскажите, хочу понять кубы. Могу ли я в рамках одного впс все установить? Или нужен ещё один сервак как управляющий?

можно

выложите куда-нибудь, чтобы помочь несчастным копи-пастерам? :)

Я уже скидывал как-то. Там всё банально: https://www.evernote.com/shard/s123/sh/22d6d0af-dc84-4183-b024-c5d87a325df3/49c133cdff169b9a дашборд из json непросто будет запустить, т.к. там reocrding rules https://gist.github.com/zakharovvi/7c97929f2ca05620c365535057c90a59

сделайте свой облачный PV, и вам будет известно, что там

rook.io интересен, планирую попробывать

вроде обсуждали и приходили к общему мнению о неработоспособности и что внутри тот же цеф, который у многих здесь стоит

rook.io интересен, планирую попробывать

а господин – археолог, да

рукс нельзя использовать

рукс нельзя использовать

почему, отговорите :)

(не в прод)

потому, что это запуск цефа внутри контейнера. Проще, логичнее и удобнее вытащить цеф в отдельную инсталляцию и использовать его снаружи

работать будет заметно надежнее6 отлаживать проще. Впрочем, если есть желание есть кактус - отговорить невозможно

работать будет заметно надежнее6 отлаживать проще. Впрочем, если есть желание есть кактус - отговорить невозможно

мне нравится унификация :) я вообще тут наброски на листочке делаю, как куб может управлять провижингом (или как это назвать?) серверов начиная с iPXE :) ну типа cloudformation + ASG (только без Scaling :) ) в датацентре

мне не нравится попытка тюнинговать бульдозер в самолет. Инструменты все-таки лучше под задачу подбирать. А не наоборот

в чем контейнер ограничвает цеф?

а ничего, что контейнер иммутабелен?

volume в нем зато нет)

ставить миникуб в виртуальную машину? т.е. виртуалка в виртуалке?

https://github.com/Mirantis/kubeadm-dind-cluster можно попробовать

Правда до 1.8 ещё не обновил... Но скоро

мне не нравится попытка тюнинговать бульдозер в самолет. Инструменты все-таки лучше под задачу подбирать. А не наоборот

захожу я значит с мыслью , где бы про дистрибьютед fs апообщаться про их применимость , думаю нее, кубернйтес чат про кубы , не стоит здесь.

Есть хорошее чтиво за цеф с стори оф сексесс , подбираю фс, для распределенного хранения мелких блобов

ничего не понял. в чем вопрос-то?

Есть хорошее чтиво за цеф с стори оф сексесс , подбираю фс, для распределенного хранения мелких блобов

ну если тебя с3 на цефе устроит то ок

а так вряд ли ты что то вменяемое найдешь

откуда вы берете й в kubernetes? :3

ничего не понял. в чем вопрос-то?

хочу файлы хранить для сущностей распределенно, чтобы можно было дать абсолютную ссылку приложению и уже не контрлировать , на какой из машин оно лежит,ну и не с минимальным реальным блоком в 128 мегабайт

откуда вы берете й в kubernetes? :3

из рудокера же

хочу файлы хранить для сущностей распределенно, чтобы можно было дать абсолютную ссылку приложению и уже не контрлировать , на какой из машин оно лежит,ну и не с минимальным реальным блоком в 128 мегабайт

а обязательно ФС? в какой-нибудь монге или кассандре блобы хранить тоже можно

а обязательно ФС? в какой-нибудь монге или кассандре блобы хранить тоже можно

в монге блобы хранить нельзя

хочу файлы хранить для сущностей распределенно, чтобы можно было дать абсолютную ссылку приложению и уже не контрлировать , на какой из машин оно лежит,ну и не с минимальным реальным блоком в 128 мегабайт

AWS S3

AWS S3

маленькие файлы плохо там лежат

в монге блобы хранить нельзя

Binary

Binary

если вы когда-нибудь планируете извлечь свои данные - в монго их хранить нельзя

если вы когда-нибудь планируете извлечь свои данные - в монго их хранить нельзя

ну вопрос же не об этом

вопрос именно в этом. Хранилище должно быть надежным, это его основное качество. Скорость, удобство использования и настройки – это уже по желанию. Но надежность – ключевой параметр