вам нужен не PV, а Object Storage, хоть тот же GCS

ок, спасибо за совет!

Господа, а можно ли как-то передать айпишник loadbalancer в параметры контейнера у deployment?

запускаю в поде supervisord с десятком процессов (знаю, так делать нельзя) оно вроде раз отрабатывает и "залипает" процессы весят, но ничего не делают образ: alpine

щас попробую запустить на ubuntu, но мне кажется это какие то лимиты ресурсов куба

дело не в alpine

eviction manager может при DiskPressure condition на ноде выселяет все поды? чет я не пойму в этом логики. ощущение что он гонял поды с ноды на ноду, создавая проблемы

https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/ судя по всему при срабатывании eviction condition вполне мог пытаться пересадить поды на другую ноду. чет мне это не помогло совсем, а наоборот

Я нашел... воркеры рвали связь с rabbitmq (отдельностоящим) из-за net.ipv4.tcp_tw_recycle=1 на нем... а так как поды за NAT'ом все херилось

кстати, оффтоп - во все деплойменты которые не юзают кластерное api и/или не имеют правильного настроеного rbac (а это 99%) добавляйте в спеку automountServiceAccountToken: false (в идеале конечно еще securityContext неплохо прописывать но это уже на любителя) юзкейс: если ваше крутое приложение поломает хацкер то ему будет сложнее добраться до api кубера ?

(я тут ревизию провел у знакомого куберовода и удивился как легко можно кластером зарулить лол)

Может кто подсказать, как уменьшить таймаут перемонтирования RBD для пода в случае его перезапуска? Сейчас таймаут до 10-15 минут.

скандалы, интриги, расследования!

кстати, оффтоп - во все деплойменты которые не юзают кластерное api и/или не имеют правильного настроеного rbac (а это 99%) добавляйте в спеку automountServiceAccountToken: false (в идеале конечно еще securityContext неплохо прописывать но это уже на любителя) юзкейс: если ваше крутое приложение поломает хацкер то ему будет сложнее добраться до api кубера ?

а подробности будут? Я думал, из аппа нет доступа к апи

дак токен-то монтируется по дефолту

оппачки

сделай дейскрайб любого пода, там будет строчка: Mounts: /var/run/secrets/kubernetes.io/serviceaccount from default-token-73ss0 (ro)

а вот это прям караул

спасибо

Спасибо за ответы, интересны кейсы, может кто еще накинет?

Я немного слупок, но: У нас есть шаблон для создания нэймспэйсов. Там по умолчанию создаётся LimitRange. Для CPU лимит 5. Для memory 1.5. Числа выведены эмпирически. Также есть Resource Quota. Эти настройки запрещают создание подов, где нет requests и limits

В графане есть дашборды по общей capacity кластера. Есть дашборды с таблицами, где сравнивается реальное потребление пола и его requests limits. Метрики достаются из kubelet и kube-state-metrics

Ещё в kubelet ставим флаги kube-reserved, system-reserved. Т.к. были проблемы с oom killer

Еще можно из kubernetes API достать данные по ресурсам подов, а дальше как угодно агрегировать. Я например писал консольную команду, чтобы найти все поды с неправильно указанными ресурсами

И есть один жирный минус: если что-то не так с ресурсами, то создаётся deployment, replicaset. А вот поды просто не создаются. Helm этого не видит например. И коллеги тоже не видят и не понимают что не так

кстати, оффтоп - во все деплойменты которые не юзают кластерное api и/или не имеют правильного настроеного rbac (а это 99%) добавляйте в спеку automountServiceAccountToken: false (в идеале конечно еще securityContext неплохо прописывать но это уже на любителя) юзкейс: если ваше крутое приложение поломает хацкер то ему будет сложнее добраться до api кубера ?

automountServiceAccountToken - хорошая штука. Еще бы сделать admission controller, который требует наличие automountServiceAccountToken или serviceAccountName

а securityContext делать больно. Приходится практически перебором. 99% докер образов хаба под это не заточены. Хотят рут и capabilities на CHOWN, SETUID, SETGID

@zakharovvi спасибо за расписанный ответ :)

а securityContext делать больно. Приходится практически перебором. 99% докер образов хаба под это не заточены. Хотят рут и capabilities на CHOWN, SETUID, SETGID

большая часть образов с хаба весьма ущербна

я скорее про официальные: mariadb, redis, postgres, prometheus, grafana и т.д.

свои собирать и поддерживать в порядке больно. Последнее время особенно от этого страдаю. Своих образов штук 30

https://www.nginx.com/resources/library/kubernetes-cookbook/?mkt_tok=eyJpIjoiTVRjMFpEVXpZVGc0TWpVeSIsInQiOiI3aUtiZ2UzY29aU2xKamtTOEhoT0twR1JIN1RaaDFLT3JqaTdtd2owVXNld01jYktucFk1eGxXSmJMUFlZN1pFbTlRS0lpbEhFYWNkencxcDA4Q0dzM1Noa2RJQThueDVmZUI4ZjlXaW1CRENTbGFOXC9pOVd2bVNYMzFUSW5RaG4ifQ%3D%3D

регистрацию хотят

Спасибо, а то смне ссылку так и не прислали :)

eviction manager может при DiskPressure condition на ноде выселяет все поды? чет я не пойму в этом логики. ощущение что он гонял поды с ноды на ноду, создавая проблемы

подкрути GC, чтобы оно больше имаджей удаляло

evicition там кажется крайний случай )

кстати, оффтоп - во все деплойменты которые не юзают кластерное api и/или не имеют правильного настроеного rbac (а это 99%) добавляйте в спеку automountServiceAccountToken: false (в идеале конечно еще securityContext неплохо прописывать но это уже на любителя) юзкейс: если ваше крутое приложение поломает хацкер то ему будет сложнее добраться до api кубера ?

а что, кто-то так не делает? :))

В графане есть дашборды по общей capacity кластера. Есть дашборды с таблицами, где сравнивается реальное потребление пола и его requests limits. Метрики достаются из kubelet и kube-state-metrics

дашборды нагуглили, или сами сделали?

И есть один жирный минус: если что-то не так с ресурсами, то создаётся deployment, replicaset. А вот поды просто не создаются. Helm этого не видит например. И коллеги тоже не видят и не понимают что не так

--wait видит и фэйлит деплой (когда фича работает :) )

automountServiceAccountToken - хорошая штука. Еще бы сделать admission controller, который требует наличие automountServiceAccountToken или serviceAccountName

а зачем? при RBAC дефолтные сервисаккаунты безправные

hello i can communicate in russian but its difficult for me to type is there any good architecture for microservices and use sockets for each microservices or just have 1 socket for all services?

подкрути GC, чтобы оно больше имаджей удаляло

машины пустые были совсем. я хз почему у него тригер сработал

причем видно что он срабатывал еще раз вчера вечером и я понятия не имею почему

вдруг ему взбредает в голову kubelet[28382]: W1012 17:36:48.046037 28382 eviction_manager.go:331] eviction manager: attempting to reclaim nodefs kubelet[28382]: I1012 17:36:48.046053 28382 eviction_manager.go:345] eviction manager: must evict pod(s) to reclaim nodefs и начинает выгонять поды (все) kubelet[28382]: I1012 17:36:48.046263 28382 eviction_manager.go:363] eviction manager: pods ranked for eviction:

всеобщее здравствуйте

hello i can communicate in russian but its difficult for me to type is there any good architecture for microservices and use sockets for each microservices or just have 1 socket for all services?

Do you want to say “service”?

service = microservice

service = microservice

I’m saying about K8s service.

service = microservice

just curious, where did you get your telegram name from :)

:D

машины пустые были совсем. я хз почему у него тригер сработал

ну видимо ничего другого скинуть с ноды нельзя было, а место кончается. сделай так чтобы не кончалось :))

ну видимо ничего другого скинуть с ноды нельзя было, а место кончается. сделай так чтобы не кончалось :))

попробовал сейчас набить маленькие разделы, на разделах use выше 20% нигде нет. иноды тоже меньше 10% использованы. реакции нет от eviction manager. читал https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/ , но не понял что именно мониторит kubelet

попробуй запстить kubelet с --v=4

парни, направьте в нужную сторону: 1. Есть хост машина с установленым kubectl 2. Есть виртуалбокс с бубунтой (или федорой или дебианом или еще с чем) Возможно ли развернуть кластерок на виртуалке? Что почитать?

miniukube

minikube start. done

Дело в том, что у меня есть локально установленый докер, но я не хочу заморачиваться с $env и прицеплять его к миникубу (это в случае если я захочу локально его ставить)

miniukube

ставить миникуб в виртуальную машину? т.е. виртуалка в виртуалке?

Подскажите, хочу понять кубы. Могу ли я в рамках одного впс все установить? Или нужен ещё один сервак как управляющий?

ставить миникуб в виртуальную машину? т.е. виртуалка в виртуалке?

запускайте на хосте, даже если это windows :)

дашборды нагуглили, или сами сделали?

Всё сами. На многие вопросы все равно сложно отвечать. Например "сколько серверов для тестов можно переназначить на продакшн без ущерба производству"

... продакшн ... производству - тавтология?

Ой. Под производством я имел ввиду разработку и тестирование)

трудности перевода. сложно, когда терминология то русская то англ.

Всё сами. На многие вопросы все равно сложно отвечать. Например "сколько серверов для тестов можно переназначить на продакшн без ущерба производству"

выложите куда-нибудь, чтобы помочь несчастным копи-пастерам? :)

Подскажите, хочу понять кубы. Могу ли я в рамках одного впс все установить? Или нужен ещё один сервак как управляющий?

можно

выложите куда-нибудь, чтобы помочь несчастным копи-пастерам? :)

Я уже скидывал как-то. Там всё банально: https://www.evernote.com/shard/s123/sh/22d6d0af-dc84-4183-b024-c5d87a325df3/49c133cdff169b9a дашборд из json непросто будет запустить, т.к. там reocrding rules https://gist.github.com/zakharovvi/7c97929f2ca05620c365535057c90a59

сделайте свой облачный PV, и вам будет известно, что там

rook.io интересен, планирую попробывать

вроде обсуждали и приходили к общему мнению о неработоспособности и что внутри тот же цеф, который у многих здесь стоит

rook.io интересен, планирую попробывать

а господин – археолог, да

рукс нельзя использовать

рукс нельзя использовать

почему, отговорите :)

(не в прод)

потому, что это запуск цефа внутри контейнера. Проще, логичнее и удобнее вытащить цеф в отдельную инсталляцию и использовать его снаружи

работать будет заметно надежнее6 отлаживать проще. Впрочем, если есть желание есть кактус - отговорить невозможно

работать будет заметно надежнее6 отлаживать проще. Впрочем, если есть желание есть кактус - отговорить невозможно

мне нравится унификация :) я вообще тут наброски на листочке делаю, как куб может управлять провижингом (или как это назвать?) серверов начиная с iPXE :) ну типа cloudformation + ASG (только без Scaling :) ) в датацентре

мне не нравится попытка тюнинговать бульдозер в самолет. Инструменты все-таки лучше под задачу подбирать. А не наоборот

в чем контейнер ограничвает цеф?

а ничего, что контейнер иммутабелен?

volume в нем зато нет)

ставить миникуб в виртуальную машину? т.е. виртуалка в виртуалке?

https://github.com/Mirantis/kubeadm-dind-cluster можно попробовать

Правда до 1.8 ещё не обновил... Но скоро

мне не нравится попытка тюнинговать бульдозер в самолет. Инструменты все-таки лучше под задачу подбирать. А не наоборот

захожу я значит с мыслью , где бы про дистрибьютед fs апообщаться про их применимость , думаю нее, кубернйтес чат про кубы , не стоит здесь.

Есть хорошее чтиво за цеф с стори оф сексесс , подбираю фс, для распределенного хранения мелких блобов

ничего не понял. в чем вопрос-то?

Есть хорошее чтиво за цеф с стори оф сексесс , подбираю фс, для распределенного хранения мелких блобов

ну если тебя с3 на цефе устроит то ок

а так вряд ли ты что то вменяемое найдешь

откуда вы берете й в kubernetes? :3