Alexander
А кто какие стораджЫ на bare-metal использует?
Тут универсальный ответ Linstor )
Alexander
Да. Серверная машинка со своим железом
Возможно нагнал про провизионинг. Поэтому что с динамическим для hostPath посмотри лучше сам )
.
Возможно нагнал про провизионинг. Поэтому что с динамическим для hostPath посмотри лучше сам )
ну не за горами добавят еще одну такую ноду. нормально ли ставить hostPath, думаю вот
Гандоний
Тут универсальный ответ Linstor )
спасибо, пойду погляжу что это. А аналога Xen-Citrix нет? что-то типа sharedLVM, чтобы одну лунку пошарить среди гиперов и потом там нарезать партишены согласованно?
Гандоний
это я видел, но не нашел того, о чем писал
Dmitry
Всем, привет! У меня есть развёрнутый prometheus в k8s. Он мониторит железо и сервисы. Информация о железе у меня хранится в БД, потому что там есть много того, что вне БД положить очень неудобно. Сейчас я каждый раз при добавлении новой записи в БД вручную дописываю строки в YAML и это не очень удобно. Есть ли какие-то общепринятые механизмы обновления конфигурации prometheus или нужно что-то своё писать?
𝒦𝒶𝓁𝒶𝓎⛩
Добрый день! Хотел поинтересоваться можно ли сделать проверку ivenessProbe(живучести) после удачной проверки readynessProbe(готовности) при запуске контейнера
Dmitry
Ну если живучести не проходит, то и готовности не должно проходить. У вас какая проблема?
Dmitry
Не нравится что лишняя проверка готовности падает (во время когда еще живучесть не пройдена)?
𝒦𝒶𝓁𝒶𝓎⛩
Сервер долго стартует
𝒦𝒶𝓁𝒶𝓎⛩
а ограничения у initialDelaySeconds есть?
𝒦𝒶𝓁𝒶𝓎⛩
Сервер долго стартует и его ivenessProbe ребутит
Dmitry
initialDelaySeconds должно помочь
Игорь
а ограничения у initialDelaySeconds есть?
у меня 600 стоит на одном из сервисов
𝒦𝒶𝓁𝒶𝓎⛩
Окей спасибо
Dmitry
Кстати initialDelaySeconds можно задавать как для живучести так и для готовности
𝒦𝒶𝓁𝒶𝓎⛩
Кстати initialDelaySeconds можно задавать как для живучести так и для готовности
Я кстати не понял они только при страрте срабатывают или через таймаут перезапускаются?
Dmitry
при старте, время которое он ждет, прежде чем на живучесть и готовность проверять
Гандоний
мне кажется ты неправильно понимаешь смысл livenessProbe и ее отлиничие от readinessProbe (или я неправильно понимаю). liveness - это проверка наличия запущенного процесса. А readiness - его готовности обслуживать. Т.е. если процесс стартует, то liveness его не прибьет. Просто на него траф не пойдет, если у него что-то унутре подохнет. Вообще это должно быть редкой ситуацией, обычно сервис сам рестартится
Гандоний
поэтому я liveness вообще не использую
Марат
По мотивам https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-probes/ набросал манифест без livenessProbe apiVersion: v1 kind: Pod metadata: labels: test: liveness name: liveness-exec spec: containers: - name: liveness image: k8s.gcr.io/busybox args: - /bin/sh - -c - touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600 readinessProbe: exec: command: - cat - /tmp/healthy initialDelaySeconds: 5 periodSeconds: 5 Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 3m default-scheduler Successfully assigned default/liveness-exec to dev-worker-02 Normal Pulling 3m kubelet, dev-worker-02 Pulling image "k8s.gcr.io/busybox" Normal Pulled 3m kubelet, dev-worker-02 Successfully pulled image "k8s.gcr.io/busybox" Normal Created 3m kubelet, dev-worker-02 Created container liveness Normal Started 3m kubelet, dev-worker-02 Started container liveness Warning Unhealthy 1m (x21 over 3m) kubelet, dev-worker-02 Readiness probe failed: cat: can't open '/tmp/healthy': No such file or directory
Марат
да, у них разные задачи
тогда как у вас получается без? "поэтому я liveness вообще не использую"
Гандоний
обычно сервис сам рестартует при ощибках и его не надо перезапускать
Марат
внутри пода?
Гандоний
да, например базу не нашел, конфиг кривой и т.п
Гандоний
он просто уйдет в reboot-loop
Гандоний
я не вижу смысла в livenessProbe
Гандоний
это, в 90% случаев - перестраховка
Игорь
обычно сервис сам рестартует при ощибках и его не надо перезапускать
сервис может паковаться в war и использовать tomcat в качестве базы, например
Гандоний
когда сервис запускается через стартер (т.е. pid != 1) и его падение никем не детектится
Гандоний
сервис может паковаться в war и использовать tomcat в качестве базы, например
да, это проблема, как раз у меня есть. Только мониторингом можно поймать
Гандоний
но есть и другая, более серьезная. jvm требует ресурсов на старте много и если одновременно много подов стартует, то liveness срабатывает ДО полного запуска и рестартит под (как и у товарища выше). В итоге на ноде LA 300 и все тупит и не поднимается
Гандоний
вопрос сначала readiness, потом liveness острый
Гандоний
но в этом случае они просто дублируют друг-друга, что не есть правильно
Марат
Гандоний
я про детекс самого процесса, что он работает
Гандоний
у процесса в контейнере pid=1, он мониторится на падение докером
Марат
да
Гандоний
а если главный процесс это стартер, то реальный процесс уже не pid=1
Гандоний
и никем не мониторится из-коробки
Марат
если только стартер не мониторит, ога супервизорд или там sv
Гандоний
поэтому и нужен livenessProbe который смотрит - а есть-ли у нас вообще процесс в ps.
Гандоний
ну это как напишут стартер
Гандоний
вобщем пока я применения liveness не нашел
Гандоний
поэмуму не использую
V
Ребят я использую kustomize для приложения и у меня один конфиг на множество сервисов внутренних в этом конфиге куча всяких ключей и достаточно чувствительных и секретных данных, я вот не могу придумать где их кранить (сейчас в git) и какая схема для деплоя могла бы в кубер использоваться?
👉
всем привет, туплю ужасно, подскажите, локально поднял кластер кубкра на макос, развернул под и сервис, в дашборд захожу, а как зайти в под?
Марат
kubectl get po kubectl exec -it POD_NAME bash
Vadim
подозреваю что нужно сначала https://kubernetes.io/docs/tutorials/kubernetes-basics/expose/expose-intro/
Vladimir K
Еще же есть kubectl port-forward
Dmitry
как-то можно на всем кластере временно отключить хелсчеки?
Lucky SB
передеплоить только все
Dmitry
например мы хотим сетку дернуть, примерно минуту сетки не будет и хелсчеки повалятся, и тогда начнется массовый рестарт всего
Lucky SB
не успеет
Lucky SB
хелсчеки проверяет кублет
Lucky SB
все через локалхост идет
Lucky SB
сетка тут не при делахэ
Lucky SB
а таймауты на восстановление в случае потери связности - около 6 минут где-то
G72K
вобщем пока я применения liveness не нашел
Лайвнесом можно ловить например моменты когда все тредпулы в дедлок ушли и ничего не работает,а процесс есть .
Гандоний
Лайвнесом можно ловить например моменты когда все тредпулы в дедлок ушли и ничего не работает,а процесс есть .
Да, конечно, но мы на мониторинг это перекладываем. Это отностельно редкая ситуация, к тому-же требующая разбора по-живому, анализа дампа и т.п. Просто так рестартить нельзя
Solyar
Закройте лучше служебный Коннект за авторизацией
Anonymous
почему внезапно kubectl port-forward начал отваливаться сразу же после подключения? все нормально работало еще вчера Forwarding from 127.0.0.1:6378 -> 6379 Forwarding from [::1]:6378 -> 6379 Forwarding from [::1]:27018 -> 27017 Forwarding from 127.0.0.1:27018 -> 27017 Forwarding from [::1]:27017 -> 27017 Forwarding from 127.0.0.1:27017 -> 27017 E0906 20:44:15.142894 66856 portforward.go:224] lost connection to pod E0906 20:44:17.006405 66983 portforward.go:224] lost connection to pod E0906 20:44:17.110926 66981 portforward.go:224] lost connection to pod E0906 20:44:17.110963 66982 portforward.go:224] lost connection to pod
Rustam
Кстати initialDelaySeconds можно задавать как для живучести так и для готовности
Вот кстати, зачем ставить это для readiness? Это получается новый под минимум n секунд/минут не будет трафик получать, даже если уже готов
Rustam
кстати в 1.16 будет startupProbe https://github.com/kubernetes/kubernetes/pull/77807
Dmitry
не успеет
Сегодня успело
Lucky SB
и что было ? вы сеть дернули так, что все узлы оказались изолированы ?
Kane
всем привет, подскажите про ингрессы, правильно ли я понял что при появлении нового сервиса, надо отдельно руками в ингрессе завести правило "перенаправления" трафика на этот сервис. или это можно делать автоматически при создании сервиса? Например есть правила: foo.bar/greeneggs-> service1 foo.bar/blueham -> service2 и далее разработчик когда создает новый сервис - service3 нужно чтобы на ингресе появилось правило foo.bar/darkcheese -> service3/