Andrey
/thread
Andrey
про ha уже отдельно
Andrey
хотя в вопросе всё в кучу.
𝚔𝚟𝚊𝚙𝚜
https://youtu.be/9wvEwPLcLcA
Dmitry
Привет всем! У кого какой опыт с отдельными etcd нодами? Проблема такая: есть два кластера (песочница) и 3-нодный etcd отдельный, в который оба пишут с аутентификацией по сертификатам в свои префиксы k8sdev/ и k8sstage/. Только недавно поняли что куберы делают переодически всякую оптимизацию типо compaction на etcd. так как мы обоим дали права только писать своими юзерами в свои префиксы, естественно у них больше нет прав на оптимизацию всего etcd кластера (аписервер кричит типо compact.go: permission denied). В etcd мы auto compaction вставили, чтобы он не взорвался, но парит то что сам кубер ругается. Как это делается правильно? как дизэйблить compaction на кубере я не нашел. Или мы не там ищем?
так может стоит выделить свой etcd для куба. Зачем делать общий? Отсюда ведь все и проблемы. Так просто никто не делает, поэтому и ответов нет. А так не делают по ясным причинам - не иметь проблем, которые у вас щас есть
Andrej
Думаем так и сделаем когда очередную песочницу выкинем. Просто думали что с префиксами все должно так работать. В принципе и работает. Почти)
Andrii
Всем привет. Я с небольшим вопросом - кто пользуется DigitalOcean для k8s, у вас сегодня с ним проблем нет? У меня периодически 503/504 от их API вылетают. На statuspage информации про проблемы с kubernetes api нет. В саппорт тоже не могу отправить запрос, отваливается валидация на фронте. UPD: кому интересно, они уже обновили statuspage и становится лучше
Andrii
А дорого это ?
Увы, я не располагаю этой информацией. Когда-то мне просто дали креды, и попросили наконфигурировать приложение/деплой.
Nikus
/report
Dmitry
@kvaps report
Артем
Привет коллеги! Можете подсказать варианты решения вопроса. Стэйтфулсет не аплаится поверх существующего, не могу удалить существующий, не могу скейлить в 0. Куб просто перезапускает нынешний. Возможно это частный случай с alertmanager у промитьюса
Ivan
Всем привет, а кто-то пробовал изменить флаг kubelet --resolv-conf с стандартного /etc/resolv.conf на свой кастомизированный /etc/myawesome-resolv.conf ? Попробовал, и что-то ndots из /etc/myawesome-resolv.conf не прорастают в /etc/resolv.conf в поде..
Andrey
Ага
Он и пересоздаёт.
Andrey
Редактируй Prometheus и AlertManager объекты, а не StatefulSet'ы.
Артем
Редактируй Prometheus и AlertManager объекты, а не StatefulSet'ы.
Спасибо за направление! Буду копать:)
Temur
Всем привет, экономил кто-нибудь переводом стейдж серверов на хетзнер? хотим проды оставить в гугле а для стейджей поднять кубер в хетзнере
Dmitrii
Экономил
Temur
есть подводные камни?
Даня
есть подводные камни?
а чего не на спотах гугловых?
Даня
чтоб не пилить инфраструктуру под два провайдера
Temur
надо почитать
Dmitry
господа у меня есть вопрос как бы автоматом дилегировать доменные имена себе при деплое в куб, может кто подсказать решение?
Dmitrii
есть подводные камни?
Ну кроме частых миграций виртуалок туда-сюда которые эти виртуалки стопают, и общего недостатка ф-ционала - особо нет. Если бы конечно про хетцнерклауд
Crash
Думаю есть замуты с тем же dnscontrol-ом
Dmitry
именно делегировать? Или A записи нужны?
сорри) да нужны просто A записи
Andrey
тогда external-dns
Dmitry
проблема обычная есть уже сто А записей и постоянно это руками делается
Dmitry
и нужно сделать это автоматически
Dmitry
теперь проблема external-dns не поддерживает ли MSDNS?
George
сделай автоматизацию
George
или свой провайдер
George
ну я хз
Dmitry
сделай автоматизацию
я никогда этим не занимался)) и я хочу это сделать) и поэтому интересно как
Дмитрий Харитонов
Кто-то знает как снять ограничение на количество запущенных подов на ноду?
Отделение Bereke Bank
Не надо
Дмитрий Харитонов
это не продовый кластер
George
в параметрах кьюблет вроде
Дмитрий Харитонов
спс
Andrey
теперь проблема external-dns не поддерживает ли MSDNS?
https://github.com/kubernetes-sigs/external-dns/blob/master/docs/tutorials/rfc2136.md
Andrey
но это несекурно
Andrey
я бы делегировал поддомен на другой dns, который нормально поддерживается external-dns
Dmitry
но это несекурно
А типа не секурно потому что там даёшь всем обновлять ?
Dmitry
Это тупо нужно для стейджевого куба
Dmitry
Который будет обновлять локальный dns добавляя туда A записи
Andrey
да. ms dns поддерживает безопасные dns update, но только для зон обслуживаемых active directory, и там ключ из AD надо доставать для общения с днс сервером
Andrey
https://habr.com/ru/post/221843/
Dmitry
Ок покурим, спасибо
Crash
мою аву скомуниздил?
Цена популярности :-) Скомуниздил, но не тут :-)
Vadim
starting init process command caused \"fork/exec /proc/self/exe: resource temporarily unavailable\""
Vadim
сталвкивался кто-нибудь?
Vadim
26 тысяч тасков у containerd
Vadim
как понять что их плодит
Vadim
TasksMax=infinity стоит
Crash
Флипни аву по горизонтали
Если еще раз то это свастика из котиков получится
Etki
/b/ и /kub/
Vadim
а что нужно чтобы ссылки можно было постить?
Vadim
https://success.docker.com/article/how-to-reserve-resource-temporarily-unavailable-errors-due-to-tasksmax-setting
Vadim
минутку, твикну regexp
Vadim
у меня проблема похожа на эту, но TasksMax=infinity, а кол-зво тасков containerd 26тыщ, в 10 раз больше чем на других нодах
Vadim
есть идеи как понять, что таски плодит?
Sergey
кто то работает с tensorflow в докере с nvidia? как то можно привязать под конкретный деплоймент PCI слот?
vÜberNikitosik
такой же вопрос
Sergey
в целом можно указать номер порта, но нужно чтобы номер был динамическим, чтобы на карту не падало больше одной задачи, иначе таска слетит
Sergey
то бишь есть 8 карточек, мы можем сказать деплойся на ноду с 8 слотами, воркер-образ возьмет себе рандомный порт, но на тот же порт нельзя пускать второй воркер с задачей