Lucky SB
ну я после OSS WSo2 уже не удивлюсь нчему
будешь ишью создавать на гитхабе кубадма ?
Lucky SB
там насколько я понял проблема только в том что при kubeadm upgrade node ключ `--certificate-renewal ` не тру по дефолтиу
Siarhei
там насколько я понял проблема только в том что при kubeadm upgrade node ключ `--certificate-renewal ` не тру по дефолтиу
Я на третьем мастере явно его указал непрокатило, ишью с телефона сложно
Siarhei
Если можно я лайкну чужой ишью...
Lucky SB
окй. сделаю. я тоже попробовал. он не обновляет сертификаты, потому что манифесты не изменились при обновлении. если чуть манифест подправить и потом запустить обновление - то он обновит серт
Siarhei
можно кратко в манифесте что подправить.. пока не за компом - былобы многим полезно
Siarhei
точнее я так понимаю - это в исходниках надо править
Lucky SB
проще на мастерах сделать команду kubeadm alpha certs renew all
Lucky SB
ну и про сертификат кублета не забыть еще
Lucky SB
проще на мастерах сделать команду kubeadm alpha certs renew all
и ребутнуть все контейнеры. чтобы они новые серты прочитали
Denis
Всем привет! Подскажите чтиво по правильной готовке Gunicorn под Docker и K8s если таковые сущевствуют? Нашёл пока что один материал только, остальное все хлам по типу создание Dockerfile под gunicorn +flask
Etki
а в чем разница?
Alex
Вот пример Dockerfile: https://pastebin.com/FTmcZgpR
Alex
Вот entrypoint: https://pastebin.com/4iKkt8a9
Alex
Внутри обычное приложение
Etki
будь ласка, портянки на пейстбин или аналоги
Denis
а что там неправильного может быть?
Расчет cpu под воркеры, какого типа воркеры использовать, может есть кейсы как их правильно оптимизировать под request, limits. heartbeat-файл слышал нужно хранить в ramfs и т.д
Alex
не вижу особого смысла скейлить воркерами на самом деле, мне кажется проще реплицировать контейнеры, но это не точно 🙂
Alexey
Если б прокси имел пул соединений к однопоточным синхронным рельсам, то у вас может быть максимум один прокси . Так что либо рельсы не такие уж однопоточные, либо пул вам противопоказан :)
да, рельсы условно однопоточные - в каждом поде стоят 3-4 однопоточных воркера за пумой именно для нескольких прокси. спасибо, хороший комментарий
George
Сам куб говорит, что под по сути аналог виртуальной машины. С определенной точностью
George
Не вижу смысла запихивать один воркер в один под. Можно 4-8 - сколько минимально посчитаешь нужным. И уже скейлить подами
Alex
Не вижу смысла запихивать один воркер в один под. Можно 4-8 - сколько минимально посчитаешь нужным. И уже скейлить подами
А смысл в нескольких воркерах в подах? Вроде оверхед на под обычно очень маленький, если много нод - проще раскидывать по ресурсам
Alex
А смысла в одном ? Тоже нет
Можно более гранулярно масштабировать
Anonymous
Вы оба правы собственно
Anonymous
Тут немного разные подходы
Anonymous
Пихать 8 воркеров в под даст выигрыш по скорости работы и ресурсам
Anonymous
Но управлять такой махиной труднее
Grigorii
Привет, а как-то можно в ClusterRole указать, что все неймспейсы разрешены, кроме kube-system?
Vitaliy
В ролях нет исключений, насколько я помню
Eduard
наоборот, есть разрешения
Dmitry
Привет, а как-то можно в ClusterRole указать, что все неймспейсы разрешены, кроме kube-system?
Создай ClusterRole. И бинди ее в каждом нужном тебе неймспесе с помощью RoleBinding.
Slach
https://www.stackrox.com/post/2019/09/protecting-kubernetes-api-against-cve-2019-11253-billion-laughs-attack/
George
Пихать 8 воркеров в под даст выигрыш по скорости работы и ресурсам
я про то, что есть оптимальный размер. 1 воркер - мало. 32 воркера - много (гранулярность низкая). Учитывая типичный сайзинг ноды кубернетеса - думаю, что 4-8 воркеров на под == ок
George
накладые расходы высокие. Ну, смотри - если у тебя 1000 подов с 1 воркеров - у тебя в кубе будет 1000 записей. Если же 250 подов с 4 воркерами - у тебя уже етсд меньше нагружен.
George
Вопрос деплоя еще. Потом - никакого преимущества гонять 1 воркер нет - ты же не будешь использовать встроенный хттп сервер в питон, надеюсь? Значит тащить gunicorn
George
еще 1 воркер - это не многопоточно. И он нагрузку тупо не держит. Это может давать странные, скажем, эффекты
George
каждая сущность кубернетеса = запись в етсд
George
и кубернетес следит за жизненным циклом этой сущности
George
я бы не сказал, что это прям критично, но ..... зачем
Anonymous
Но разве 1*1000 != 4*250 ?
George
для куба? нет
George
по нагрузке от клиента - да
Alexander
Так, а почему меньше нагружен? Вот тут не понятно. Ткни ссылкой, где почитать об этом.
Ну вот офф дока: https://kubernetes.io/docs/setup/best-practices/cluster-large/ No more than 100 pods per node От >100 подов на ноде тяжело будет по накладным расходам Там и прочие лимиты
George
ну, в моих опытах - больше 100 контейнеров еле ворочались на одной ноде, но это особенности самого докера.
George
другой вопрос, что у вас реально могут МЕГА-НОДЫ с терабайтами озу и сотнями ядер
George
но вряд ли
George
а с голым докером та же история )
Alexander
Ну тут ты спец как про хейтер
V 🏴‍☠️
Перешёл на cri-o, стало легко по 170-180 контейнеров держать
Alexander
Так а у Хрыча 1500 контейнеров! Но вроде на подмане - хотя какая разница с точки зрения ядра
Alexander
Опа
V 🏴‍☠️
Докер валился после 100 уже
Alexander
То есть дело именно в докере?
V 🏴‍☠️
Alexander
Судя по всему - да
Ну из твоего эксперимента так получается
George
такое ощущение, что докер сериализированно пишет в свое внутреннее состояние
George
типа глобал стейта. И приплыли. Вряд ли демон докера многопоточный
George
а ему делать дофигища дел надо - и контейнеры запускать, и сетки настраивать... и кучу всего
Alexander
он ссзб
Я хз что у него там... Сайты-визитки чтоли? Спрашивал так как интересно даже, но не ответил. Надо записаться на прием и спросить
George
потоковая обработка данных? Не осилили пихнуть все в один контейнер?
Dmitry
Докер валился после 100 уже
Именно докер или containerd использовали?
Dmitry
docker + containerd
Интересно просто, будет ли это так, если чистый containerd использовать.
V 🏴‍☠️
Не пробовал, мне докер всё равно нужен, поэтому сейчас cri-o + докер для мелких дел