Евгений
./configure && make && make install *прослезился*
Vadim
Operator Lifecycle Manager, который ставит и обновляет оператор (без влезания в детали приложения) кажется мне более здравой идей
Vadim
Во времена разработки хельма CRD толком не было потому суют метадату в конфигмап - и все, никакого тебе интерфейса
Евгений
Делать всё операторами? Это уже отказ от иммутабельной инфраструктуры
Vadim
Прогресс однако
Евгений
Чойта?
Потому что мутирование инфраструктуры лишает её иммутабельности. Можно потерпеть операторы в каких-то определенных кейсах, связанных с "передовой линией" деплоя приложений, для которой в сабже ещё не развились инструменты. Но пихать в оператор то, что и так хорошо сейчас ложится?..
𝚔𝚟𝚊𝚙𝚜
Operator Lifecycle Manager, который ставит и обновляет оператор (без влезания в детали приложения) кажется мне более здравой идей
Хм, ну смотри, у меня есть описанный в jsonnet деплоймент, которому я просто передаю необходимые параметры для конкретно окружения. Будь там отдельно описанные компоненты или целый чарт, на выходе я всегда получу гарантированный набор компонентов. Я смогу посмотреть что именно поменялось и что именно применится в кластер. Оператор не предоставит мне такой информации, не предоставит он также возможность кастомизации, если что-то не предусмотренно самим оператором. Плюс за версией оператора тоже необходимо следить, например если у вас несколько кластеров (стейджинг/продакшен) возможна ситуация когда у тебя в этих кластерах работают разные версии оператора, которые генерят немного разные конфиги, а это не есть хорошо. В случае с пререндеренной конфигурацией, ты всегда гарантированно получаешь тоже самое. ps. предпочитаю описывать и хранить конфигурацию приложений в git-репозитории, нежели применённой в куб-кластере
Vadim
Хм, ну смотри, у меня есть описанный в jsonnet деплоймент, которому я просто передаю необходимые параметры для конкретно окружения. Будь там отдельно описанные компоненты или целый чарт, на выходе я всегда получу гарантированный набор компонентов. Я смогу посмотреть что именно поменялось и что именно применится в кластер. Оператор не предоставит мне такой информации, не предоставит он также возможность кастомизации, если что-то не предусмотренно самим оператором. Плюс за версией оператора тоже необходимо следить, например если у вас несколько кластеров (стейджинг/продакшен) возможна ситуация когда у тебя в этих кластерах работают разные версии оператора, которые генерят немного разные конфиги, а это не есть хорошо. В случае с пререндеренной конфигурацией, ты всегда гарантированно получаешь тоже самое. ps. предпочитаю описывать и хранить конфигурацию приложений в git-репозитории, нежели применённой в куб-кластере
Оператор тебе и так сгенерит нужные деплойменты из CRD, просто писанины меньше
Евгений
Интересная интерпретация иммутабельной инфраструктуры, правда туда и хелм никак не ложится тогда
Можно раскрыть мысль? Я не могу придумать как заюзать хелм так, чтобы он реактивно реагировал на изменения в кластере, например.
George
Можно раскрыть мысль? Я не могу придумать как заюзать хелм так, чтобы он реактивно реагировал на изменения в кластере, например.
Эм. Я не понимаю тебя. С твоих слов хельм иммутабелен, но это и означает, что он абсолютно не пригоден для сценариев деплоя сложнее, чем тривиальнве
George
Хм, ну смотри, у меня есть описанный в jsonnet деплоймент, которому я просто передаю необходимые параметры для конкретно окружения. Будь там отдельно описанные компоненты или целый чарт, на выходе я всегда получу гарантированный набор компонентов. Я смогу посмотреть что именно поменялось и что именно применится в кластер. Оператор не предоставит мне такой информации, не предоставит он также возможность кастомизации, если что-то не предусмотренно самим оператором. Плюс за версией оператора тоже необходимо следить, например если у вас несколько кластеров (стейджинг/продакшен) возможна ситуация когда у тебя в этих кластерах работают разные версии оператора, которые генерят немного разные конфиги, а это не есть хорошо. В случае с пререндеренной конфигурацией, ты всегда гарантированно получаешь тоже самое. ps. предпочитаю описывать и хранить конфигурацию приложений в git-репозитории, нежели применённой в куб-кластере
Несомненно согласен. Для меня основной вопрос - версионирование операторов глобально на весь кластер и возможность тащить в один кластер несколько версий оператора в разные неймспейсы. Придумать кейсы, когда это нужно - легко
George
ну тотже operator-sdk позволяет передавать WATCH_NAMESPACE в качестве переменной
Это решает проблему существования нескольких версий оператора ?
𝚔𝚟𝚊𝚙𝚜
да, т.к. с этой переменной каждый оператор может смотреть за одинаковыми типами ресурсов, но только в пределах своего неймспейса
𝚔𝚟𝚊𝚙𝚜
Это если они не создают одинаковые ресурсы, например, глобально в кластере.
да, разумеется что работать такие операторы будут только с namespaced ресурсами в пределах своего неймспейса
George
Короче - нужен стандарт на написание операторов, которые будут переносимы
𝚔𝚟𝚊𝚙𝚜
Короче - нужен стандарт на написание операторов, которые будут переносимы
Посмотри на https://github.com/operator-framework/operator-sdk/blob/master/doc/ansible/user-guide.md - очень круто
George
Твоя статья? Круто 👌👏
Vadim
Можно раскрыть мысль? Я не могу придумать как заюзать хелм так, чтобы он реактивно реагировал на изменения в кластере, например.
У OLM есть CRD который он обрабатывает и устанавливает оператор. При запуске кластера применяешь его + CRD для оператора, всё это в git - и вот тебе immutable, нет? Немного магии с CI - и недоGitOps. С хелмом будет труднее
Vadim
То что оператор реагирует на изменения - это уже другая фича, тем более он как раз таки приводит к ожидаемому виду
Михаил
Посмотри на https://github.com/operator-framework/operator-sdk/blob/master/doc/ansible/user-guide.md - очень круто
Посмотри на оператор фреймворк и охуей от копания в boilerplate
𝚔𝚟𝚊𝚙𝚜
С какой версии?)
еще в 1.11 было
𝚔𝚟𝚊𝚙𝚜
DBaaS?
ну например да, либо если у тебя дофига клиентских баз
Михаил
потом кто-то сделает ОС поверх кубера
𝚔𝚟𝚊𝚙𝚜
А так же автоматизацию покупки этих нод.
Ну тут как ни крути, либо ты делаешь это в Kubernetes, либо ты просто перекладываешь деплой этих нод на плечи OpenStack-админа, какая разница, кроме того что у тебя есть лишняя простлойка в виде опенстака?
𝚔𝚟𝚊𝚙𝚜
потом кто-то сделает ОС поверх кубера
куб уже сам по себе операционная система)
𝚔𝚟𝚊𝚙𝚜
А можно аргументы?
Собственно всё тоже самое что нам принёс Docker, но в разрезе для Bare Metal: 1) Image который ты собираешь/используешь для BareMetal нод - полностью переносимый и везде одинаковый 2) У тебя нет процесса установки как такового, соответственно уменьшается количество ситуаций когда что-то может пойти не так 3) Скорость деплоя, простота обновления: для обновления достаточно просто перезагрузить ноду, она скачает новый image
Михаил
𝚔𝚟𝚊𝚙𝚜
Не говорил, эт я просто удобный момент выбрал)
𝚔𝚟𝚊𝚙𝚜
Норм, вышло вполне живенько) Хотя предыдущий подкаст с подлодки мне понравился больше, в основном из-за противостояния с Андреем Шориным, который занимал позицию админа-старовера :)
𝚔𝚟𝚊𝚙𝚜
By the way, обновил journalbeat в кластере, помимо add_kubernetes_metadata добавил decode_json_fields processor, теперь если сервис пишет логи в JSON, он автоматически распознаёт и парсит его
Anonymous
bethJ
George
А в чем его преимущество?
тем, что он сохраняет логи в локальном хранилище и не ломает docker logs (мы не говорим про docker-ee)
𝚔𝚟𝚊𝚙𝚜
ты используешь логирование в журналди? Хоть кто-то, ура
Уже давно надо признать https://t.me/kubernetes_ru/138591
𝚔𝚟𝚊𝚙𝚜
А в чем его преимущество?
1. Собираются не только логи докера, но также и все системные логи тоже, один единственный демон journalbeat на ноду передаёт их все в эластик 2. Journald - является central point для всех логов в системе. Докер пишет логи в системный journald а не складывет в json рядом с контейнером. 3. Бинлог journald занимает в десятки меньше места чем текстовые логи, тем более в формате json, кроме того Journald автоматически ротейтит все логи 4. Journalbeat поддерживает т.н. cursor, т.е. умеет запоминать позицию где остановился, и после перезапуска начинать с неё же 5. Не нужно заморачиваться с настройкой часов и таймзон для контейнеров. Journald автоматически пишет правильное время системы. 6. Ну и в добавок вышеупомянутые add_kubernetes_metadata и decode_json_fields, позволяют, без проблем, обогатить логи метаданными из кубернетиса и рекурсивно распарсить JSON в логах
Ivan
Придётся тоже переходить на journald вместо gelf. Убедительно
Ivan
decode_json_fields вообще супер фичей будет!
Ivan
я такого в фильтрах логсташа не нашёл
𝚔𝚟𝚊𝚙𝚜
decode_json_fields вообще супер фичей будет!
Да, то есть теперь можно не думать о настройке каждого приложения отдельно: если контейнер пишет лог в JSON, он будет автоматически распарсен и засунут в эластик
𝚔𝚟𝚊𝚙𝚜
И всё-таки уточню, лог должен полностью быть JSON или оно умеет парсить вещи вида ISO8601_TS loglevel worker {json}?
Каждое сообщение процессится отдельно, так что пофигу в принципе, лог может быть и смешанного типа
𝚔𝚟𝚊𝚙𝚜
Ivan
Ага, нашёл пример в доке. Ему надо чтобы весь евент был в JSON
Denis
я такого в фильтрах логсташа не нашёл
есть такое.Плагин json если что
Denis
Я его раньше юзал для распарсивания json логов в логстеш
Ivan
Разве он умеет парсить не евент целиком, а поле евента? Мне как раз это интересно
Pavel
1. Собираются не только логи докера, но также и все системные логи тоже, один единственный демон journalbeat на ноду передаёт их все в эластик 2. Journald - является central point для всех логов в системе. Докер пишет логи в системный journald а не складывет в json рядом с контейнером. 3. Бинлог journald занимает в десятки меньше места чем текстовые логи, тем более в формате json, кроме того Journald автоматически ротейтит все логи 4. Journalbeat поддерживает т.н. cursor, т.е. умеет запоминать позицию где остановился, и после перезапуска начинать с неё же 5. Не нужно заморачиваться с настройкой часов и таймзон для контейнеров. Journald автоматически пишет правильное время системы. 6. Ну и в добавок вышеупомянутые add_kubernetes_metadata и decode_json_fields, позволяют, без проблем, обогатить логи метаданными из кубернетиса и рекурсивно распарсить JSON в логах
Все правда. Две вещи из за которых я отказался от логов всего и вся в journald: 1. Ограничение на длину лога. Как минимум json бывает разрывает и это не очень. Неприятней если разрыв случается в логе на русском. Разрывает посередине буквы и в итоге сохраняет кракозябру в конце и начале кусков сообщения вместо буквы. 2. Есть лимиты по сообщениям в единицу времени. Тюнится в конфиге, но всегда упирается в самое неподходящее время. При достижении рейтлимита начинает просто отбрасывать сообщения. Если кто решит перейти, нужно учитывать.
Lucky SB
телепатия в действии. гвн-прод в вмваре виртуалках. с одним мастером. симптомы - все пропало, кубцтл не показывает, апи сервер ребутается. расследование показало, что etcd порт слушает молча. туда шлешь, оттуда тишина. ребуты докера, сервера, etcd нифига не помогают. в логах etcd последние строчки etcdserver: starting server... [version: 3.2.4, cluster version: 3.2] из странного docker exec -it etcd1 sh виснет намертво. шаманское лечение - куб ставился кубспреем, так что etcd запускается systemd-юнитов в докер контейнере. стопаем, удаляем контейнер с etcd, удаляем образ с etcd - запускаем сервис - оно скачивает образ заново, стартует == все работает
George
версии компонентов напиши
George
всех
Михаил
Кажется пора делать топ альтернативных решений для кубера
Yuri
и так раз в год
Max
Почему в GKE такой медленный failover на сервисах типа LoadBalancer? Так и должно быть? У меня nginx-ingress-controller раскатан деплойментом в 6 экземплярах и переодически, когда гугл обновляет/чинит ноды, часть юзеров видят 502 ошибку около 1-2х минут
Paruyr
1. Собираются не только логи докера, но также и все системные логи тоже, один единственный демон journalbeat на ноду передаёт их все в эластик 2. Journald - является central point для всех логов в системе. Докер пишет логи в системный journald а не складывет в json рядом с контейнером. 3. Бинлог journald занимает в десятки меньше места чем текстовые логи, тем более в формате json, кроме того Journald автоматически ротейтит все логи 4. Journalbeat поддерживает т.н. cursor, т.е. умеет запоминать позицию где остановился, и после перезапуска начинать с неё же 5. Не нужно заморачиваться с настройкой часов и таймзон для контейнеров. Journald автоматически пишет правильное время системы. 6. Ну и в добавок вышеупомянутые add_kubernetes_metadata и decode_json_fields, позволяют, без проблем, обогатить логи метаданными из кубернетиса и рекурсивно распарсить JSON в логах
а journalbeat работает на centos 7? у меня падает при старте, пришлось свое решение делать)
Max
держи прогретыми уже
Что держать прогретыми?