Stas
Хотя идея прикольная покручу
Stas
Хотя это 24 rpi на стойку)
𝚔𝚟𝚊𝚙𝚜
Хотя это 24 rpi на стойку)
Кстати, а что у вас за сервера?
𝚔𝚟𝚊𝚙𝚜
Одно время я удивлением обнаружил, что в карточках Mellanox ConnectX-3 ipxe уже встроен в прошивку, правда как показала практика он достаточно старой версии и не все фичи работают
𝚔𝚟𝚊𝚙𝚜
@kvaps https://youtu.be/QLzL-yPC-jo?t=5512 Во я отстрелялся
ещё я не совсем понял, как ipmi конфигурится для серверов, то есть вот вы купили пачку серверов, воткнули их в в сетку, они начали грузиться, откуда metal3 узнает о том что каждый конкретный ipmi принадлежит каждому конкретному серверу?
𝚔𝚟𝚊𝚙𝚜
или там есть интерфес какой-то который позволяет ipmi изнутри загруженного сервера настроить?
Stas
или там есть интерфес какой-то который позволяет ipmi изнутри загруженного сервера настроить?
Есть ipmi device. В него можно с загруженного хоста ходить локально
𝚔𝚟𝚊𝚙𝚜
понял
𝚔𝚟𝚊𝚙𝚜
а cluster-api умеет в фенсинг?
Stas
Ipmi сеть отдельная там свой свитч и там можно дхцп юзать. Dhcp выдает ИП на bmc интерфейс. Наш агент после загрузки устанавливает его в статику
Stas
а cluster-api умеет в фенсинг?
По-моему в полноценный нет. Типа изолировать моргающий хост?
𝚔𝚟𝚊𝚙𝚜
ну скорее гарантированно вырубить хост в непонятном стейте
Stas
Когда ты убиваешь машину bmh под ней освобождается и выключается по питанию
Sn00part
у меня подобное было в одном проекте, на связке: свой провайдер для бареметал, netbox+keadhcp+powerdns, но не взлетело, сильно дорого оказалось
Sn00part
провайдер все это гавно терраформить
Sn00part
нуачо! ) там же все современенько, рест АПИ, все это вот
Stas
Когда ты убиваешь машину bmh под ней освобождается и выключается по питанию
При этом когда удаляется машина - нода сначала дрейнится. Все как надо
Sn00part
луа опять же, почти питон )
Stas
ну скорее гарантированно вырубить хост в непонятном стейте
Я ещё не рассказал про своего бутстрап провайдера
Stas
Мы короче скрестили mco от опеншифта и кубадм провайдера
Sn00part
ну и чего там по человекочасам?)
Sn00part
если не секрет
Stas
Дорого
Sn00part
а готовых нет чуваков? Я вижу один проект, он также все делает, с ними можно договариваться даже
Aleksey
@kvaps https://youtu.be/QLzL-yPC-jo?t=5512 Во я отстрелялся
В своем докладе вы часто употребляете слово "приложение", что вы имеете в виду?
𝚔𝚟𝚊𝚙𝚜
К слову, тут недавно новый LTSP 19 вышел, он был полностью переписан с нуля. А я сейчас активно допиливаю его чтобы в кубе нормально запускался и работал. Когда закончу, билдить кастомные имаджи для bare metal-нод будет не сложнее чем Dockerfile описать. Сейчас я устанавливаю ядро, docker, kubelet, libvirt, разные модули ядра и всё это через обычный Dockerfile.
𝚔𝚟𝚊𝚙𝚜
Образ ubuntu или debian в смысле
Stas
Да
Sn00part
и в плагины тоже, там расширять до небес можно
inqfen
@kvaps, не писал операторы куба?
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
наша инфраструктура тоже pxe-based, мы её оператором раскатываем
Sn00part
другое дело, что почти все sync и все блокируется нахер, если что-то пошло не так, то все взрывается. это не nginx openresty,
inqfen
Тогда такой вопрос, более менее знаю пистон, начально go, какие подводные камни в kopf?
inqfen
А то go юзал мало, мне на питоне будет куда быстрее
𝚔𝚟𝚊𝚙𝚜
ansible-оператор вообще вещь
𝚔𝚟𝚊𝚙𝚜
там даже python знать не надо
𝚔𝚟𝚊𝚙𝚜
this
inqfen
ansible-оператор вообще вещь
В эту сторону тоже смотрел, но как-то хотел более безоберточно так сказать попробовать
inqfen
На ансибле я и так всю настройку кластера написал лол
𝚔𝚟𝚊𝚙𝚜
В эту сторону тоже смотрел, но как-то хотел более безоберточно так сказать попробовать
Где-то была классная статья по обзору фреймвоков для написания операторов вот она: https://admiralty.io/blog/kubernetes-custom-resource-controller-and-operator-development-tools/
inqfen
Быстро наговнякать вообще можно на шелл операторе
inqfen
А самое правильное на operator framework
Sn00part
есть еще куча инфы на тему "как мне не использовать оператор, когда это никому не нужно" )0
inqfen
Но я на го писал ток всякую фигню типа нагрузочногл тестирования, парсера и конфигуратора через api
Sn00part
каждый подход индивидуален, но фанатизм в этом деле вреден для бизнеса.
𝚔𝚟𝚊𝚙𝚜
но там нет kopf
𝚔𝚟𝚊𝚙𝚜
А самое правильное на operator framework
ну я не был бы так категоричен
inqfen
но там нет kopf
То что есть тоже неплохо почитать
inqfen
gitops, например
У меня сейчас сорт оф
𝚔𝚟𝚊𝚙𝚜
Ну у меня это наоборот уберёт ненужные велосипеды
Главое чтобы это было леко поддерживать
inqfen
Настройка кластера, добавление/изменение неймспейсов, сертов, неба и аллаха через гит ансиблом
𝚔𝚟𝚊𝚙𝚜
идемпотентность наше всё
Sn00part
gitops, например
очень много всего в этом намешано, это целая модель эксплуатации, надо брать ящик водки и стакан марихуаны, чтобы разобраться, а оператор там где-то внутри сильно незаметно что-то делает.
inqfen
для таких целей ansible-оператор считаю лучший выбор
Не, это останется, может модифицировавшись(или переедет нескоро, у меня не 4 руки) , а мне оператор пока нужен для нашего приложения как минимум
inqfen
Ну и ещё несколько вещей, которые логичнее всего реализовать через него
Sn00part
через год будет абстрактный "квантопс", кубер закопается, придумают хуюбер и чего делать то будем)
𝚔𝚟𝚊𝚙𝚜
gitops, например
А ведь идея простая и витает где-то на поверхности: - единственное верное состояние деплоя лежит в git-репозитории
inqfen
А ведь идея простая и витает где-то на поверхности: - единственное верное состояние деплоя лежит в git-репозитории
У нас это прямо внутреннее правило, ток еще хранилище конфигураций добавится, но там будет всякая динамическая шняга лежать
Sn00part
А ведь идея простая и витает где-то на поверхности: - единственное верное состояние деплоя лежит в git-репозитории
смотря чего состояние, стейт там не сохранишь, а он нужен! ну и бинари всякие и прочая хрень. тут говорят что repeatable builds не бывает, спорно конечно все это. но все же. не пуля, не
inqfen
Уровня перенакатил я раннеры, сменился ip - откуда-то терраформы на других проектах должны его взять чтобы в sg нужные засунуть
inqfen
ну и тем хуже конечно чинится
𝚔𝚟𝚊𝚙𝚜
именно
Sn00part
я к тому, что надо все обмазывать еще инструментами разными, чтобы работало как-то похоже на методологию.
Sn00part
вот с этим проблема