George
с терраформом - декларативное вполне
Anonymous
баре метал - делаешь на нем вмварь или опенштак
Вмварь стоит слишком дорого и не уверен, что даёт то, что мне надо. Опенстек - хз, это не для одного человека удовольствие
Anonymous
Терраформ+Lxd, хм
Anonymous
мы делали multus с macvlan и calico
Вот это пердолинг так пердолинг
inqfen
А, там уже про терраформ выше сказали
Anonymous
Терраформ/pulumi?
Терраформ поверх чего?
Anonymous
Лхд? Окей. Попробую
Anonymous
Хотя декларативность терраформа очень условная.
Anton
Вот это пердолинг так пердолинг
да там всё просто, в целом
George
Хотя декларативность терраформа очень условная.
ну, она примерно такая же как у кубера
Anonymous
мы делали multus с macvlan и calico
А никаких блогпостов/гайдов не осталось?
George
все равно kubectl apply никто не отменял
inqfen
Терраформ поверх чего?
https://computingforgeeks.com/how-to-provision-vms-on-kvm-with-terraform/
Anton
А никаких блогпостов/гайдов не осталось?
осталась полная инструкция по установке
Anonymous
Такое сочетание - я ж сдохну
Anonymous
https://computingforgeeks.com/how-to-provision-vms-on-kvm-with-terraform/
Хотелось бы уйти от квм. Мне не нравится то, что я не могу эффективно распределить коры и мне надо всем машинам выдавать коров с большим запасом
George
как будто в кубере они ЭФФЕКТИВНО распределяются, лол
inqfen
или LXD да
Anonymous
ну, кубер по дефолту - это просто кучка сигрупп
inqfen
https://github.com/sl1pm4t/terraform-provider-lxd
George
начнем с двух вещей 1. разные ноды — разная производительность на условные одни и те же 100mil core 2. у тебя ядро общее, шедюлер общий, как там поделятся сигруппы друг с другом - хз
inqfen
А кубер - еще куча абстракций сверху
George
могут быть проблемы. КВМ дает более честную изоляцию
Anonymous
Поэтому когда мой ебучий сиай запускает двухчасовой пайплайн-он может отожрать все коры
inqfen
И в итоге куб выглядит как совесм не то, что тебе надо
George
Ну, если это не парит, ок, едьте в кубер
Anonymous
могут быть проблемы. КВМ дает более честную изоляцию
Да мне она как раз мешает, изоляция эта. Вместо часа два часа на билд
Anton
А можно почитать?
https://github.com/aialferov/cni-node
George
а так - у тебя пайплайн убьет все остальные нагрузки по оом
George
ну, епт
inqfen
просто, стильно, модно, молодежно
Anonymous
Угу, попробую
George
либо каждому пайплайну ставить свой лимит - но застрелишься в голову это делать
George
256 гб рам. Не убьёт
на каждый пайплайн? а если их десяток будет ?
Anonymous
Да нет, в сумме. Один выжирает пару десятков максимум.
Anton
А можно почитать?
https://github.com/aialferov/cennsonic/tree/master/kube — здесь установка кластера кубадмом с этой штукой из коробки. Возможно где-то пути надо подправить будет
Anonymous
Плюс лимит на количество
Anonymous
https://github.com/aialferov/cni-node
Спс, поисследую
𝚔𝚟𝚊𝚙𝚜
да
нет
𝚔𝚟𝚊𝚙𝚜
Оно выделяет айпи, но они не раутятся
Можешь посмотреть github.com/kvaps/bridget - это как раз враппер над cni-bridge
𝚔𝚟𝚊𝚙𝚜
Мечта вообще простая-поднялся контейнер, получил адрес с дхцп, дхцп его зарегал в локальном днс
Можно заюзать cni с dhcp iam, но это почти не будет иметь никакого смысла, так как dhcp будет просто выдавать рандомные адреса твоим контейнерам. С тем же успехом можно заранее раздать пулы адресов на ноды, чтобы они самостоятельно занимались выдачей
George
нет
я так и знал, что ты точно это делал )
𝚔𝚟𝚊𝚙𝚜
Anonymous
Диагностику выше показал
Anonymous
(базовую)
Anonymous
Так не слушай никого, и ставь куб на свою синглноду, зачем тебе там квм с тераформом ещё?
Ну вот что-то не получается выдавать контейнерам раутабельные адреса
Anonymous
Полдня пердолился с околонулевым выхлопом
Anonymous
Когда дошел до доки про то, как это сделать через бгп - понял, что щас сдохну
Anonymous
через бгп, т.е., они это умеют
𝚔𝚟𝚊𝚙𝚜
Когда дошел до доки про то, как это сделать через бгп - понял, что щас сдохну
А у тебя какой-то сервисдескавери есть, или ты статические айпишники контейнерам раздавать хочешь?
Anonymous
А в бридж воткнуться - не умеют, лять
Anonymous
А у тебя какой-то сервисдескавери есть, или ты статические айпишники контейнерам раздавать хочешь?
Я хочу, чтобы им выдавался рандомный айпишник, через мой штатный дхцп
Anonymous
И этот же дхцп получал и регистрировал имя контейнера как локальный адресок
Anonymous
Ну или имя сервиса
Anonymous
Ну абсолютно же, казалось бы, элементарное и простое желание
Anonymous
Ну на крайний случай можно и без дхцп, но это... неприятно
Anonymous
Ну заюзай тот же LXD
Ну вот собрал lxd
Anonymous
Ну вот даже заработало
Anonymous
Скажите мне, почему эта пизда для авторизации использует шаред пассворд?
𝚔𝚟𝚊𝚙𝚜
Ну абсолютно же, казалось бы, элементарное и простое желание
Куб априори работает по другому, контейнеры по умолчанию недоступны извне, для того чтобы получить к ним доступ есть отдельная абстракция - service
Anonymous
Что за пиздец? У меня тут два с половиной юзера, я хочу привилегии раздать.
Anonymous
У меня тут вообще лдап, ну да хуй с ним, с лдапом
Anonymous
Но я хочу сервис, или же контейнер, засветить наружу
Anonymous
В локалощку
Anonymous
С айпишечкой с дхцп
Anonymous
И имя сервиса зарегать в днс
Anonymous
Всего-то навсего