Alex
блииин
Alex
кажись реально на месяц сгенерировал
𝚔𝚟𝚊𝚙𝚜
https://blog.russellbryant.net/2019/04/30/metal%C2%B3-metal-kubed-bare-metal-provisioning-for-kubernetes/
This process takes some time. Under the hood, the baremetal-operator is driving Ironic through a provisioning process. This begins with wiping disks to ensure the host comes up in a clean state. It will eventually write the desired OS image to disk and then reboot into that OS. When complete, a new Kubernetes Node will register with the cluster.Ну вот опять зачем так сложно?
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
Почему бы просто не грузить сразу в RAM?
Alex
кажись реально на месяц сгенерировал
аргх, действительно на месяц каким-то образом сгенерировал >_<
Alex
ещё один
спасибо! 😄
Vadim
Почему бы просто не грузить сразу в RAM?
а если ребутнется в процессе?
Andor
Andor
насколько я помню, он за собой тянет половину опенстека
𝚔𝚟𝚊𝚙𝚜
Vadim
насколько я помню, он за собой тянет половину опенстека
нет, его можно отучить от других компонентов
Andor
"можно отучить" звучит так себе
𝚔𝚟𝚊𝚙𝚜
а если ребутнется в процессе?
стейт нам не нужен, даже на нодах
Sergey
Vadim
стейт нам не нужен, даже на нодах
А вы юзаете какой-нибудь ipmi/redfish и прочее?
Andor
у квапса в статье было упоминание ltsp
𝚔𝚟𝚊𝚙𝚜
А вы юзаете какой-нибудь ipmi/redfish и прочее?
kube-fencing единственное что его использует
𝚔𝚟𝚊𝚙𝚜
А, ну еще плейбук, который собирает MAC-адреса и добавляет их в DHCP при начальной конфигурации
𝚔𝚟𝚊𝚙𝚜
и то даже не IPMI а простой ssh на общий ILO-интерфес шасси
Andor
ironic сложнее
𝚔𝚟𝚊𝚙𝚜
ну я не знаю что сложнее тогда :/
Что сложнее ironic или dhcp? :D
Vadim
Что сложнее ironic или dhcp? :D
один контейнер с ironic + sqlite (хз зачем он ему нужен) vs. плейбук + dhcp + настройка ltsp
𝚔𝚟𝚊𝚙𝚜
ну ок, а если так: один контейнер с dhcp и один контейнер с coreos?
Vadim
dhcp + ltsp всё ещё проще чем ironic
кстати, а бросившим куб дают жетоны за дни клаудтрезвости?
Andor
ironic без опенстека и всей его обвязки не нужен
Alex
кстати, у меня тут была трабла с openebs – после совместного дебага на кластере разрабы нашли проблему и сейчас готовят фикс, так что уровень поддержки приятно порадовал. 🙂
Andor
а если он без этой обвязки, то dhcp проще
𝚔𝚟𝚊𝚙𝚜
Andor
и образ для наливки тоже не из воздуха берётся
Vadim
Кстати для ironic я так понимаю dhcp все равно нужен)
dhcp конфиг-то менять не надо - какой адрес получил тот и его, к макам привязывать не нужно
𝚔𝚟𝚊𝚙𝚜
кстати, если кто соберется попробовать https://godarch.com/ отпишитесь пожалуйста - очень интересно
𝚔𝚟𝚊𝚙𝚜
а впрочем чейто я, пойду и сам попробую
𝚔𝚟𝚊𝚙𝚜
блин, звучит интересно, но хз для чего можно применить 🙂
A utility to that uses containerd to build stateless operating system images that can be booted bare-metalв качестве замены ltsp
Alex
A utility to that uses containerd to build stateless operating system images that can be booted bare-metalв качестве замены ltsp
ну я к тому, что в моей текущей области деятельности нет таких кейсов применения =/
Alex
но вообще идея крутая
Andrew
Можешь и цеф завести или где-нибудь NFS сервер сделать
Извиняюсь за вопрос слегка в стороне - а какие обычно используют варианты отказоустойчивого NFS? DRBD+pacemeker/corosync стек или аппаратная полка с NFS? Или что-то комбинированное?
Andrew
NFS планируется в качестве основного хранилища или в качестве дополнительного?
Видимо в качестве дополнительного - будут храниться данные приложений, которые будут крутиться в кластере
Andrew
А что рекомендуется использовать?
Stas
А что рекомендуется использовать?
а это зависит от того что за данные и что приложения с ними делают
Andrew
а это зависит от того что за данные и что приложения с ними делают
Файлы - данные океанологических моделей, приложения их обсчитывают, соотношения чтение/запись скажем 10 к 1. Плюс там же в кластере живет REST API, раздающий доступ у тем же данным
Andrew
я бы в s3 положил
Хочется что-то на своих мощностях по разным соображениям
Stas
поднимите с3
Andrew
поднимите с3
Понял, спасибо, подумаю. Насколько локальное S3 хранилище production-ready?
Stas
в той степене на сколько продакшн реди то хранилище на которое вы это натягивать будете
Stas
Хорошо сказал)
ты еще не надумал с небулы слезать?
Stas
В этом кейсе цеф должен хорошо зайти
мне чет кажется там и минио справится
Andrew
в той степене на сколько продакшн реди то хранилище на которое вы это натягивать будете
Ну, сейчас это DRBD + pacemaker/corosync и на нем NFS-сервер, оно в продакшене уже больше года. В целом меня это устраивает, но думаю про альтернативы.
𝚔𝚟𝚊𝚙𝚜
ты еще не надумал с небулы слезать?
Не, я ток линстор драйвер для нее запилил :)
𝚔𝚟𝚊𝚙𝚜
мне чет кажется там и минио справится
Человек хочет fault-tolerant решение, насколько я помню у minio с этим проблемы
𝚔𝚟𝚊𝚙𝚜
Хотя его с тем же успехом и поверх drbd запускать можно, зато быстро будет
𝚔𝚟𝚊𝚙𝚜
Быстрее чем цеф
Stas
Человек хочет fault-tolerant решение, насколько я помню у minio с этим проблемы
я говорю про способ доступа из кластера к данным - с3 лучше чем монтировать шары. Про фолт толерант я считаю что это задача блочного устройства
𝚔𝚟𝚊𝚙𝚜
Хотя это опять же от типа данных зависит, с чем удобнее работать то и берите
Stas
мне кажется консистентность в моделях важнее скорости чтения
Stas
считаетсч то в памяти а флашится результат
𝚔𝚟𝚊𝚙𝚜
Andrew
мне кажется консистентность в моделях важнее скорости чтения
В целом у нас скорость чтения важна, потому что читается и пишется очень много данных за цикл. Про minio посмотрю, есть планы постепенно мигрировать на объектные хранилища
𝚔𝚟𝚊𝚙𝚜
Но соглашусь, что S3 действительно удобно что маунтить никуда не надо, и что либы есть под любой случай
Andrew
мне чет кажется там и минио справится
а в minio несколько server-нод могут шарить один блочный сторадж?
Andrew
Нет, только общую фс
тогда получается что задача сводится к предыдущей 😊
Stas
а в minio несколько server-нод могут шарить один блочный сторадж?
этл равносильно тому что ваше блочное устройство поддерживает multiple write
𝚔𝚟𝚊𝚙𝚜
У ЦЕРН похожая задачка, они с ceph довольны очень
𝚔𝚟𝚊𝚙𝚜
Ceph на чтение действительно не плох, но вот на запись...
Stas
ну, то бишь либо NFS либо кластерная fs нужны
minio сам по себе умеет в кластер с erasure coding