ShadoWalkeR
Я лучше прпоксмокс буду двигать вместо виртуоззо)
ShadoWalkeR
Так мне же страдать с ним)
Gleb
Лучше с овиртом пострадай
ShadoWalkeR
Боли и страданий больше?)))
Kanat
То есть гластер не для прода хотите сказать?
Denis
То есть гластер не для прода хотите сказать?
Вообще если гластер юзать через fuse-driver, то скорость дисковой подсистемы причиняет как раз страдание и боль. Как то тестил уже, но не в кубере.
Gleb
То есть гластер не для прода хотите сказать?
Пойди в гугл и посмотри как у людей болит на продакшен нагрузках
Gleb
В одном профильном чате некий собирающийся в SDS юзер попросил рассказать грустных историй про RedHat'овский GlusterFS.
Поскольку относительно недавно мы такое втащили на прод (v3.12), накопилось следующее:
* Не может в 4KN диски, т.к. там индусокод под капотом. Переписка с саппортом про 4kn показала, что им пофиг на платного кастомера и баг чинить никто не будет. С этого момента компания отказалась от платной подписки на RH. Из-за 4kn прикола встряли на замену 39 дисков.
* На RHEL7 под systemd демоны его падают каждые несколько часов, в логах sigterm (15), как будто systemd сам их мочит. В какой-то момент окно авторестарта демона совпало на чуть больше, чем половине машин, и кворум кластера был утрачен. Весь продакшен умер, потом вручную в RHV перезапускали все VM.
* OOM у glusterfsd - родовая болезнь. Оно у него всегда было есть и будет. По этой причине на гластер ставятся жирные по памяти машины без дополнительной нагрузки и задач. Делать HCI на нем - это самый короткий путь в OOM hell.
* Из не смертельного, но раздражающего:
- Туда нельзя положить файл размером больше брика, если брики одинакового размера
- Добровольно-принудительное использование XFS
- Проблемы с некоторыми сетевухами Dell из-за которых после нескольких дней uptime скорость GlusterFS деградирует до 10 раз (к счастью, излечимо)
Нужно ли такое в продакшене? Нет.
Gleb
Вот тебе ближайший пример
Gleb
А это еще и платная версия, а не то поделие что опенсорснуто
Lex
привет, а есть возможность в рамках пода директорию одного контейнера пробросить во второй контейнер?
Vadim
>в логах sigterm (15), как будто systemd сам их мочит.
лол
Kanat
Остаётся ceph?
Kanat
Из открытого?
Andor
https://github.com/reverbrain/elliptics это считается открытым?
Andor
а, или в контексте кубера?
bebebe
4 месяца назад это было боль
engelbart
нормальный мужской персик
bebebe
@korjavin \o/
engelbart
здраствуйте
bebebe
я тут решил дома собрать k8s из говна и палок
поставил maas и запровижинил 3 ноды на baremetal
и kubespray развернул k8s
engelbart
а я умираю с gitlab интеграцией
bebebe
bebebe
bebebe
engelbart
я очевидно её не понимаю от слова совсем
bebebe
немного картинок
Aleksei
такой если честно персик, вы его ставили?
Буквально вчера он встал за 10 секунд одной командой
Ну естественно с правильно описанной топологией и модулями ядра
bebebe
Буквально вчера он встал за 10 секунд одной командой
Ну естественно с правильно описанной топологией и модулями ядра
у меня были большие проблемы найти са дистрибутив heketi который бы нормально работал
bebebe
я вот думаю сейчас ceph накатить
Kanat
я тут решил дома собрать k8s из говна и палок
поставил maas и запровижинил 3 ноды на baremetal
и kubespray развернул k8s
Я тоже но говорят рэнчер рулит по сравнению
Aleksei
я вот думаю сейчас ceph накатить
А у меня с цефом ничего не вышло(
Бился неделю
Его реализация для k8s сырая, а отдельный кластер требует слишком много ресурсов и возни.
bebebe
А у меня с цефом ничего не вышло(
Бился неделю
Его реализация для k8s сырая, а отдельный кластер требует слишком много ресурсов и возни.
хм я слышал что сейчас ceph просто в k8s заворачивается
bebebe
А у меня с цефом ничего не вышло(
Бился неделю
Его реализация для k8s сырая, а отдельный кластер требует слишком много ресурсов и возни.
а у вас от heketi осталась документация или автоматизация?
bebebe
я бы посмотрел
Aleksei
а у вас от heketi осталась документация или автоматизация?
Очень хорошая статья есть на devoos ru
Ищется в Гугл по heketi kubernetes
Anton
я видел упоминание цефа в кубспрейных файлах, видимо, можно сразу из коробки и кластер и цеф раскатать
Dmytro
Народ подскажите плиз. в
type: LoadBalancer
ports:
- port: 80
targetPort: 8080
protocol: TCP
как targetPort взять из config
что то вроде
valueFrom:
configMapKeyRef:
key: "key"
name: "my-config"
возможно? какой там синтаксис
Так нельзя но можно ссылаться на порт по имени, те targetPort: http в какой это там будет номер порта уже в описании деплоймента пишется
Dmytro
привет, а есть возможность в рамках пода директорию одного контейнера пробросить во второй контейнер?
Сделать вольюм emptyDir или hostPath и замаунтить в оба контейнера
Lex
Сделать вольюм emptyDir или hostPath и замаунтить в оба контейнера
Мне нужно файлы из одного контейнера в другом :(
engelbart
Так нельзя но можно ссылаться на порт по имени, те targetPort: http в какой это там будет номер порта уже в описании деплоймента пишется
Нет примера под рукой? А туда я смотрю через config?
моя задача порты из конфига передавать
Dmytro
Мне нужно файлы из одного контейнера в другом :(
Боюсь что так нельзя, тут скорее всего придётся сделать инит контейнер (можно с тем же image что и основной контейнер), в нем сделать cp -r в вольюм emptyDir и вольюм из него в оба контейнера подключить
Dmytro
Нет примера под рукой? А туда я смотрю через config?
моя задача порты из конфига передавать
Через конфиг не выйдет боюсь, нужно юзать helm или аналогичное что-то для генерации деплоймента из тех мплейта. Пример порта с именем: https://stackoverflow.com/questions/45466423/how-could-targetport-be-set-with-string-value-in-kubernetes
engelbart
Oleg
Не слушайте никого, не пихайте персист в контейнеры.
Oleg
Цеф - это хорошо, но блин...
Andrei
Так, а чем openebs плох?
Andrei
Он то как раз с полпинка прикручивается
Й
С каими трудностями столкнулись в процессе эксплуатации, а то слишком уж все красиво
Andrei
пока нет, гонял только на деве
Andrei
Но, кто-то тут в чате не так давно его упомянул и он взлетел сразу
Andrei
Через месяц смогу сказать точно) Пока в планах после праздников запихнуть его и нужный мне софт в кластер и пошатать как следует
Й
та и у меня на дэв окружении взлетел))
Спасибо вам за то что направили в нужном направлении)
Andrei
А кто-нибудь это юзал?
https://github.com/kubermatic/machine-controller
bebebe
bebebe
раздеплоил 1.9.5 на baremetal через kubespray
добавил ceph как storage class
добавил google/metalb load balancer L2
все заработало из коробки
bebebe
baremetal из говна и палок домашний edition
bebebe
я пробовал его поставить 4 месяца назад. он у меня взлетел с болью, но взлетел
ceph намного приятнее, буквально один helm чарт с парой измененных параметров
https://rook.io/
Kanat
Kanat
Что можете про ранчер сказать?
bebebe
Что можете про ранчер сказать?
ни разу его не пользовал, но я так понял что девочки от него кайфуют
Kanat
Девочки? :)
Andor
Про сеф тоже говорят, что просто и понятно, а на деле не очень
bebebe
ну я с ним знаком на уровне gdb немного
cent
Что можете про ранчер сказать?
Ну, удобно подергать rancher-compose, который такой же как и docker-compose. И не важно какой оркестратор под капотом cattle или кубер ( который ставится как плагин, или уже вроде в коробке ).
И как правило, в конечном итоге его выпиливают и отсавляют просто кубер, когда вся инфраструктура опишется в чартах.
Anton
раздеплоил 1.9.5 на baremetal через kubespray
добавил ceph как storage class
добавил google/metalb load balancer L2
все заработало из коробки
👍 а есть в гитхабе результат работы? :)
bebebe
👍 а есть в гитхабе результат работы? :)
я пока не представляю какие артефакты можно заделиверить
provision = https://maas.io/ поднял его при помощи https://galaxy.ansible.com/mrlesmithjr/maas/
деплой k8s + calico = https://github.com/kubernetes-incubator/kubespray
storageclass ceph = ставил helm чарт от rook. https://rook.io/
google/metalb loadbalancer L2 = ставил хелм чартом
https://metallb.universe.tf/installation/ + на openwrt настроил dhcp
без подводных камней
Anton
вот этот пост уже сам по себе артефакт, спасибо
Anton
тянет на статью
bebebe
на все ушло 4 часа
Anton
я сначала подумал, что цеф тоже кубспреем
bebebe
