что лучше (проще) взять для персистентности на bare metal, gluster или ceph? особенно, если в первый раз.

Человек хочет лишиться persistent-девсвенности. И просит помочь выбрать между двумя стульями?

можно и между тремя

Ну из опенсорса у тебя выбор между двумя

Читай доки по цефу чё

почему именно по цефу? выше гластер советуют

у меня кластер в ibm/softlayer, кстати, может быть у них что-то готовое есть?

Кстати, @Anc1ent мне тут вместо опенвз посоветовали овирт?

Кстати, @Anc1ent мне тут вместо опенвз посоветовали овирт?

Ну он более менее годный

почему именно по цефу? выше гластер советуют

Потому что у гластера даже с комерческой поддержкой проблем миллион и их не чинят. Редхат явно болт положил. А если ты еще и из двух нод решишь сделать то вообше говна наешься

Ну он более менее годный

Он уже вышел из стадии "Для бэкапов у нас есть апи. Для миграции у нас есть апи. Вообще для всего нужного вам функционала у нас есть апи!"?))))

Он уже вышел из стадии "Для бэкапов у нас есть апи. Для миграции у нас есть апи. Вообще для всего нужного вам функционала у нас есть апи!"?))))

Да, если купить rhev

??

И софт для бекапирования

Россия и Купить в одном предложении

Я лучше прпоксмокс буду двигать вместо виртуоззо)

Я лучше прпоксмокс буду двигать вместо виртуоззо)

Только не это

Так мне же страдать с ним)

Лучше с овиртом пострадай

Боли и страданий больше?)))

То есть гластер не для прода хотите сказать?

То есть гластер не для прода хотите сказать?

Вообще если гластер юзать через fuse-driver, то скорость дисковой подсистемы причиняет как раз страдание и боль. Как то тестил уже, но не в кубере.

То есть гластер не для прода хотите сказать?

Пойди в гугл и посмотри как у людей болит на продакшен нагрузках

В одном профильном чате некий собирающийся в SDS юзер попросил рассказать грустных историй про RedHat'овский GlusterFS. Поскольку относительно недавно мы такое втащили на прод (v3.12), накопилось следующее: * Не может в 4KN диски, т.к. там индусокод под капотом. Переписка с саппортом про 4kn показала, что им пофиг на платного кастомера и баг чинить никто не будет. С этого момента компания отказалась от платной подписки на RH. Из-за 4kn прикола встряли на замену 39 дисков. * На RHEL7 под systemd демоны его падают каждые несколько часов, в логах sigterm (15), как будто systemd сам их мочит. В какой-то момент окно авторестарта демона совпало на чуть больше, чем половине машин, и кворум кластера был утрачен. Весь продакшен умер, потом вручную в RHV перезапускали все VM. * OOM у glusterfsd - родовая болезнь. Оно у него всегда было есть и будет. По этой причине на гластер ставятся жирные по памяти машины без дополнительной нагрузки и задач. Делать HCI на нем - это самый короткий путь в OOM hell. * Из не смертельного, но раздражающего: - Туда нельзя положить файл размером больше брика, если брики одинакового размера - Добровольно-принудительное использование XFS - Проблемы с некоторыми сетевухами Dell из-за которых после нескольких дней uptime скорость GlusterFS деградирует до 10 раз (к счастью, излечимо) Нужно ли такое в продакшене? Нет.

Вот тебе ближайший пример

А это еще и платная версия, а не то поделие что опенсорснуто

привет, а есть возможность в рамках пода директорию одного контейнера пробросить во второй контейнер?

>в логах sigterm (15), как будто systemd сам их мочит. лол

В одном профильном чате некий собирающийся в SDS юзер попросил рассказать грустных историй про RedHat'овский GlusterFS. Поскольку относительно недавно мы такое втащили на прод (v3.12), накопилось следующее: * Не может в 4KN диски, т.к. там индусокод под капотом. Переписка с саппортом про 4kn показала, что им пофиг на платного кастомера и баг чинить никто не будет. С этого момента компания отказалась от платной подписки на RH. Из-за 4kn прикола встряли на замену 39 дисков. * На RHEL7 под systemd демоны его падают каждые несколько часов, в логах sigterm (15), как будто systemd сам их мочит. В какой-то момент окно авторестарта демона совпало на чуть больше, чем половине машин, и кворум кластера был утрачен. Весь продакшен умер, потом вручную в RHV перезапускали все VM. * OOM у glusterfsd - родовая болезнь. Оно у него всегда было есть и будет. По этой причине на гластер ставятся жирные по памяти машины без дополнительной нагрузки и задач. Делать HCI на нем - это самый короткий путь в OOM hell. * Из не смертельного, но раздражающего: - Туда нельзя положить файл размером больше брика, если брики одинакового размера - Добровольно-принудительное использование XFS - Проблемы с некоторыми сетевухами Dell из-за которых после нескольких дней uptime скорость GlusterFS деградирует до 10 раз (к счастью, излечимо) Нужно ли такое в продакшене? Нет.

Спасибо. Тоже было интересно прочитать. Лишний раз удостоверился в своих размышлениях

Остаётся ceph?

Из открытого?

https://github.com/reverbrain/elliptics это считается открытым?

а, или в контексте кубера?

Heketi персик же

такой если честно персик, вы его ставили?

4 месяца назад это было боль

нормальный мужской персик

@korjavin \o/

здраствуйте

я тут решил дома собрать k8s из говна и палок поставил maas и запровижинил 3 ноды на baremetal и kubespray развернул k8s

а я умираю с gitlab интеграцией

я очевидно её не понимаю от слова совсем

немного картинок

такой если честно персик, вы его ставили?

Буквально вчера он встал за 10 секунд одной командой Ну естественно с правильно описанной топологией и модулями ядра

Буквально вчера он встал за 10 секунд одной командой Ну естественно с правильно описанной топологией и модулями ядра

у меня были большие проблемы найти са дистрибутив heketi который бы нормально работал

я вот думаю сейчас ceph накатить

я тут решил дома собрать k8s из говна и палок поставил maas и запровижинил 3 ноды на baremetal и kubespray развернул k8s

Я тоже но говорят рэнчер рулит по сравнению

я вот думаю сейчас ceph накатить

А у меня с цефом ничего не вышло( Бился неделю Его реализация для k8s сырая, а отдельный кластер требует слишком много ресурсов и возни.

А у меня с цефом ничего не вышло( Бился неделю Его реализация для k8s сырая, а отдельный кластер требует слишком много ресурсов и возни.

хм я слышал что сейчас ceph просто в k8s заворачивается

А у меня с цефом ничего не вышло( Бился неделю Его реализация для k8s сырая, а отдельный кластер требует слишком много ресурсов и возни.

а у вас от heketi осталась документация или автоматизация?

я бы посмотрел

а у вас от heketi осталась документация или автоматизация?

Очень хорошая статья есть на devoos ru Ищется в Гугл по heketi kubernetes

я бы посмотрел

Не могу с телефона скинуть (

Не могу с телефона скинуть (

спасибо, я нагуглю нужное

я видел упоминание цефа в кубспрейных файлах, видимо, можно сразу из коробки и кластер и цеф раскатать

Народ подскажите плиз. в type: LoadBalancer ports: - port: 80 targetPort: 8080 protocol: TCP как targetPort взять из config что то вроде valueFrom: configMapKeyRef: key: "key" name: "my-config" возможно? какой там синтаксис

Так нельзя но можно ссылаться на порт по имени, те targetPort: http в какой это там будет номер порта уже в описании деплоймента пишется

привет, а есть возможность в рамках пода директорию одного контейнера пробросить во второй контейнер?

Сделать вольюм emptyDir или hostPath и замаунтить в оба контейнера

Сделать вольюм emptyDir или hostPath и замаунтить в оба контейнера

Мне нужно файлы из одного контейнера в другом :(

Так нельзя но можно ссылаться на порт по имени, те targetPort: http в какой это там будет номер порта уже в описании деплоймента пишется

Нет примера под рукой? А туда я смотрю через config? моя задача порты из конфига передавать

Мне нужно файлы из одного контейнера в другом :(

Боюсь что так нельзя, тут скорее всего придётся сделать инит контейнер (можно с тем же image что и основной контейнер), в нем сделать cp -r в вольюм emptyDir и вольюм из него в оба контейнера подключить

Нет примера под рукой? А туда я смотрю через config? моя задача порты из конфига передавать

Через конфиг не выйдет боюсь, нужно юзать helm или аналогичное что-то для генерации деплоймента из тех мплейта. Пример порта с именем: https://stackoverflow.com/questions/45466423/how-could-targetport-be-set-with-string-value-in-kubernetes

Через конфиг не выйдет боюсь, нужно юзать helm или аналогичное что-то для генерации деплоймента из тех мплейта. Пример порта с именем: https://stackoverflow.com/questions/45466423/how-could-targetport-be-set-with-string-value-in-kubernetes

Огромное спасибо

Не слушайте никого, не пихайте персист в контейнеры.

Цеф - это хорошо, но блин...

Так, а чем openebs плох?

Он то как раз с полпинка прикручивается

Так, а чем openebs плох?

А можете пару негативных моментов привести ?

С каими трудностями столкнулись в процессе эксплуатации, а то слишком уж все красиво

пока нет, гонял только на деве

Но, кто-то тут в чате не так давно его упомянул и он взлетел сразу

Через месяц смогу сказать точно) Пока в планах после праздников запихнуть его и нужный мне софт в кластер и пошатать как следует

та и у меня на дэв окружении взлетел)) Спасибо вам за то что направили в нужном направлении)

А кто-нибудь это юзал? https://github.com/kubermatic/machine-controller

раздеплоил 1.9.5 на baremetal через kubespray добавил ceph как storage class добавил google/metalb load balancer L2 все заработало из коробки

baremetal из говна и палок домашний edition

baremetal из говна и палок домашний edition

А гластер пробовали?

я пробовал его поставить 4 месяца назад. он у меня взлетел с болью, но взлетел ceph намного приятнее, буквально один helm чарт с парой измененных параметров https://rook.io/

я пробовал его поставить 4 месяца назад. он у меня взлетел с болью, но взлетел ceph намного приятнее, буквально один helm чарт с парой измененных параметров https://rook.io/

Направление уловил

Что можете про ранчер сказать?

Что можете про ранчер сказать?

ни разу его не пользовал, но я так понял что девочки от него кайфуют

Девочки? :)

Девочки? :)

говорят что там все просто и понятно

Про сеф тоже говорят, что просто и понятно, а на деле не очень

ну я с ним знаком на уровне gdb немного

Что можете про ранчер сказать?

Ну, удобно подергать rancher-compose, который такой же как и docker-compose. И не важно какой оркестратор под капотом cattle или кубер ( который ставится как плагин, или уже вроде в коробке ). И как правило, в конечном итоге его выпиливают и отсавляют просто кубер, когда вся инфраструктура опишется в чартах.

раздеплоил 1.9.5 на baremetal через kubespray добавил ceph как storage class добавил google/metalb load balancer L2 все заработало из коробки

? а есть в гитхабе результат работы? :)

? а есть в гитхабе результат работы? :)

я пока не представляю какие артефакты можно заделиверить provision = https://maas.io/ поднял его при помощи https://galaxy.ansible.com/mrlesmithjr/maas/ деплой k8s + calico = https://github.com/kubernetes-incubator/kubespray storageclass ceph = ставил helm чарт от rook. https://rook.io/ google/metalb loadbalancer L2 = ставил хелм чартом https://metallb.universe.tf/installation/ + на openwrt настроил dhcp без подводных камней

вот этот пост уже сам по себе артефакт, спасибо

тянет на статью