У меня с пол года крутился ceph для кубера, я для его развертывания сам плейбук запиливал. Чего смешного?

Разворачивай рук, а мы потом все поржём

странно что ты не поржал с "До этого много лет glusterfs использовал без проблем"

бывает же такое)

такой вопрос - у меня сейчас руками на redis сделано распределение задач по воркерам - у каждого физического сервера своя очередь, серверы в разных дц. Задачи типовые - загрузка файла, обработка ffmpeg, выгрузка на сервер telegram, возвращение DP. Вопрос собственно: есть ли смысл заморачиваться с NFS? Файлы после загрузки уже особо не актуальны становятся, так что нужды хранить нет их особо долго. Канал 1 гбит, запись/чтение на один сервер 1.6гбит, на другой 8гбит.(HDD RAID0/SSD RAID0)

Вроде как с точки зрения программирования удобнее получается, но сколько потеряю в производительности не совсем понятно

Ну и дальше дедики на SSD буду добирать в RAID0

Кто использует ceph для кластера? Подскажите как разворачивали, из пакетов, в контейнерах или в кубере?

сегодня собрал ceph-rbd по оф.документации и частично по этой статье https://habr.com/post/348688/. но там автор собирает свой докер-образ для куб-контроллера (запихивает туда rbd), и я хз нормально ли это))

сегодня собрал ceph-rbd по оф.документации и частично по этой статье https://habr.com/post/348688/. но там автор собирает свой докер-образ для куб-контроллера (запихивает туда rbd), и я хз нормально ли это))

в гиперкубе же по дефолту есть

ceph version 10.2.5 (c461ee19ecbc0c5c330aca20f7392c9a00730367) в 1.11.2

Кто использует ceph для кластера? Подскажите как разворачивали, из пакетов, в контейнерах или в кубере?

У сефа штатный деплоймент. Но начать нужно с другой стороны: мониторинга и понимания что будете делать в случае факапа, сколько бабла на железо и поддержку. Из коробки, разумеется, ставится, но фикция же без углубленного понимания

У сефа штатный деплоймент. Но начать нужно с другой стороны: мониторинга и понимания что будете делать в случае факапа, сколько бабла на железо и поддержку. Из коробки, разумеется, ставится, но фикция же без углубленного понимания

Это понятно, меня больше интерисуюет насколько это факап более вероятен в случае запуска в кубере, а не настройки из пакетов?

Это понятно, меня больше интерисуюет насколько это факап более вероятен в случае запуска в кубере, а не настройки из пакетов?

Что значит в кубере? В смысле в поде запускать процессы сефа?

Что значит в кубере? В смысле в поде запускать процессы сефа?

Ну да, типа как в этом проекте Rook

https://youtu.be/KJk242zLGN8

Ну коммон

У сефа отличные доки))

У сефа отличные доки))

ага. особенно круто то, что нужные самые важные страницы находишь когда все лежит.

ага. особенно круто то, что нужные самые важные страницы находишь когда все лежит.

Я, это, не сварщик, просто сеф ставил, но сувать в под...

Я, это, не сварщик, просто сеф ставил, но сувать в под...

Если большая нагрузка, то конечно доверять что-то докер демону не стоит, а если просто нужна высокая доступнос к папочкам с конфигами, то почему нет?

Если большая нагрузка, то конечно доверять что-то докер демону не стоит, а если просто нужна высокая доступнос к папочкам с конфигами, то почему нет?

Начнем с того, как будете передавать блочное устройство в под

У меня с пол года крутился ceph для кубера, я для его развертывания сам плейбук запиливал. Чего смешного?

С rook

странно что ты не поржал с "До этого много лет glusterfs использовал без проблем"

Упустил

Я не срук, хз))

Просто определитесь, остаться с rook или построить сторадж

Это две большие разницы

Ну т.е. опыта нету, есть мнение?

я интерисовался конкретно опытом в проде такого решения

Мнение такое, если нагрузка маленькая - гуглите ceph volume claim provider

Там нативно все, прослоек не требуется

Мнение такое, если нагрузка маленькая - гуглите ceph volume claim provider

https://t.me/kubernetes_ru/78917

https://t.me/kubernetes_ru/78917

Хочется странного?

Ну полгода ваще не показатель, если сторадж пытаетесь в под впихнуть

Я к тому, что зачем посылать гуглить то с чем уже работал

Я к тому, что зачем посылать гуглить то с чем уже работал

Я тоже хз))

Ну т.е. опыта нету, есть мнение?

есть мнение, основанное на работе с ceph

есть мнение, основанное на работе с ceph

Ну так и рассказывайте прототип архитектуры

да блин, пришёл спросить о том какой у людей есть опыт, скоро в школу меня отправят)

странно что ты не поржал с "До этого много лет glusterfs использовал без проблем"

я вот думал над стикерами с келси и у меня нет идей для слоганов

Ну так и рассказывайте прототип архитектуры

какой? как жить с ceph на кубере?

Угомонитесь, я умею гуглить)

какой? как жить с ceph на кубере?

Во!

Два чая!

Во!

если прям уж адово хочется, то не тащить ceph в куб - однозначно профита никакого, а геморроя будет вагон

я вот думал над стикерами с келси и у меня нет идей для слоганов

"Используйте NoCode", "Надо было ставить Calico", ну всё такое

если прям уж адово хочется, то не тащить ceph в куб - однозначно профита никакого, а геморроя будет вагон

+

самые часто используемые фразы бери

"Используйте NoCode", "Надо было ставить Calico", ну всё такое

че за NoCode?)

че за NoCode?)

https://github.com/kelseyhightower/nocode

+

мы может быть не правильные пчелы, но у нас нет stateful вещей в кубе

мы может быть не правильные пчелы, но у нас нет stateful вещей в кубе

Да я не тот чувак, что вопрошает, я и так и сяк и есть свое мнение

Хочешь сторадж - бери вендора и не еби мозг людям

Хочешь сторадж - бери вендора и не еби мозг людям

Еби вендору)

Если большая нагрузка, то конечно доверять что-то докер демону не стоит, а если просто нужна высокая доступнос к папочкам с конфигами, то почему нет?

как нагрузка влияет на докер контейнеры?

как нагрузка влияет на докер контейнеры?

помойму это уже по 10 кругу идет в этом чатике

с переодичностью раз в месяц/полтора

Еби вендору)

это выйдет весьма недешево

Если у тебя большие обьёмы данных и наних большая нагрузка, то в кубере тяжело переподнимать и синхронизировать данные для таки контейнеров, когда докер демо решит в очередной раз подвиснуть.

как нагрузка влияет на докер контейнеры?

если у тебя сворм – у тебя проблемы)

с переодичностью раз в месяц/полтора

ага, я люблю докапываться до инжиронеров

Если у тебя большие обьёмы данных и наних большая нагрузка, то в кубере тяжело переподнимать и синхронизировать данные для таки контейнеров, когда докер демо решит в очередной раз подвиснуть.

ага, а с запущенными контейнерами-то что будет?

ага, а с запущенными контейнерами-то что будет?

Как минимум, у тебя новые контейнера не поднимаются из-за того что докер висит, что может привести к полной неработоспособности кубера на ноде. А так ничего страшного..

Как минимум, у тебя новые контейнера не поднимаются из-за того что докер висит, что может привести к полной неработоспособности кубера на ноде. А так ничего страшного..

как правило в таких проектах настраивают hpa и Cluster Autoscaler

в каких таких?

в каких таких?

где есть большая нагрузка

где есть большая нагрузка

скорее где скачащая

где есть большая нагрузка

Ну настраивают и что? А ещё дисковые полки рядом ставят.. И ещё много всяких вариантов

Как минимум, у тебя новые контейнера не поднимаются из-за того что докер висит, что может привести к полной неработоспособности кубера на ноде. А так ничего страшного..

так а с теми, что уже бегают, какие проблемы?

так а с теми, что уже бегают, какие проблемы?

Проблема тут одна, тебе нужен работающий докер, и при его рестарте, нужно будет перезапускать всё что у тебя там бегает. И при этом, как я уже писал у тебя больше накладные расходы на перезапуск и синхронизацию данных. Нет, ты конечно можешь оставить всё как есть, контейнер же бегает и забить на одну, практически вылетевшую из кластера ноду. Твоё право.

ничего перезапускать не нужно, сто лет же назад отвязали демон от контейнеров

Проблема тут одна, тебе нужен работающий докер, и при его рестарте, нужно будет перезапускать всё что у тебя там бегает. И при этом, как я уже писал у тебя больше накладные расходы на перезапуск и синхронизацию данных. Нет, ты конечно можешь оставить всё как есть, контейнер же бегает и забить на одну, практически вылетевшую из кластера ноду. Твоё право.

https://docs.docker.com/config/containers/live-restore/ не поможет?

Бывает по разному виснет, контейнер и не убивается и к новому демону не подсасывается

И ещё всякая херня с неразмаунчеными вольюмами

Ну короче ничего конкретного нет

Просто практического опыта у тебя нет, это проходит

!спам

!спам

нужно вводить rfc на правила апишек ботов в каналах

Просто практического опыта у тебя нет, это проходит

ахаха

мне вас жаль (тм)

Гайс, вопрос на засыпку. Есть кубер установленный через kubespray. В нем уже есть несколько деплойментов. При деплое не включили логгирование в elk. Если я сейчас поправлю эту пропертю в и запущу деплой снова, у меня кластер вычистится или только логгирование будет поправлено? Вопрос не по тому как работает ансибл, а чисто по опыту работы с kubespray