а что за проект, если не секрет?

Lua для проверки здоровья бекендов и выставления веса для ipvs

часть работает тут flamp.ru

остальное секрет)

пробовали прямо с фронтенда по офсету писать в rbd (lua) без радосгв. тоже работает но возни много

пробовали прямо с фронтенда по офсету писать в rbd (lua) без радосгв. тоже работает но возни много

а зачем в rbd, кстати? :) если объекты не очень большие, то можно сразу в rados, там тоже есть сдвиги по оффсету.

а так посоны кодят сразу и в амазон можно идти если все совсем упало

и работает быстрее по задержке немножко

радосгв не очень хорошо работал, году в 2012

правда, это всё же для извращенцев немного

радосгв не очень хорошо работал, году в 2012

не в радосгв, а в радос через librados

там file-like api

http://docs.ceph.com/docs/master/rados/api/python/

возня ненужная. можно но зачем)

возня ненужная. можно но зачем)

если вам дороги микросекунды и лень делать другое решение - то rados over ssd вполне шустёр.

хотя aerospike быстрее

всё равно все в итоге в другом месте упирается. в бекенд, например. или в сеть

всё равно все в итоге в другом месте упирается. в бекенд, например. или в сеть

от приложения зависит.

нету пока пока доклада по bluestore с конфы линукс питер(

Господа, а нет ли простого способа развернуть Ceph в качестве бекенда к PV в самом Kubernetes?

Т.е. что-то вроде этого: https://github.com/ceph/ceph-docker/tree/master/examples/kubernetes но без "WARNING: This example does not survive Kubernetes cluster restart! The Monitors need persistent storage. This is not covered here."

пока извращенцев не было)

однако всё равно остается вопрос, а что же у тебя будет под ногами в качестве дисков?

А чем диски на хостах плохи для хранения? Или ты не про это?

я про то, что я слабо себе представляю как работает сущность OSD в докере

отдавать ей диск целиком в этот докер? а зачем тогда докер?)

и тут до меня дошло, что можно не отдавать весь диск, а отдать папку, тогда можно ограничить объем и получить отказоустойчивость)

Господа, а нет ли простого способа развернуть Ceph в качестве бекенда к PV в самом Kubernetes?

внутри самого куба? А зачем?

в общем-то можно, через маппинг

Я пытаюсь развернуть Kubernetes в Azure, и есть подозрение, что использовать ажуровские диски для персистентных данных как PV не получится. Для PV остаётся Azure File (который SMB) либо что-то кастомное (Ceph?). Сомневаюсь, что на SMB можно держать хоть какую базу данных.

Я хочу решение для PV, которое позволит перекидывать их между нодами в случае чего. По идее Ceph RBD + ext4, монтируемый эксклюзивно, это то, что может мне подойти.

Собственно, я бы попробовал Ceph, но я с ним никогда не работал, и как-то неохота потратить пару недель чтобы разобраться как его деплоить и поддерживать.

Kubernetes supports several types of Volumes: ... azureDisk

это не то что требуется?

Ага, это оно, но есть ряд ньюансов

Например на небольших виртуалках количетсво дисков, которые можно так подключить сильно ограничено —- всего 2 диска, на минимальной приличной виртуалке (1 ядро, 3.5 ГБ RAM)

Плюс судя по отзывам, azureDisk просто не работает: http://dev.haufe.com/state-of-kubernetes-on-azure/

Я хочу решение для PV, которое позволит перекидывать их между нодами в случае чего. По идее Ceph RBD + ext4, монтируемый эксклюзивно, это то, что может мне подойти.

тогда вам нужен другой вариант - покупаете себе отдельно машины под ceph, а из куба подключаетесь к ним

можно цеф в том же ажуре завести

тогда вам нужен другой вариант - покупаете себе отдельно машины под ceph, а из куба подключаетесь к ним

Чтобы иметь для Ceph свою быструю сеть/выделенные ресурсы CPU/RAM?

А без Kubernetes насколько реально не вникая в детали Ceph развернуть его на отдельных машинах, скажем, с убунтой/дебианом?

Я понимаю, что для продакшена с Ceph скорее всего нужна отдельная команда девопсов под него, но на потыкать/примерить, мне бы подошел вариант а-ля apt-get install <ceph> и пошаговой конфигурацией. Можно это как-то без особого геморроя сделать?

Для ceph у нас теперь отдельный канал)

@ceph_ru

@Sn00p мы таки сделали отдельный канал

👍

👍

Будем рады видеть всех любителей ceph

А без Kubernetes насколько реально не вникая в детали Ceph развернуть его на отдельных машинах, скажем, с убунтой/дебианом?

вполне реально, я разворачивал. Тут @SinTeZoiD грозился выложить подробный ман.

вполне реально, я разворачивал. Тут @SinTeZoiD грозился выложить подробный ман.

Ну там общие рекомендации. Будут для тех, кто уже поставил

Но ман похоже надо

Тоже

@rutsky по поводу персистент дисков в азуре вот issue https://github.com/Azure/acs-engine/issues/258 то есть рекомендуют до версии 1.5.3 обновиться руками. как раз собираюсь попробовать

@rutsky по поводу персистент дисков в азуре вот issue https://github.com/Azure/acs-engine/issues/258 то есть рекомендуют до версии 1.5.3 обновиться руками. как раз собираюсь попробовать

Спасибо, полезная информация

@rutsky по поводу персистент дисков в азуре вот issue https://github.com/Azure/acs-engine/issues/258 то есть рекомендуют до версии 1.5.3 обновиться руками. как раз собираюсь попробовать

А вы как деплоете Kunernetes в Azure? Используя ACS-Engine?

Я сейчас пользуюсь https://github.com/kubernetes-incubator/kargo один из разработчиков недавно в этом чате писал про него

Интересная голосовала) https://twitter.com/asynchio/status/837395139333140480

Как проще всего развернуть k8s на DO?

Может быть лучше azure?

Что посоветуете?

Спасибо

Может быть лучше azure?

В прод или на поиграться?

Я пытаюсь сообразить Azure и там есть ряд ньюансов, вроде (пока) не работающих PV.

Может быть лучше azure?

http://dev.haufe.com/state-of-kubernetes-on-azure/

На DO я развернул игрушечный кластер с помощью kubeadm и он работает норм (а еще дешевле azure в 10 раз :)

В прод или на поиграться?

В итоге в прод, но сейчас этап поиграться

На DO я развернул игрушечный кластер с помощью kubeadm и он работает норм (а еще дешевле azure в 10 раз :)

Спасибо 🙂попробую этот инструмент

а на чем лучше построить прайват инфраструктуру? та же rancherOS норм?

а на чем лучше построить прайват инфраструктуру? та же rancherOS норм?

Лучше на том, чем умеете пользоваться. Решать вопросы эксплуатации будет проще.

а на чем лучше построить прайват инфраструктуру? та же rancherOS норм?

я бы не стал

я взял убунту LTS

можно ещё на ДО попробовать с кореос развернуть, если прод на кореос - это ок для вас

прод на кореос - дерзко, стильно, молодёжно!

У кого большие кластера в проде?

у меня под 50 подов

это большой?

На кореос тектоник, например, свое решение держит. Суть в том, что кореосовцы уделяют внимание ядру и поддержке в нем докера, минимизируя феилы всего кластера при приезде проблемного ядра.

у меня под 50 подов

А нод сколько?

5 основных, 2 под парами

это ещё не совсем прод

пока не пойму, как это апгрейдить без проблем. я имею в виду сам кубернетес