Сами же цеф купили. Нухуль не сделать. Квм уже давно умеет.

Можно изучить как сусе работает с цефом - в своё время много интересного прочитал у них

Да. И это бесет

хз, народ вон на гластере делал rhev+gluster больше 6 петабайт хранилище для как доков/музыкальных и видео файлов так и виртуалок

А мне што с того. Я убивал гластер на раз два

Вернее завешивал

ну учитывая, что kvm тоже пилят redhat

А цеф сука не убивается никак. Даже полный перезагруз всех нодов не приводит к смерти виртуалки. Тока повисит чуток пока грузица

то тут уже скорее вопрос в том, что бизнесу там нужно

Вроде синтезоид

я не помню) мог и врать

Можно изучить как сусе работает с цефом - в своё время много интересного прочитал у них

о! надо курсы у них попробовать пройти

о! надо курсы у них попробовать пройти

курсы?

ага

у них есть

по suse enterprise storage

по suse enterprise storage

о!

там есть онлайн а есть у вендоров

пусть нутаникс свои детские болезни сначала вылечат

Очень хотелось бы услышать про детские болезни.

Очень хотелось бы услышать про детские болезни.

представители нутаникса подтянулись?)

Очень хотелось бы услышать про детские болезни.

сидел в чате rhel, там обсуждали, сейчас ссылок не там, в будние дни можно будет спросить,

Понятно. Новостное агентство "ОБС (Одна бабка сказала)".

Понятно. Новостное агентство "ОБС (Одна бабка сказала)".

а это у него всегда так)

Можно изучить как сусе работает с цефом - в своё время много интересного прочитал у них

У них свой ядреный модуль для проброса в iscsi. И свой набор утилит.

У них свой ядреный модуль для проброса в iscsi. И свой набор утилит.

на центосе тоже самое можно реализовать с сксзи таргет тулз

на центосе тоже самое можно реализовать с сксзи таргет тулз

В centos нет этого модуля. Рхел начиная с 7.3 выложил набор утилит для создания iscsi gw active/passive. Сейчас они переделывают эту реализацию на user space lio

А у гластера, увы, сплит брейн на сплит брейне

откуда у гластера сплитбрейн?

откуда у гластера сплитбрейн?

всмысле откуда? -)

В centos нет этого модуля. Рхел начиная с 7.3 выложил набор утилит для создания iscsi gw active/passive. Сейчас они переделывают эту реализацию на user space lio

нет модуля для поддержки rbd устройств для iscsi?

я нихрена не понял. неужели нет софта который одним концом использовал либрбд а воторым прикидывался iscsi-сервером ?

нет модуля для поддержки rbd устройств для iscsi?

составьте мне список этих ваших вопросов, задам их

в понедельник

да у меня вопросов то нет. про то, что сьюз (или сусе, кстати, как правильно произносится? -) ) использует ядерный модуль для исксзи это я знаю. но в центосе можно добавить рбд устройство в качестве сксзи таргета с помощью скзитаргетутилз (scsi-target-utils) - просто их надо с этой поддержкой пересобирать

всмысле откуда? -)

там же нет мастер-сервера.

я нихрена не понял. неужели нет софта который одним концом использовал либрбд а воторым прикидывался iscsi-сервером ?

Есть. Ты сам. Можно просто примонтировать krbd и отдавать как lun. Надо только мониторить появление новых дисков krbd и отдавать их. Но в SuSe написали backend модуль для Lio, через который можно без оверхеда лезть в ceph. Слайды с описанием есть на slideshare

я нихрена не понял. неужели нет софта который одним концом использовал либрбд а воторым прикидывался iscsi-сервером ?

iscsi target в ядре.

Есть. Ты сам. Можно просто примонтировать krbd и отдавать как lun. Надо только мониторить появление новых дисков krbd и отдавать их. Но в SuSe написали backend модуль для Lio, через который можно без оверхеда лезть в ceph. Слайды с описанием есть на slideshare

они сделали tcm_user или же своё?

Редхат пока делает только автоматизацию предоставления krbd в LUN и обеспечивает согласованность работы двух нод через блокировки

Я на мобильном, в ресторане, не смогу поискать

я посмотрел - в tcm_user любой юзерспейс-процесс может быть бэкендом для target

там же нет мастер-сервера.

https://access.redhat.com/documentation/en-US/Red_Hat_Storage/3/html/Administration_Guide/sect-Managing_Split-brain.html

щас понял. но это ж пиздец нелогично имхо. имхо куда логичнее написать по сути демон который чисто в юзерспейсе (меньше зависит от вендорского в т.ч. старого ведра) и не сильно проебет в производительности. очен грубо говоря читаем один сокет и пишем в другой. аля нгинкс.

для члучая когда айскайзи таргет должен хранить данные в цефе в рбд

для члучая когда айскайзи таргет должен хранить данные в цефе в рбд

видимо есть ограничения

и какие

redhat это и военка сша

думаю только мифический перформанс

redhat это и военка сша

и што. это то тут при чём

и што. это то тут при чём

свои ограничения, возможно это создаёт какие либо слишком большие и не отслеживаемые моменты

ты там обдолбался? юзерспейс куда более отслеживаемый. да и вобще. о чём идет речь?

ты там обдолбался? юзерспейс куда более отслеживаемый. да и вобще. о чём идет речь?

redhat оч много что пилит, но почему то очень долго это вводит в прод и даже на тесты

https://www.sebastien-han.fr/blog/2017/01/05/Ceph-RBD-and-iSCSI/

оказывается всё есть

Вроде у RH в Lio backstore умеет только iblock. В SuSe так же и rbd.

redhat оч много что пилит, но почему то очень долго это вводит в прод и даже на тесты

они хуйню нестабильную сувают в стейбл дистр на раз два. а вот то что реально нужное у них пиздец старинное.

давай не начинай срач

оказывается всё есть

Все да не все. Переделывают на user space

именно

Using a userspace component brings numerous benefits like: No kernel code needed Easier to ship the software Focus on your own backend, in our case RBD

как я и сказал. едро не нужно

https://www.kernel.org/doc/Documentation/target/tcmu-design.txt

http://tracker.ceph.com/issues/17489

https://access.redhat.com/documentation/en-US/Red_Hat_Storage/3/html/Administration_Guide/sect-Managing_Split-brain.html

а, они про это. ну да.

а, они про это. ну да.

Ну, честно говоря я не понимал, почему мастер\слейв необходимое условие для сплит брейна =)

а, они про это. ну да.

а что вы имели ввиду ? -)

щас понял. но это ж пиздец нелогично имхо. имхо куда логичнее написать по сути демон который чисто в юзерспейсе (меньше зависит от вендорского в т.ч. старого ведра) и не сильно проебет в производительности. очен грубо говоря читаем один сокет и пишем в другой. аля нгинкс.

там есть нюансы.

да блять. почему никто так не любит говорить конкретику

видимо есть ограничения

свои ограничения, возможно это создаёт какие либо слишком большие и не отслеживаемые моменты

там есть нюансы.

либо нихуя сами не знают, либо шифруются, либо хотят показаться умными, либо пиздец ленивые. других объяснений нет.

Kubernetes already offers support for Ceph RBD based on the krbd kernel client. Unfortunately, due to obvious reasons, krbd can't use the librbd user-space space library that gets most of the development focus. This caused a feature gap when compared to VM-based environments.

ядро не нужно.

https://github.com/kubernetes/kubernetes/issues/32266 — вот тут больше написано почему в ядре оно гавно

https://sourceforge.net/projects/pytarget — даж на питоне написали блять. или я тупой или просто всё это никому в хуй не упёрлось

https://sourceforge.net/projects/pytarget — даж на питоне написали блять. или я тупой или просто всё это никому в хуй не упёрлось

лол

а что вы имели ввиду ? -)

я про неконсистентное состояние во всяких distributed volumes

либо нихуя сами не знают, либо шифруются, либо хотят показаться умными, либо пиздец ленивые. других объяснений нет.

во-первых, в ядре не только iscsi.

https://github.com/kubernetes/kubernetes/issues/32266 — вот тут больше написано почему в ядре оно гавно

ну да. я писал nbd-сервер у которого бэкендом был файл на http.

во-первых, в ядре не только iscsi.

кагбы логично. и что

вот ядрёный клиент (инициатор) — это да. нужная штука.

а сервер (таргет) то нахуа

кагбы логично. и что

ну ты тут про сокеты пишешь. какие нахер сокеты для обычного scsi?

ну ты тут про сокеты пишешь. какие нахер сокеты для обычного scsi?

я говорю про конкретню связку цефа (образы в рбд) и айскайзи таргета

и меня удивляет что её всё ещё нет. и сейчас она делается через ядро (то есть через жопу)

и меня удивляет что её всё ещё нет. и сейчас она делается через ядро (то есть через жопу)

потому что таргет в ядре. есть чисто юзеспейсовые таргеты. можно было бы к ним прикрутить, но никому не надо

потому что таргет в ядре. есть чисто юзеспейсовые таргеты. можно было бы к ним прикрутить, но никому не надо

а вот щас запонадобилось. что и отражает трелло по цефу.

а чо блять сразу то низя было ? неужто пиздец сложная задача

вариант с nbd + librbd мне в голову пришёл сразу.

а чо блять сразу то низя было ? неужто пиздец сложная задача

Кому нельзя? scsi нихрена не простой протокол.

Вот от редхат-а: https://github.com/pcuzner/ceph-iscsi-ansible/blob/master/README.md

Why RHEL 7.3? There are several system dependencies that are required to ensure the correct (i.e. don't eat my data!) behaviors when OSD connectivity or gateway nodes fail. RHEL 7.3 delivers the necessary kernel changes, and also provides an updated multipathd, enabling rbd images to be managed by multipathd.

в стиле говношляпы

насилуют труп от которого надо просто отказаться

юерспейсный рбд переживает разрыв в сети на раз два.

я аж все цефные ноды перезагружал

но нет блять. мы будем патчить ядрёный рбд клиент.

НАХУЯ

НАХУЯ

задай этот вопрос в понедельник

НАХУЯ

Потому, что он дает меньшую латенси и больше iops. Поищи сравнение в списке рассылке

Потому, что он дает меньшую латенси и больше iops. Поищи сравнение в списке рассылке

а с чем сравнили то?

если оставить кернельный рбд и перенести в юзерспейс таргет - то это нахуй не надо