Для обсуждаемой темы. Предотвратить запуск машин, которые работают на компуте, который опознается стеком как мертвый. Например сеточка отлетела вся, но фибра работает или сторадж сеть работает, если там сдс тли нфс какой
Ну так это сейчас почти на всех используемых хранилищах реализовано, нет нужды либвирту этим заниматься.
Тем более, я еще когда на прксмокс смотрел, жутко бесился от того что там много чо завязано на сетевую фс в которой и lock файлы и много чо еще)
J
Pavel
А либвирт тут зачем? Можно на него свалить конечно, если диски у вм эфимерные
Aleksey
нормально тут люме тут так по дефолту:
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
J
А либвирт тут зачем? Можно на него свалить конечно, если диски у вм эфимерные
Ты меня путаешь)
sanlock ты куда предлагаешь впихнуть в опенстеке?
Pavel
Ты меня путаешь)
sanlock ты куда предлагаешь впихнуть в опенстеке?
А в чем проблема? Есть sanlockd и libsanlock, бери да пользуй, при чем тут либвирт? Либвирт их точно так же использует для своих целей, которые с стеками не синхронизировались
Pavel
Можно свою логику любую навернуть
J
А в чем проблема? Есть sanlockd и libsanlock, бери да пользуй, при чем тут либвирт? Либвирт их точно так же использует для своих целей, которые с стеками не синхронизировались
Ну я и спрашиваю, в какой конкретно или в какие конкретно компоненты опенстека впихивать санлок?
Pavel
Нова же
J
Нова же
Ценой растягивания на десятки и сотни гипервизоров какой-нибудь сеевой фс в которой хранить локи?)
Чот меня эта мысль прямо пугает.
Pavel
Ну ты же не на локальных дисках работаешь? У тебя уже это есть в любом случае
J
Ну ты же не на локальных дисках работаешь? У тебя уже это есть в любом случае
Нет, у меня есть хранилище, к которому виртуалки обращаются через librbd. И оно само заботится об эксклюзивности доступа)
Так зачем же sanlock еще?)
J
Ну ты же не на локальных дисках работаешь? У тебя уже это есть в любом случае
Я идею твою понял, но нужды не вижу.
Это только, пардон, возня лишняя, на мой взгляд.
Pavel
Хорошо, что все на цефе работают и таких проблем не испытывают )
J
Хорошо, что все на цефе работают и таких проблем не испытывают )
А ты не язви)
Почти все кто с сетевыми хранилищами работают таких проблем не испытывают, потому что довольно очевидная идея - сделать механизм эксклюзивных блокировок в самом хранилище.
Andrey
Хорошо, что все на цефе работают и таких проблем не испытывают )
Ну да, все продвинутые на цефе. Ведь кроме цефа, локальных дисков и нфс у циндера больше нет бэкендов. Фигню какую-то предлагаете...
Pavel
Pavel
И докам на хранилках с нфс я бы не сильно доверял
Pavel
Локам
Dmitry
фибра твоей души (с)
J
А что про фибру?
А хз, я, видать, молодой и зеленый и файберченнел ни разу не видел вживую. Думал, им деды в энтерпрайзах пользуются в основном.
Pavel
А, тогда ладно )
Andrey
А хз, я, видать, молодой и зеленый и файберченнел ни разу не видел вживую. Думал, им деды в энтерпрайзах пользуются в основном.
Мне тоже так кажется. У этого господина наверное борода до пуза
J
FC больше для мест где не пользуются виртуализацией. Да и там, кажется, отмирает.
Pavel
Андрей, харош 😄 Чёта ржу
Dmitry
Мне тоже так кажется. У этого господина наверное борода до пуза
и мудрый взгляд из-под кустистых бровей
J
Не нужон он, когда за меньшие деньги есть Infiniband и 40G ethernet.
Pavel
Оке. И чего гонять по этому инфинибенду и 40г эзернету?
Pavel
Нфс? Самба? Цеф?
Pavel
Предложил бы ты например nvmeof, прям как коту сметанка было бы
Pavel
Но чёта все плохо пока с этим
J
Ceph, Sheepdog, Scality , ScaleIO, OpenIO, да хоть вручную iSCSI таргеты запускать)
Десятки их!
Pavel
Ого. А что насчёт летанси?
Pavel
Зачем трупут в сотку, если у тебя с ним цпу в сотку и летанси по 20мс?
J
Зачем трупут в сотку, если у тебя с ним цпу в сотку и летанси по 20мс?
SPDK и DPDK для этого и аппартная обработка TCP\UDP\IP. Это все давно уж в любой дешевой карточке есть и даже работает)
Pavel
Рили? Ты работал с спдк? И с vpp наверняка, раз про spdk вспомнил?
Pavel
Штука и правда огонь, только вот где это все в опенстеке?
Pavel
Да и не в опенстеке. Красиво там в презах только к сожалению
Sergey
Sergey
если что есть iwarp. похуже roce конечно, но с латенси там все в порядке
Pavel
Где работает?
Sergey
в винде
Sergey
в линуксе есть поддержка iscsi
Sergey
через iwarp. не помню как зовется
Sergey
nfs 4.1 насколько я помню тоже поддерживает
Pavel
Я в плане у кого можно купить схд ящик что бы потестить?
Sergey
наверно никто не предложит
Sergey
мы это в sds юзали
Sergey
ищите, может и делает кто
Михаил
Pavel
На каком сдс?
Pavel
там еще мильен ньюансов, я с этим работал
Pavel
одной карточкой не отделаться. Если тащить SPDK, то без intel QAT он не шибко интересен и без VPP не работает
Pavel
т.е. там надо навернуть на все бабки
Pavel
прям такой чотенький RnD, но жутко интересно
J
что есть дешевая карточка?)
Ну, интелы x520)
Или Mellanox ConnectX (они недешевые, но если принять во внимание чо умеют, то хорошо)
Михаил
J
Ну а чо?
В общем, суть в том что FC о гонять поверх ip.
Pavel
что бы это работало - дофига делов и купить негде
Pavel
дешевле и гораздо надежнее приземлить классические схд на фибре
J
Чо ж тут полчата на цефах то сидит тогда?)
Pavel
а ты не знал разве? Он же надежный как удар совковой лопатой по затылку, производительный и все это на железе, которое списали 5 лет назад, но выкинуть было лень
Pavel
цеф это ни разу не дешево ни по содержанию штата, ни по саппорту, ни по цене. Если нужен именно цеф и все остальное есть, то почему нет?
J
Ну так мы пишли к тому что sanlock это так себе идея.
Еще одна точка отказа просто.
А цеф и ине из-за дешевизны используют)
Pavel
ну я к тому не пришел =) Кроме цефа еще всякое используют и это всякое не всегда провайдит подобный механизм =)
Pavel
если говорить про тот же HA для машин и гиперов, то в ситуации, когда у тебя отлетели интерфейсы, через которые ты мониторишь состояние нод, не остается путей ни каких, кроме подсистемы хранения, откуда бы ты мог получить информацию о положении дел на гипере том же самом. Вполне можетбыть, что гипер жив и машины на нем тоже спокойно ходят в инет и вообще нет нужды ресетить хост, а стоит на сетевку посмотреть. Санлок этот кейс тоже закрывает
Pavel
посмотри как в варе это чотенько работает.
Vladimir Kuznetsov
Pavel
ну и такое бывает =) Главное, что бы что-то одно осталось доступно
J
если говорить про тот же HA для машин и гиперов, то в ситуации, когда у тебя отлетели интерфейсы, через которые ты мониторишь состояние нод, не остается путей ни каких, кроме подсистемы хранения, откуда бы ты мог получить информацию о положении дел на гипере том же самом. Вполне можетбыть, что гипер жив и машины на нем тоже спокойно ходят в инет и вообще нет нужды ресетить хост, а стоит на сетевку посмотреть. Санлок этот кейс тоже закрывает
Моя претензия больше не к идее общедоступных файлов блокировок, а к реализации, которая требует создания файлов в какой-то шаренной на все гипервизоры ФС)
Причем, вот в cinder есть локи через Tooz, а нова ща начнет ипользовать sanlock. Плюс еще один механизм который надо держать в голове и дебажить, если чо)
J
Проще уж через базу или через кролика)
Pavel
Не обязательно одна шара или лун на всех. Все легко бьется по целлам и агрегатам
Pavel
Ну да ладно в общем
J
цеф это про отчаянние
Ну чо ты начал то)
Я из-за этого нытья уж и так раз в неделю в чат цефа заглядываю)
Почему отчаяние?