https://www.datacenterdynamics.com/en/news/intel-kills-off-optane-memory-writes-off-559-million-inventory/#:~:text=Intel%20has%20fully%20killed%20off,as%20it%20exits%20the%20business.

Почитал про это подробнее, все очень грустно в перспективе для оптанов конечно. Но по мне так, для zfs это самое лучшее решение, или нет ?! Я только недавно закупил 5800X и очень доволен результатом. На перспективу видимо CXL, когда цена платформ с PCIe 5 подешевеет ?

ну по статье там тема в чем, баг в прошивке выдавал "разряд батарейки", что приводило к автоматическому отключению врайткэша и железка превращалась в тыкву, пофиксили обновой фирмвари, но при этом не факт что батарейка например реально живая, это как пример, у меня такое было когда в рейде батарейка сдохла, джентльмены сервер вырубили и оставили на год без питания, батарейка разрядилась и померла, а когда включили не могли понять почему дисковая не в тонусе

Хз, у нас то выбора нет, что дадут то и будем гонять.

Вообще, кстати интересно, как железные рейды умудряются работать быстрее софтовых? Ведь у железных оч скромные проц и память? Тогда как у самого сервера 100500 ядер и памяти

без кэша не умудряются )

Так ведь кэш у них это их же оператива? Которая по моему бывает максимум уровня DDR4 и её мало...

но она то при батарейке делает writeback.

плюс у каждой транзакции латенси куда меньше.

Вот мне всегда обидно за зфс, что её ругают за медленноту, но ведь в ней можно включить по сути тот же режим кэширования

Вообще, кстати интересно, как железные рейды умудряются работать быстрее софтовых? Ведь у железных оч скромные проц и память? Тогда как у самого сервера 100500 ядер и памяти

LMGTFY коллега?

Вот мне всегда обидно за зфс, что её ругают за медленноту, но ведь в ней можно включить по сути тот же режим кэширования

Не надо, это я сам могу)

А вот подскажите пожалуйста, я уже спрашивал но никак не въеду, айсуази будет быстрее smb? Там же как то по другим алгоритмам передвется ? Простыми словами если не сложно, что это блочное устройство и типа оно будто диск в компе - это я читал, но как оно на практике ? Благодарю 👋👋

Читается как айскази) И оно точно будет быстрее, чем дефолтный smb без rdma

А вот подскажите пожалуйста, я уже спрашивал но никак не въеду, айсуази будет быстрее smb? Там же как то по другим алгоритмам передвется ? Простыми словами если не сложно, что это блочное устройство и типа оно будто диск в компе - это я читал, но как оно на практике ? Благодарю 👋👋

Вот… а что есть rdma!?😱и за счет чего быстрее ? Теже провода, та же сетевуха ?👋👋

Если сетевуха умеет в rdma, то ж о означает что она будет иметь прямой доступ к памяти, мимо ЦПУ, что здорово уменьшает задержку Но помиомо аппаратной поддержки ещё нужна программная. В Линь вроде ещё не впилили поддержку самбы через rdma Так что работать будет только в связке винда-винда, и причём если этими виндовыми машинами не прямой линк, а коммутатор, то он тоже должен уметь в rdma Короче всё не просто🤷🏻

Если сетевуха умеет в rdma, то ж о означает что она будет иметь прямой доступ к памяти, мимо ЦПУ, что здорово уменьшает задержку Но помиомо аппаратной поддержки ещё нужна программная. В Линь вроде ещё не впилили поддержку самбы через rdma Так что работать будет только в связке винда-винда, и причём если этими виндовыми машинами не прямой линк, а коммутатор, то он тоже должен уметь в rdma Короче всё не просто🤷🏻

А smb и nfs похожи по сути и механизмам ?

Вот… а что есть rdma!?😱и за счет чего быстрее ? Теже провода, та же сетевуха ?👋👋

там похожего только то что они сеть используют =) и это надо уже в другой чат перемещаться

)) ну так вышло … а по скорости то что веселей ?

smb3+rdma =) так устроит?

Если сетевуха умеет в rdma, то ж о означает что она будет иметь прямой доступ к памяти, мимо ЦПУ, что здорово уменьшает задержку Но помиомо аппаратной поддержки ещё нужна программная. В Линь вроде ещё не впилили поддержку самбы через rdma Так что работать будет только в связке винда-винда, и причём если этими виндовыми машинами не прямой линк, а коммутатор, то он тоже должен уметь в rdma Короче всё не просто🤷🏻

У меня с RDMA + NFS странный опыт был, когда firmware разных версий на сетевухах была ( 100GB). Работало шустро, но примерно раз в пару суток всё падало.

То есть nfs шустрее ? Простите, с этой частью совсем плохо у меня ((

все зависит от условий, я описал идеальный вариант SMB 3 + RDMA в Windows будет быстрее, я лично гонял на мелланоксах, как там сейчас модно говорить - пушка, бомба, но опять же надо в другой чат переходить, все это к ZFS не имеет никакого отношения =) тут либо к сетевикам либо в кластерные хранилища

Спасмбо, это хотя б направление о котором я не знал 👋👋

да в и-нете полно доки, по смб+рдма у майкрософта тьма, технология уже несколько лет живет, по нфс тоже, а iscsi так вообще от царя гороха, все ситуативно

А уравнивание прошивок помогло?

У меня мак ос 😱

не знал что на маке нельзя доку читать =) санкции?

дефрагментацию данных на CoW делать довольно идиотская затея

а обычные hdd trim поддерживают?

некоторые smr поддерживают

У меня как раз тошик smr (вроде :)) ). Но обычный (не кнть ентерпрайз). Да и вроде как есть некоторая истерия с тем что zfs+smr не есть гуд.

В чем проявляется то по факту?

У меня как раз тошик smr (вроде :)) ). Но обычный (не кнть ентерпрайз). Да и вроде как есть некоторая истерия с тем что zfs+smr не есть гуд.

юзаю зфс на smr (wd). 1шт диск (бекапы), всё пока ок. забавно было blkdiscard'ом обнулять такой диск

Проблема SMR накопителей в том, что они еще хуже переносят случайный доступ. Размер одной ленты - несколько мегабайт, чтобы поменять несколько сотен килобайт внутри ленты ее надо по-хорошему прочитать всю, а потом записать всю. Но мало какое прикладное ПО работает "удобно" для дисков, и чтобы все это как-то дышало производителям приходится сильно усложнять логику записи на диск. Сигейты завели себе CMR кэш размером в десятки ГБ, куда могут относительно быстро все писать, а потом уже в фоне отправлять данные на ленту. А WD собирают собирают данные с разных мест и пишут их в одну ленту, но чтобы не запутаться потом хранят дерево трансляции и также в фоне потому его крутят-вертят. Запись большого числа небольших блоков может легко "перегреть" всю эту систему.

кстати сейчас пилятся FS для подлержки HM SMR (host-managed)

@gmelikov хотелось бы узнать, какие планы у коммьюнити насчет поддержки ядра 6.1? вроде как lts обещают

@gmelikov хотелось бы узнать, какие планы у коммьюнити насчет поддержки ядра 6.1? вроде как lts обещают

и при желании просто берёте патчи и накладываете на стейбл ветку

и часто получается что при попытке заапгрейдить ядро зфс отваливается пушо ядро слишком новое

ну решение очевидно - пинить ядро пока не приедет зфс, лапочное)

Привет! Хочу расширить текущий zpool. По хорошему, надо добавить mirror nvme10 nvme11, но nvme11 пока занят до ночи. Как можно добавить nvme10 так, чтобы ночью всё же сделать mirror nvme10 nvme11 без полного пересбора массива? :)

Привет! Хочу расширить текущий zpool. По хорошему, надо добавить mirror nvme10 nvme11, но nvme11 пока занят до ночи. Как можно добавить nvme10 так, чтобы ночью всё же сделать mirror nvme10 nvme11 без полного пересбора массива? :)

готов рискнуть что до ночи у 10го не будет миррора?