Илья
все понятно, nvme диск имеет размер блока 8к , и поэтому волум будет такойже из одного диска
Vladislav
Vladislav
Nvme 8k блок
George
George
у меня вручную выставленный ashift=12)
George
и в 2.1 релизе нет автоматики изменения volblocksize в зависимости от чего-либо, он статичный по дефолту 8К
Илья
а команда zdb | grep ashift
Илья
ты вручную выставлял после создания пула или во время?
George
ты вручную выставлял после создания пула или во время?
после создания пула нельзя менять ashift
Fedor
такие вольюмы делать не стоит, в следующем релизе дефолтный volblocksize будет вообще 16к, и не просто так
почему они решили поднять до 16? из-за draid и новых фич?
George
почему они решили поднять до 16? из-за draid и новых фич?
https://github.com/openzfs/zfs/pull/12406
там всё, даже мои просьбы именно дефолт менять а не выдумывать zvol_modern тип))
Илья
16KB volblocksize
for mirror pools and even bigger (32-64KB) for RAIDZ , для raidz2 вообще 32 в стоке
George
кстати соврал, для draid привезли https://github.com/openzfs/zfs/blob/master/cmd/zfs/zfs_main.c#L914
George
но дефолтный минимум пока - 8к, а будет - 16к
Fedor
Fedor
долго конечно до релиза оно идёт)
Илья
Парни кто может понятно обьяснить по какому принципу мы строим draid2 , сколько читал не могу понять логику, из чего мы отталкиваемся когда задаем параметры d:c:s
Nick
zfs set primarycache=metadata ?
и это будет сильно медленнее и грустнее, недавно с похожей исходной проблемой проверял
Nikolay
и это будет сильно медленнее и грустнее, недавно с похожей исходной проблемой проверял
Вроде как primarycache=metadata даёт большой буст в скорости. И только в редких случаях замедляет. Сам не тестил. https://ikus-soft.com/en_CA/blog/techies-10/proxmox-ve-zfs-primarycache-all-ou-metadata-71
Nick
Вроде как primarycache=metadata даёт большой буст в скорости. И только в редких случаях замедляет. Сам не тестил. https://ikus-soft.com/en_CA/blog/techies-10/proxmox-ve-zfs-primarycache-all-ou-metadata-71
вроде как так должно быть, но по факту при primarycache=all всё заметно быстрее
Nick
на сценариях около бекапа с borg, kopia и подобным
Nick
причем, что с крутящимися дисками, что с ссд
George
Как бы данные всё равно пройдут через память, разница только в цене и скорости вытеснения из кеша
Ivan
Ребята, подскажите. У меня есть старый корпус, ориентировочно 10 летней давности. Там написано что в корпусе стоит 3G expander SAS/SATA. Я же правильно понимаю что 3G, это 3Gb/s, а не 3Gbit/s?
Вот описание:
19" 4U корпус, 24х 3.5" SAS2/SATA3 HDD [2x одинарных 3G экспандера по 12xHDD] (2x SFF 8087), корзины горячей замены с серыми ручками, глубина 679мм, БП EMACS 900Вт [80+] EPS с резервированием (1+1) [PMBus], место под МВ EE-ATX/SSI EEB v3.6 13.68"х13", рельсы SLR-2833-430-DS, Слоты: 7xPCI; 1x Cable-SAS-8087-8087-int (CBL-SAI-IPIP-50); Дисковые отсеки: 1х3.5"/2.5" (внутренние), 24х3.5" (внутренние с горячей заменой) + опционально (2x2.5 Hot Swap или 1x3.5" или 2x2.5"),
Vladislav
Ребята, подскажите. У меня есть старый корпус, ориентировочно 10 летней давности. Там написано что в корпусе стоит 3G expander SAS/SATA. Я же правильно понимаю что 3G, это 3Gb/s, а не 3Gbit/s?
Вот описание:
19" 4U корпус, 24х 3.5" SAS2/SATA3 HDD [2x одинарных 3G экспандера по 12xHDD] (2x SFF 8087), корзины горячей замены с серыми ручками, глубина 679мм, БП EMACS 900Вт [80+] EPS с резервированием (1+1) [PMBus], место под МВ EE-ATX/SSI EEB v3.6 13.68"х13", рельсы SLR-2833-430-DS, Слоты: 7xPCI; 1x Cable-SAS-8087-8087-int (CBL-SAI-IPIP-50); Дисковые отсеки: 1х3.5"/2.5" (внутренние), 24х3.5" (внутренние с горячей заменой) + опционально (2x2.5 Hot Swap или 1x3.5" или 2x2.5"),
Нет, это 3Gbits/s. 24Гбит/с это Вы сильно подумали про бэкплейн 10 летней давности.
SAS-2 - 3Gbis/s на линию. Линий 4
Ivan
Понял, спасибо
Ivan
У меня там на экспандерах этих 6 выходов SAS 8087, по 3 на каждом экспандере. Я правильно понимаю, что каждый из них максимум пропускает 3Gbit/s?
Ivan
Каждый выход по 3Gbit/s , верно?
Vladislav
Это не совсем так работает
Vladislav
Почему их 3 я так до конца и не помню. Но 2 из них это два пути до бэкплейна
Ivan
Не суть почему 3 мне главное понимать пропускную способность одного порта
Georg🎞️🎥
Нет, это 3Gbits/s. 24Гбит/с это Вы сильно подумали про бэкплейн 10 летней давности.
SAS-2 - 3Gbis/s на линию. Линий 4
Sas2 - это 6 гигабит на линию 👋👋
Ivan
Sas2 - это 6 гигабит на линию 👋👋
Я не понимаю, что значит на линию. Порт сколько максимум может пропустить?
Georg🎞️🎥
Я не понимаю, что значит на линию. Порт сколько максимум может пропустить?
По этому корпусу не соображу , но одна «дырка» условно пропускает 24 гигабита, так как такая «дырка» - это 4 порта по 6 гигабит
Fedor
Я не понимаю, что значит на линию. Порт сколько максимум может пропустить?
Порт внутри содержит так называемые phy, каналы связи. Их может быть несколько, каждый из них пропускает в данном случае по три гигабита.
Fedor
Это если мне не изменяет память. Лучще про сас почитать
Ivan
Vladislav
Мне тоже интересно
Vladislav
Ivan
Если написано 3G
George
Ещё стоит не забыть посчитать pcie линии и итоговую её скорость)
Ivan
Уффф, спросил конкретный вопрос, в итоге вместо понятных ответов получил какой-то холивар.
Ivan
На экспандер 3 выхода 8087, по 2м идут данные от 12 дисков. Вот я и пытаюсь понять, будет ли просадка в скорости, из за экспандера или нет, и если да то на сколько
Ivan
Диски seagate exos x18 16tb st16000nm004j
Ivan
Я щас не пытаюсь измерить реальные значения. Я пытаюсь понять где узкое горлышко щас в моей сборке.
Два порта 8087 на каждом експандере соединены с двумя портами на adaptec smarthba 2100-24i. Т.е. 2 экспандера соединены с hba 4мя проводами и занимают 4 порта на hba, по два на каждый экспандер
Ivan
Hba подключен в pci-e 3.0 8x
Ivan
https://storage.microsemi.com/en-us/support/sas/sas/aha-2100-24i/
Ivan
Думаю что hba за 75т должен быть все же 3.0. хотелось бы верить)))
Fedor
Узким местом, как мне видится, так и так будут диски.
Fedor
Если это не будет совсем линейное чтение
Fedor
По всем дискам сразу
Fedor
Если бы были ссд, тогда, скорее всего, упёрся бы уже в иопс контроллера
Fedor
Ну и пци наверное, надо смотреть разводку по материнке
Fedor
В отношении пропускной способности экспандеров не подскажу, так как не сталкивался с ними
Vladislav
не понимаю зачем....
Но ладно
Смотрите. Один SAS это 4 линии.
Т.е. эффективно это 4*3G (в вашем случае) - 12G скорости на кабель.
Бэкплейн у Вас активный, в нём есть мультиплексор, Поэтому эффективно это 2 дырки с двумя путями
3-я дырка это чтобы подключать бэкплейны гирлядной
Дальше нужно смотреть есть ли у HBA что Вы используете два пути до бэкплейна. Если нет, то два кабеля до бэкплейна ничего не делают
Fedor
Если будет использоваться зфс, есть риск того, что может встать линия экспандера либо очень сильно начать тормозить при выходе диска из строя.
Fedor
Я не помню, ориентируется зфс на конкретный диск либо на присоединяющий порт этого диска
Ivan
https://storage.microsemi.com/en-us/support/sas/sas/aha-2100-24i/
с таким количеством портов можно 24 диска без экспандеров воткнуть.
Ivan
*если я правильно понял по картинке
Ivan
не понимаю зачем....
Но ладно
Смотрите. Один SAS это 4 линии.
Т.е. эффективно это 4*3G (в вашем случае) - 12G скорости на кабель.
Бэкплейн у Вас активный, в нём есть мультиплексор, Поэтому эффективно это 2 дырки с двумя путями
3-я дырка это чтобы подключать бэкплейны гирлядной
Дальше нужно смотреть есть ли у HBA что Вы используете два пути до бэкплейна. Если нет, то два кабеля до бэкплейна ничего не делают
А как понять есть ли два пути до hba? И если нет, то нафига тогда такое количество портов на экспандере? Сделали бы один порт на все диски и один для подключения в герлянду. Но могу точно сказать, что как то я подключал экспандер одним проводом к одному порту и виделись все диски
Vladislav
А как понять есть ли два пути до hba? И если нет, то нафига тогда такое количество портов на экспандере? Сделали бы один порт на все диски и один для подключения в герлянду. Но могу точно сказать, что как то я подключал экспандер одним проводом к одному порту и виделись все диски
Не все адаптеры нормально умеют в два пути до экспандера
Fedor
Вот это умеет или нет?
По ссылке есть раздел документации к этому адаптеру, обычно в ней много интересных открытий можно сделать
Fedor
Часто это довольно занятное чтиво
Vladislav
Как самый банальный вариант
Ivan
А как я должен это понять? Я вижу все диски и с одним и с двумя кабелями
Vladislav
Наверно Вам стоит почитать
https://help.ubuntu.ru/wiki/%D1%80%D1%83%D0%BA%D0%BE%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE_%D0%BF%D0%BE_ubuntu_server/%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B5_%D1%81%D0%B2%D1%8F%D0%B7%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D1%83%D1%81%D1%82%D1%80%D0%BE%D0%B9%D1%81%D1%82%D0%B2/overview
Nikolay
Владимир
Накатил я новый проксмокс 8 на intel i9-13900 и zfs конечно, настроил всё, скачал tar.gz архив с сайтом, начала распаковывать , ребут), в общем в ходе экспериментов я выключил компрессию в датасете и ребуты прекратились), Что скажите?), кто-то сталкивался?
Fedor
так zfs 2.1.12 был и в предыдущей версии проксмокса
Владимир
так zfs 2.1.12 был и в предыдущей версии проксмокса
# zfs version
zfs-2.1.12-pve1
zfs-kmod-2.1.12-pve1
Fedor
да, 12 конечно же)
Владимир
я больше склоняюсь что баг как-то на железе может быть завязан