George
zpool get all you_pool_name | grep ashift
только если там нули (=авто), то надо через zdb смотреть
Владимир
# zpool remove rpool mirror-0 cannot remove mirror-0: out of space
в общем ему просто надо было побольше места, перенёс часть данных в другой пул и вроде удаляется
Станислав
zpool get all you_pool_name | grep ashift
Почему бы не так?) zpool get ashift you_pool_name
Vladislav
я готов принять результаты fio
Чтож. Вот они. Немного затянулось, пока добывалась карта с бифускацией. Я что-то не заметил Ваших "кадострофическое падение перворенса по IOPS". Всё в пределах 2% ошибки, так как тестов на каждую из конфигураций было по 10 на диск.
Alexandr
🤦‍♂️
Vladislav
Разницы между свитчом PCIe на 4 NVMe и платой с бирфускацией как-то не наблюдается
Alexandr
результатов fio тоже как то не наблюдается
Vladislav
Файлик Вы не открывали?
Alexandr
как вы их снимали, какой был тест сценаий запуска...
Alexandr
в общем вы главное себе докажите
Alexandr
если у вас все ок, то пусть так и будет :)
Alexandr
вы каждый диск по одтельности тестили?
Vladislav
4 одновременно = 4 сессии терминалов на каждом по FIO
Vladislav
Fedor
В файлике есть вкладки
Alexandr
я невижу их с телефона
Alexandr
завтра посомтрю
riv
О чем спор? Плата бифукации - это пассивный переходник, позволяющий воткнуть 4 pci-e устройства в 4 pci-e порта как правило x4 через электрическое соединение через один порт pci-e x16. В общем, откуда взяться разницы? Свич теоретически может упереться в пропускную способность x8 (если он х8) но на максимуме по iops скорее всего нагружен будет контроллер nvme.
Alexandr
спор о китайских переходниках на 4 NVME
Alexandr
есть с прямым подключением
Alexandr
где нужна бифуркация
Alexandr
и есть с pci-e свичем где ненужна бифуккация
Alexandr
какой лучше?
Alexandr
можете почитать выше по ссылкам весь текст
riv
Теоритически, бифукация чуть получше по латентности (но речь идет о наносекундах), в остальном не вижу разницы.
Vladislav
спор о китайских переходниках на 4 NVME
*о Broadcom чипе в плате из Китая
riv
Сама плата х16
Диски то x4. А плата бифукации просто пассивно соединяет 4х4 через один х16. А свич обычно х8 uplink имеет. Наверное, дорогие могут быть х16.
Vladislav
потому что при активном их использовании это выльется в задержки и кадострофическое падение перворенса по IOPS
Ну, Александр утверждает, про "кадострофическое падение перворенса по IOPS"
riv
На том тесте что предложен упереться в пропускную способность, думаю не получится. Надо "бомбить" 4Мб блоками )
riv
Александр сам предлагал его
Может кривая карта была или свич и отсюда падение. Например помехи по pcie на плате, а свич мог иметь uplink и х1 если это китай )
Alexandr
читайте с самого начала)
Alexandr
я там все описал
riv
https://t.me/ru_zfs/42169
В целом, разумно. Проще = надежнее )
Vladislav
Alexandr
В целом, разумно. Проще = надежнее )
я столкнулся с тем что прозводительность по IOPS резал именно свич чип на плате
riv
Теперь ясно. "А вы тут все молодцы" (с) :-)
Alexandr
у меня в хламе лежит 4 таких платы
Alexandr
с прямым подключение проблем нет
Alexandr
немогу пока дать, коробок с хламом в серверной, а я далеко
Alexandr
буду на месте, приглю фото
Vladislav
Надо марку платы со свичем.
Да зачем, "все китайские платы = мусор" (c) :)
riv
Интересно же разобраться в чем затык? Свич медоенный, аплинк маленький или может быть какая-то несовместимость?
Vladislav
Интересно же разобраться в чем затык? Свич медоенный, аплинк маленький или может быть какая-то несовместимость?
Если там плата на основе этого чипа (pcie 2.0 x8 на 4 диска) https://www.asmedia.com.tw/product/1e2yQ48sx5HT2pUF/b7FyQBCxz2URbzg0 то будет очень смешно
nagual
Кто пользует truenas ? Подскажите что там с обновлениями ? Что ставить можно а что ещё нельзя?
nagual
Сейчас стоит 12 но там уже 13 зарелизили.
Fedor
Кто пользует truenas ? Подскажите что там с обновлениями ? Что ставить можно а что ещё нельзя?
Этот вопрос выходит за рамки файловой системы ЗФС, вам в какой-то другой чат надо с этим вопросом
Georg🎞️🎥
А что кстати под zfs самое удобное ?🤔
Georg🎞️🎥
в плане?
Ну как фринас)) оболочка для уловного управления для ленивых как я )) кому не надо консоль учить )
Georg🎞️🎥
если не хотите учить консоль винда вам в руки
Как бы винда не единственная ос, и лазить в консоли как бы не обязаловка, времена перфокарт давно позади
central
единственная gui first
George
гуй не гуй, а у zfs очень приятный и понятный cli, обычно гуй его ограничивает не хило. Но на вкус и цвет, конечно
George
как посмотрю на cli бутерфс, сразу передумываю его даже пробовать
Vladislav
"обычно гуй его ограничивает не хило" Выше был один товарищ, который ошибся при расширении массив и вместо 50T указал 50G. Кончилось довольно грустно Поэтому не все ограничения одинаковы вредны
George
Но в cli её нет)
а есть ли в гуе, кстати)
George
хоть в каком-то
Vladislav
а есть ли в гуе, кстати)
По крайней мере, в TrueNAS есть Он тупо не даст уменьшить размер пула через вебку
George
ущемляют народ
Vladislav
скорее сохраняют народ от непонимания, что прежде чем сужать размер пула, нужно ФС, которой выдан этот пул уменьшить размер...
LordMerlin
Хороший вы сейчас разговор завели)) Я тут на днях лоханулся. Все руки не доходили почитать. Был массив Z1 из 5и дисков. Хитачи 146гб каждый. Один начал постоянно выпадать. Нашёл Сигейт на 146гб. Пытаюсь сделать замену, а система шлёт в сад. Оказалось Сигейт на пару тройку Гб отдаёт меньше.
LordMerlin
Пните в какую сторону копать. Массив загрузочный поэтому там 3 раздела.
LordMerlin
Получается, надо сначала уменьшить раздел самый большой. Потом уменьшить размер пула, чтобы в общем было чуть меньше чем размер Сигейт, и только потом пробовать замену?