Всего доступно 96Т, сперва уменьшается до 96Г и в чём проблема отдать команду на 96Т?
В том, что это будет другая транзакция. Zfs - это не lvm! Это подобно тому как в базе данных вы удалили строку с данными, а потом добавили строку с пустыми данеыми и пытаетесь из новой строки прочитать данные удаленной.
riv
riv
Всего доступно 96Т, сперва уменьшается до 96Г и в чём проблема отдать команду на 96Т?
Вы тотально не понимаете как работает zfs
Vladislav
Вы тотально не понимаете как работает zfs
Тут надо было прервать процесс, это был один из вариантов как это можно было сделать
riv
Тут надо было прервать процесс, это был один из вариантов как это можно было сделать
Всеравно пришлось бы стопать пул, и пытаться его импортировать (через прослоцки обеспечивающие неизменность данных на дисках) и искать транзакцию до уменьшения.
Vladislav
Всеравно пришлось бы стопать пул, и пытаться его импортировать (через прослоцки обеспечивающие неизменность данных на дисках) и искать транзакцию до уменьшения.
Да, про откат транзакций впрочем я забыл от слова совсем
riv
Каждая запись идет через транзакцию. До некоторого предела можно всегда откатиться назад. Но я бы на это не полагался а делал snapshot (я так и делаю). Снимок гарантированно заблокирует данные и они не будут удалены. Создается он мнгновенно, удаляется тоже мнгновенно на датасетах любого объема.
Vladislav
Каждая запись идет через транзакцию. До некоторого предела можно всегда откатиться назад. Но я бы на это не полагался а делал snapshot (я так и делаю). Снимок гарантированно заблокирует данные и они не будут удалены. Создается он мнгновенно, удаляется тоже мнгновенно на датасетах любого объема.
Что кстати очень полезная фича. Перед тем как что-то делать с массивом)))
riv
Не большой нюанс. По умолчанию, zfs попытается заоезервировать +100% под снимок. Можно и нужно поставить все резервировпния в 0, но иметь в виду, что запись в zvol со снимком будет расходовать место в пуле, т.к. данные перезаписывать нельзя пока они заблокировпны снимком. Просто не забудте потом его удалить.
riv
Что кстати очень полезная фича. Перед тем как что-то делать с массивом)))
А в товом zfs есть снимки на уровне пула. Нужны для операций с пулом. Я ими непользовался.
Vladislav
Я впринципе пользуюсь только томом по размеру 95% пула, поэтому не особо глубоко лез)
KKKNOW has been banned! Reason: CAS ban.
Fedor
ivdok
Олег
ivdok
Если нужно именно чтобы 4 nvme без бифуркации работали, надо поискать плату с PLX-чипом, который работает как PCIe-свитч
Олег
Я у себя так же увидел необходимость доп кулера прям над ними, что дало -20*
Олег
Строго не стоит брать популярный Asus и Plextor, отзывы доступны с избытком об этих г
Vladislav
https://aliexpress.ru/item/1005001344675103.html?gatewayAdapt=glo2rus&sku_id=12000015763998421&spm=a2g0s.12269583.0.0.5c417190XdCjqE
Vladislav
Я вот этот использую для ZFS
Vladislav
Он использует PCIE switch поэтому бифускация не нужна
Vladislav
Это не контроллер, а переходник. Материнка должна бифуркацию поддерживать, нативно или с помощью модов биоса
На фото да, но в целом есть приличное количество HBA, Supermicro на две дырки стоит как этот на 4 кста
Alexandr
избегайте свич чипов на этих платах под NVME
ivdok
Строго не стоит брать популярный Asus и Plextor, отзывы доступны с избытком об этих г
Потому что не умеют читать требования к ним
Alexandr
потому что при активном их использовании это выльется в задержки и кадострофическое падение перворенса по IOPS
Vladislav
Alexandr
я в Вами не согласен
ivdok
На фото да, но в целом есть приличное количество HBA, Supermicro на две дырки стоит как этот на 4 кста
Термин HBA тут неприменим, это про контроллеры для SATA/SAS дисков, для NVME нужно чтобы материнка мога разбивать порты на линии отдельные
Vladislav
Термин HBA тут неприменим, это про контроллеры для SATA/SAS дисков, для NVME нужно чтобы материнка мога разбивать порты на линии отдельные
Это именно HBA, потому что он прокидывает NVMe напрямую для матери через себя
Vladislav
а ваше мнение как пруфы уже?
у меня только опыт использования их в разрезе NVMe напрямую в мать и NVMe через адаптер
ivdok
Это именно HBA, потому что он прокидывает NVMe напрямую для матери через себя
Хрень написали, нет никакого "прокидывания". Если говорим про PLX, то свитч-чип переключает ведущее устройство при каждом обращении
Vladislav
Vladislav
и она видит их все
Alexandr
не делайте таких рекомендаций пожалуйста, это чревато проблемами
Vladislav
тогда это что?
То что я проверял и разницы в IOPS и скорости не увидел по результатам тестов
Alexandr
прямое подключение без свич чипа на pci-e шине - это ОК
Alexandr
То что я проверял и разницы в IOPS и скорости не увидел по результатам тестов
где ваши тестовые паттерны и результаты тестов?
Vladislav
где ваши тестовые паттерны и результаты тестов?
Так давайте их сделаем, я могу найти CrystallDiskMark который делал на нагрузку которая меня интересовала
Vladislav
Но Вы скажите "не валидно"
Vladislav
Поэтому тогда давайте по существу, какие тесты Вы считаете валидными для себя?
Alexandr
я готов принять результаты fio
Vladislav
Какой размер блока
ivdok
Я про то как это видит система
Ещё раз, нет никакого прокидывания. Чтобы система видела все nvme-диски, нужно или чтобы материнская плата поддерживала бифуркацию, когда порты на материнке могут дробиться на несколько с меньшим количеством линий (x16»x8x4x4 например), или использовала свитч-чип, который будет посредником - материнская плата увидит один x16 или x8 девайс, к которому подключено несколько дочерних, и чип балансирует нагрузку на линиях, но со штрафом к латенси и максимальной bw
Alexandr
В какой нагрузке
fio -ioengine=libaio -direct=1 -buffered=0 -invalidate=1 -name=test -bs=8k -iodepth=32 -rw=randread -runtime=60 -filename=/dev/nvme....
Alexandr
на одном диске
Alexandr
а потом на всех одновременно
Alexandr
и сравните результаты
Alexandr
потом повторите на плате БЕЗ свич чипа
Alexandr
"тогда поговорим" :)
Alexandr
раз уже вы пруфу уважаете, то сделайте их для себя
Alexandr
разница между платой со свичем и без - клосальная
Vladislav
fio -ioengine=libaio -direct=1 -buffered=0 -invalidate=1 -name=test -bs=8k -iodepth=32 -rw=randread -runtime=60 -filename=/dev/nvme....
Договорились:
https://aliexpress.ru/item/4000756443950.html
https://aliexpress.ru/item/32975750347.html
https://aliexpress.ru/item/1005001326204307.html
Вот такая конструкция с 4 дисками NVMe m.2
Vladislav
потом повторите на плате БЕЗ свич чипа
Таких плат не имею, ибо цель у меня была именно отсутствие бифускации. Поэтому
один диск напрямую в плату vs 1 диск в pcie switch
один диск напрямую в плату vs 4 диска в pcie switch
Alexandr
тогда убедительно прошу Вас, не рекомендуйте людям платы со свичем
Alexandr
это все что я хотел сказать
Alexandr
я вам дал паттерн, пруфы нужны вам - постарайтесь открыть истину для себя сами
Vladislav
Alexandr
для вас я неготов тратить сечас вечер на то чтобы предоставить вам такой отчет
Vladislav
Ок :)
Alexandr
я дал вам вводные данные
Art
разница между платой со свичем и без - клосальная
С аппаратным свитчем быстрее? Я потерял нить вашей дискуссии)
Сам использую тупые платы без свитча, поэтому интересуюсь
Alexandr
нет, медлее, свич делить шину между всеми nvme
Alexandr
при этом еще тратит время на переключение, а это вызывает дополнительные задержки (причем очень существенные). Пока нет нагрузки относительно большой, эта проблема не проявляется
Fedor
спасибо, посмотрю
по поводу этих плат/переходников
сначала хотел их заюзать, но наткнулся на неоднозначные отзывы, что они там ещё и райд даже на каждый диск делают
Alexandr
пожалуйста
Alexandr
я тоже незнал этого нюанса, пока сам не столкнулся. У меня 4 платы валаются таких
Alexandr
пришлось избавится от них в серверах
Art
при этом еще тратит время на переключение, а это вызывает дополнительные задержки (причем очень существенные). Пока нет нагрузки относительно большой, эта проблема не проявляется
А, понятно. Логично. Они ещё и дорогие, что тоже логично.
Но для старых серверов типа HP G8 или 10-х Деллов платы со свитчем безальтернативны, родной бифуркации-то нема)
Fedor
как раз в hp и интел хотел запихнуть)
u2 не заюзать)
Alexandr
вот тут согласен, но тогда сразу надо учесть что перфоренса хорошего от nvme не добится там, и там даже выгоднее смотрится обычный котроллер HBA (если сомтреть с точки зрения задержек)
Fedor
areca и highpoint собираются выпустить платы для nvme
но опять же максимальную производительность можно только под pcie 4-5 выжать
Fedor
Хрень написали, нет никакого "прокидывания". Если говорим про PLX, то свитч-чип переключает ведущее устройство при каждом обращении
у асуса есть материнка на x299 с таким - за счёт этого они в спецификации указывают, что смотрите, сколько у нас линий на материнке)
ivdok