George
Версия pcie, количество линий, спеки хба
Denis
Но ведь зфс позволяет склеивать (=страйпить) любые вдевы в один пул. Для того же raidz даже рекомендуется не загонять больше 12 дисков в один вдев, а распределять их по вдевам.
В общем вижу такие варианты:
1) Страйп из двух raidz2 - первый из 2ТБ дисков, второй из 932ГБ
2) Страйп из зеркал (т.е. raid10 по простому), где будет три зеркала по 2ТБ и два зеркала по 932ГБ
1) Страйп из двух raidz2 - первый из 2ТБ дисков, второй из 932ГБ вот эта идея прям ничего так надо подумать
Maksym
https://www.servethehome.com/an-introduction-to-zfs-a-place-to-start/
Denis
Но ведь зфс позволяет склеивать (=страйпить) любые вдевы в один пул. Для того же raidz даже рекомендуется не загонять больше 12 дисков в один вдев, а распределять их по вдевам.
В общем вижу такие варианты:
1) Страйп из двух raidz2 - первый из 2ТБ дисков, второй из 932ГБ
2) Страйп из зеркал (т.е. raid10 по простому), где будет три зеркала по 2ТБ и два зеркала по 932ГБ
Вопрос только как его создать ? что-то осилить не могу (
Art
1) Страйп из двух raidz2 - первый из 2ТБ дисков, второй из 932ГБ вот эта идея прям ничего так надо подумать
супер просто) Сейчас покажу как. Только что проверил в виртуалке на всякий случай:
root@exp2:/home/art# zpool create superpool raidz1 sde sdf sdg raidz1 sdh sdi sdj
И вот результат:
root@exp2:/home/art# zpool status
pool: superpool
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
superpool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
sde ONLINE 0 0 0
sdf ONLINE 0 0 0
sdg ONLINE 0 0 0
raidz1-1 ONLINE 0 0 0
sdh ONLINE 0 0 0
sdi ONLINE 0 0 0
sdj ONLINE 0 0 0
errors: No known data errors
Denis
оп спасибо
Denis
@scar83 а сама схема плохая такая? страйп делать из 2х разных типво дисков по объему ? есть подводжные камни ?
Art
@scar83 а сама схема плохая такая? страйп делать из 2х разных типво дисков по объему ? есть подводжные камни ?
Так... ну вдевы в силу разного количества дисков получатся разные по скорости чтения, следовательно общая скорость чтения с пула будет где-то между.
А так больше минусов нету. Разная ёмкость не роляет, ведь заполняться вдевы будут пропорционально. Наверное)
В общем, может гуру подскажут аргументы против, но по моему схема абсолютно рабочая
Denis
Ну я к тому, что схема 11 шпинделей провив 6 шпинеделей априори быстрее будет
Denis
Мне просто так и так пеоемобирать пул. Думал как рациональнее сделать. Я неправильно special подключил. И я так понял что его отцепить нельзя уже просто так
Nick
Тут есть пользователи убунты? Подскажите, как пересобрать zfs от последней убунты (2.1.9) под 20.04 так, чтобы zfs-dkms собрал zfs-kmod от 2.1.9
У меня что-то странное получается:
# zfs version
zfs-2.1.9-2ubuntu1
zfs-kmod-2.1.5-1ubuntu6~22.04.1
Georg🎞️🎥
Georg🎞️🎥
@gmelikov такой вот
Nick
странность с этим dkms, непонятно откуда он вылез, пересобрал все с нуля в чистом окружении без нового dkms и всё стало супер. Сейчас позапускаю тесты всякие на пустом сервере, сравню 2.1.9 с 2.1.6
George
Тут есть пользователи убунты? Подскажите, как пересобрать zfs от последней убунты (2.1.9) под 20.04 так, чтобы zfs-dkms собрал zfs-kmod от 2.1.9
У меня что-то странное получается:
# zfs version
zfs-2.1.9-2ubuntu1
zfs-kmod-2.1.5-1ubuntu6~22.04.1
https://openzfs.github.io/openzfs-docs/Developer%20Resources/Building%20ZFS.html#install
> If youhave reason to install ZFS after building it, pay attention to how your
distribution handles kernel modules. On Ubuntu, for example, the modulesfrom this repository install in the extra kernel module path, which
is not in the standard depmod search path. Therefore, for theduration of your testing, edit /etc/depmod.d/ubuntu.conf and add
extra to the beginning of the search path.
вот это учти
Nick
https://openzfs.github.io/openzfs-docs/Developer%20Resources/Building%20ZFS.html#install
> If youhave reason to install ZFS after building it, pay attention to how your
distribution handles kernel modules. On Ubuntu, for example, the modulesfrom this repository install in the extra kernel module path, which
is not in the standard depmod search path. Therefore, for theduration of your testing, edit /etc/depmod.d/ubuntu.conf and add
extra to the beginning of the search path.
вот это учти
ага, спасибо
но я посмотрел что в убунте еще патчи разные применяют, и судя по описанию не так чтобы зря и решил использовать готовый и набор патчей и debian каталог для сборки
у 2.1.11 по сравнению с 2.1.9 есть несколько вкусностей в утилитах для шелла, включая цветую раскрасску, но вроде никаких больше улучшений нет
Так что пересобрал https://launchpad.net/ubuntu/+source/zfs-linux
Nick
в принципе, наверное можно с минимальными изменениями так же пересобрать 2.1.11 из debian sid
George
ага, спасибо
но я посмотрел что в убунте еще патчи разные применяют, и судя по описанию не так чтобы зря и решил использовать готовый и набор патчей и debian каталог для сборки
у 2.1.11 по сравнению с 2.1.9 есть несколько вкусностей в утилитах для шелла, включая цветую раскрасску, но вроде никаких больше улучшений нет
Так что пересобрал https://launchpad.net/ubuntu/+source/zfs-linux
то что не из апстрима - это даже правильно что так сделал
Nick
а вот хотелось бы чтобы апстрим из тега был стабильным и безопасным для использования...
George
а вот хотелось бы чтобы апстрим из тега был стабильным и безопасным для использования...
ну он в большинстве идентичен, просто дистры могут доложить патчей из будущего тега апстрима. Скорее всего у убунты как раз такие патчи и притащены
George
(будущего тега = будущего минорного тега стабильной ветки)
George
то что не из апстрима - это даже правильно что так сделал
тут это лучше только обвязкой, в апстримном пакете из коробки может по мелочи чего-то не идти, аля регулярного скраба или трима по крону (чисто для примера, регулярный скраб как раз таки вроде шёл)
Nick
про трим кстати - два дня играюсь с bonnie++ и получается что автотрим лучше включать
Nick
на серверных сата ссд
Nick
Nick
Nick
по ссылке целиком
Nick
во всех сценариях кроме удаления кучи файлов включенный autotrim == меньше потребления процессора и иногда быстрее
Nick
ну и не знаю на сколько bonnie++ генерит сжимаемые данные, но на его датасете lz4 тоже оказался мастхэв
Nick
что на сата ссд, что на 6х8tb raidz2
Nick
А есть готовые примеры как правильно тестировать zfs с fio?
Всё нагугленное каждый раз разное
Nick
Nick
Y
Станислав
Y
https://www.aliexpress.com/item/1005005222679141.html?spm=a2g0o.detail.0.0.467b3b82sSaLtg&gps-id=pcDetailBottomMoreThisSeller&scm=1007.13339.291025.0&scm_id=1007.13339.291025.0&scm-url=1007.13339.291025.0&pvid=9c980d4b-c730-4eaf-843d-340a3dd0baca&_t=gps-id:pcDetailBottomMoreThisSeller,scm-url:1007.13339.291025.0,pvid:9c980d4b-c730-4eaf-843d-340a3dd0baca,tpp_buckets:668%232846%238113%231998&pdp_npi=3%40dis%21ILS%21119.2%21119.2%21%21%21%21%21%40211b5db216833012105317051e2b8c%2112000032246287443%21rec%21IL%21720973915
Y
https://www.aliexpress.com/item/1005005251988282.html?spm=a2g0o.productlist.main.21.30e55e95Xhw1tt&algo_pvid=889dedc6-b31f-4082-81d1-2304694f4865&algo_exp_id=889dedc6-b31f-4082-81d1-2304694f4865-10&pdp_npi=3%40dis%21ILS%21105.68%2176.1%21%21%21%21%21%402100ba4716833012579181244d074c%2112000032366694372%21sea%21IL%21720973915&curPageLogUid=32ZGXk9V6CFL
Y
А ссылку можно?)
не рекомендация к покупке - сам не брал пока (только диск на пробу - он еще не доехал) - диск вызывает подозрение - ценой
Y
зы и это не НВМЕ а сата обычный только в м2 факторе
Y
но удобное ибо без проводов получается
Y
ЗЫ. большенство дисков на 1 тера дороже на 50-100 процентов - так что может это кидок
Станислав
ЗЫ. большенство дисков на 1 тера дороже на 50-100 процентов - так что может это кидок
За эти деньги лучше на б/у рынке какой-нибудь Samsung 860 Pro поискать с небольшим пробегом
Y
За эти деньги лучше на б/у рынке какой-нибудь Samsung 860 Pro поискать с небольшим пробегом
ну это если он есть этот б/у - в наших палестинах пркатически нет
Y
особенно на террабайт - они стоили как крыло боинга в свое время - их почти не покупали и б/у только искать в мертых лаптях которые уже умели м2 но еще не НВМЕ - а это очень ограниченный промежуток времени
Y
зы. всякие кингспеки и прочее таки да в два раза дороже этого мутанта - но я, говорю, взял одного на пробу - максимум выкину...
Станислав
особенно на террабайт - они стоили как крыло боинга в свое время - их почти не покупали и б/у только искать в мертых лаптях которые уже умели м2 но еще не НВМЕ - а это очень ограниченный промежуток времени
Серия 860 evo/pro выходила параллельно с nvme 960 evo/pro
Станислав
860 есть как в обычном исполнении, так и м.2
Y
Станислав
На Али тоже))
Y
Shaker
Да, понтно
Shaker
У нас с таким был опыт в виде эксперимента
Shaker
https://www.owc.com/solutions/accelsior-8m2
Shaker
Там и радиатор неплохой
Pavel
выглядит все это шикарно, но не забывайте, что используются там удешевленные контроллеры, которые рассчитаны на недолгий срок эксплуатации, сам время от времени покупаю такие штуки https://aliexpress.ru/item/1005005504077402.html?sku_id=12000033337610577&spm=.search_results.0.691515e6of0sBa
Shaker
OWC вроде неплохие контроллеры выбирает
Shaker
Но, конечно при большой нагрузке на запись скорость проседает
Shaker
через 300 гб на линейной становится заметно
Y
Shaker
Но т к у них там чтение в основном ( это кэш системы компиляции ) то все довольны
Y
Но, конечно при большой нагрузке на запись скорость проседает
насколько ? да и линейную 300 гига не каждый день получается... интересует больше рандом
Shaker
насколько ? да и линейную 300 гига не каждый день получается... интересует больше рандом
Падает в 2 раза точно
Shaker
В боевом режиме этого не было ни разу
Shaker
Мы ожидаем через 4-6 месяцев деградации скорости, будем делать замеры, посмотрим.
Y
https://www.owc.com/solutions/accelsior-8m2
красивое, но 100+ баксов за порт нвме - такое себе (если для работы за чужие бабки то ок)
Y
Мы ожидаем через 4-6 месяцев деградации скорости, будем делать замеры, посмотрим.
послушаю. если не забудется....
Artem
Y
что бы держалось лучше 😂 (ну х2 я ни разу не видел на мамках- есть всегда или х1 или х4 х8 х16...
делать х1 - есть помоему и такие...
Artem
Y
Непонятно, зачем там слот х16, если контроллер х2 только
похорошему х2 писиай3 - тоже не мало - особенно для рандома - все равно 5 дисков даже в страйпе столько не выдадут
Artem
Это 2 гига/сек, пятом саташных ссд умеют чутка больше на линейном чтении
Y
Это 2 гига/сек, пятом саташных ссд умеют чутка больше на линейном чтении
всё равное в сетку упрется - врядли 40 гигабит стоит