« Rev
@ru_zfs   90
Fwd »


George
см. Caution
George
https://openzfs.github.io/openzfs-docs/Project%20and%20Community/FAQ.html?highlight=swap#using-a-zvol-for-a-swap-device
George
аналогично
Ivan
Кстати наблюдал локапы в проксе и на lvm при активной работе со свопом.
Ivan
А чего бы не порекомендовать там просто отрезать себе раздел ?
George
у меня и положительный опыт с swap on zvol есть кстати, но на не больших нагрузках
Ivan
а blocksize выбирается в зависимости от размера сектора диска или исходя из других параметров ?
Сергей
а blocksize выбирается в зависимости от размера сектора диска или исходя из других параметров ?
исходя из размера блока файловой системы, желательно чтобы совпадали для оптимальной производительности
Сергей
вот будет в пуле лежать образ ВМ с линуксом, там ext3/ext4/xfs. Соответственно лучше под их размеры, а если NTFS - то под виндовый типовой размер кластера
Ivan
ага. а если своп ?
Сергей
ага. а если своп ?
вы на такой "мелочи" заморачиваетесь)). У вас же пул из ссд?
Ivan
хочу все знать. из чтения манов не все понятно.
Сергей
ну всё знать - это похвально. Но думаю что более 80% активной работы с вашим пулом будет не использование под своп. А под другие цели)
George
а blocksize выбирается в зависимости от размера сектора диска или исходя из других параметров ?
в зависимости от размера блока, которым оперирует приклад. Можно делать больше, если за счёт ARC можете сгладить read-modify-write
Ivan
т.е. следовать рекомендации pagesize ?
George
т.е. следовать рекомендации pagesize ?
для свапа - по хорошему да
Ivan
https://openzfs.github.io/openzfs-docs/Getting%20Started/Debian/Debian%20Buster%20Root%20on%20ZFS.html?highlight=swap#step-7-optional-configure-swap
в этой инструкции столько фич для boot пула включается, а для / ничего особенного не рекомендуют. зачем для /boot столько фич ?
George
в этой инструкции столько фич для boot пула включается, а для / ничего особенного не рекомендуют. зачем для /boot столько фич ?
от обратного, для бут пула включаются ТОЛЬКО поддерживаемые грабом, а для обычного - все (т.к. не указаны предпочтения)
Ivan
понял
Ivan
а где можно глянут список фич, которые ставятся по дефолту ?
George
а где можно глянут список фич, которые ставятся по дефолту ?
все доступные в релизе, если ты не указываешь явно
George
https://openzfs.github.io/openzfs-docs/man/5/zpool-features.5.html
Ivan
если я какую-то из них явно укажу, то остальные фичи это не отключает ?
George
но не все активируются сразу, а только при фактическом использовании
Д
www.esos-project.com
Здравствуйте, Сергей, так вот я посмотрел у меня вроде как эта ось на полке то и будет стоять https://server19.ru/catalog/19_rn2-ss12/rn2ss12r/ так может все таки возможно будет zfs? ОС Enterprise Storage OS v.1.3.9 w/SCST target driver (с полной выгрузкой в RAM при старте системы).
Сергей
Здравствуйте, Сергей, так вот я посмотрел у меня вроде как эта ось на полке то и будет стоять https://server19.ru/catalog/19_rn2-ss12/rn2ss12r/ так может все таки возможно будет zfs? ОС Enterprise Storage OS v.1.3.9 w/SCST target driver (с полной выгрузкой в RAM при старте системы).
у вас будет zfs на iscsi дисках (как на блочных устройствах). Это немного не то, что я предлагал. Сделать ZFS over iscsi можно и так, то это будет Host <-> ZFS over iscsi <-> NAS (с поддержкой ZFS over iscsi) <-> iscsi ВАШЕ хранилище. Скоростью такое решение не блещет. На вашем хранилище нет протоколов для сетевого доступа (NFS), только для блочного доступа (iscsi).
Д
"Сделать ZFS over iscsi можно и так, то это будет Host <-> ZFS over iscsi <-> NAS (с поддержкой ZFS over iscsi) <-> iscsi ВАШЕ хранилище." тут вообще запутался 😊
Д
у меня же будет допустим 1noda + по 10 в бонде, (20) будет подключена полка, на ней будут лежать vm Диски выбрал 4 штуки для полки таких Жесткий диск Western Digital HUS726T6TAL5204 это будет медленно?
Д
То есть будет упираться в протокол iscsi?
Сергей
что то как не понял немного, ZFS over iscsi же можно будет? при чем тут nfs?
ZFS over iscsi (https://pve.proxmox.com/wiki/Storage:_ZFS_over_iSCSI) - это когда конечное устройство на котором размещаются тома для виртуальных машин использует файловую систему ZFS. А доступ из PVE к такому устройству идёт через iscsi
Сергей
в вашем случае конечное устройство - это просто ОГРОМНЫЙ массив, который можно презентовать через iscsi как блочные устройства (типа обычных дисков).
Д
получается работать будет медленно, но вариант с дисками и сборкой с отдельной нодой как хранилище, тоже не получается, в ноде места мало будет. Тем более куча дисков ssd по 450.
Д
да, но 1 нода как отдельный физ сервер. там всего 6 дисков
Д
то есть по сути в шасси 4 отдельных сервера
Д
сразу два уходит на зеркало для proxmox
Сергей
то есть по сути в шасси 4 отдельных сервера
понял, 4x6=24. Вот откуда 24
Д
Да конечно
Д
тут прям напрашивается 3 шасси, все бы проблемы решились
Сергей
а отдельного расширения шасси для подключения только дисков нет?
Д
нету
Сергей
Д
То есть я кажется понял что вы имеете ввиду диски должны в полке отдельно подключатся
Сергей
Expander backplane option with the 24 x 2.5" HDD-equipped PowerEdge C6220 II enables a custom allocation of HDDs among the two 2U or four 1U nodes. Each server node can be configured independently of the other nodes in the same chassis to perform specific tasks.
Сергей
То есть я кажется понял что вы имеете ввиду диски должны в полке отдельно подключатся
ну и это позволит подключить эти доп, диски к одному из блейдов. И это точно дешевле чем отдельное хранилище по iscsi
Д
да его уже купили
Д
объяснять бесполезно у нас
Сергей
да его уже купили
вернуть и обменять на эту полку?
Д
врятли
Сергей
в противном случае вас ждут сложности в создании общего хранилища и обеспечения HA для ВМок
Vladimir
Они уже сейчас у меня эти сложности 😁 хоть drbd настраивай.
в целом не худшая технология, если отвала сети не происходит и сплит брайна...
Д
что такое сплит брайн
Д
на 6 proxmox развернуть возможно его?
Д
просто почитал как то там все мудренно
Vladimir
что такое сплит брайн
эт вид ошибки, когда два «сервера» думают что они мастер
Vladimir
drdb имеет это как слабую сторону в реплике 2
Vladimir
но я не юзал его, знаю что неплохая штука по перфомансу
Сергей
на 6 proxmox развернуть возможно его?
https://habr.com/ru/post/417473/ только в вашем случае диски будут не локальные, а подключаемые через iscsi.
Д
вот это я и читал там допиливаний много
Д
но похоже только этот вариант остается
Сергей
вот это я и читал там допиливаний много
много. и получается что у вас будет слой поверх iscsi вместо прямого доступа к дискам
Д
это если с полкой
Д
да полку вероятно отдельно цеплять как хранилище, где не надо быстродействия для таким vm
Сергей
это если с полкой
это если с вашим внешним хранилищем, которое уже купили
Сергей
ну можно и собственные 6 дисков на каждом блейде конечно разадавать
Д
это если с вашим внешним хранилищем, которое уже купили
Да я про это, но с drbd можно и диски на нодах соеденить в одно хранилище но только через сеть?
Д
А если полку прсото по iscsi использовать, в скорости проигрыш если ннапример с вариантом поверх zfs?
Сергей
Да я про это, но с drbd можно и диски на нодах соеденить в одно хранилище но только через сеть?
только через сеть, да. А на существующих блейдах в опицях настройки нет такого чтобы на каждый блейд оставить по 2 диска, а оставшиеся 4 отдать какому-то отдельному блейду?
Д
буду крутить смотреть
Сергей
А если полку прсото по iscsi использовать, в скорости проигрыш если ннапример с вариантом поверх zfs?
вы по iscsi получите до 2x10гбит/с, если в сумме диски смогут столько выдадать.
Сергей
Это так сразу не подскажу вот сейчас занимаюсь выводом 1 ноды из ceph и кластера.
если такая возможность есть, то вы бы смогли на выделенный блейд собрать до 18 дисков. А это уже намного лучше и можно было бы реализовать без внешнего хранилища сторадж
« Rev
@ru_zfs   90
Fwd »