Александр
Форсированный экспорт приведет к прерыванию записи, он просто отклонит запросы на запись и извлечёт пул. С данными на пуле что хранились ничего не будет, а вот с незаписанными всё перечисленное.
Konstantin
Вадим «Дым» Илларионов ☭
Кот Матроскин
зфс - больше про целостность и сервисы. Если они нужны - можно её рассмотреть.
Как выяснилось, целостность тоже не сильно надежная, при плохих дисках)
Кот Матроскин
Проверка целостности и достоверности записанных данных. Сервисы, одним словом.
Только сразу проверять не умеет)
Δαρθ
для остального -- по надобностям
Δαρθ
например если работа с образами для вирт машин - zfs
Δαρθ
бекап, сжатие?
сжатие да. но главное -- снапшоты. в бтрфс они сделаны крайне user-friendly, не нужно никаких пляcок с initramfs если хочется забутиться со снапшота например
Δαρθ
груб опять же без плясок бтрфс поддерживает
2happy
груб опять же без плясок бтрфс поддерживает
я уже с xfs пошел ставить - быстрый, стабильный. Для конопляции топ за свои деньги насколько я понял.
С бтрфс посидел несколько месяцев, норм.
Δαρθ
для конопляции помоему вообще пофиг. скоко ни коньпелировал ведер линукса и гент -- всегда в проц упирается
2happy
для конопляции помоему вообще пофиг. скоко ни коньпелировал ведер линукса и гент -- всегда в проц упирается
ccache - я про него.
И вроде быстрее io - будит приятнее работать. На 00.0.1%, да
Алексей
Извините, пожалуйста, а что такое конопляция?
George
я уже с xfs пошел ставить - быстрый, стабильный. Для конопляции топ за свои деньги насколько я понял.
С бтрфс посидел несколько месяцев, норм.
Надо было пробовать сначала:) у меня rootonzfs на дебиане с нвме на ноуте, больше чем по ману с сайта ничего крутить не надо. Сжатие топчик, игоры жмутся в среднем в 1.3 раза.
2happy
Извините, пожалуйста, а что такое конопляция?
исковерканная компиляция - процесс сборки из исходного года.
Animal
Братва. Появилось пара оБибок )) на одном из пулов (один из 3х дисков). RAIDZ1 3 диска. Как правильнее - вначале clean потом scrub или вначале scrub потом clean?
Animal
кроме стандартных - см СМАРТ, кабели, срочно бэкап и пр... это само собой тут уже решим )
Александр
clean очищает статус прошлых ошибок, скраб же запускает проверку контрольных сумм. Clear можно не делать.
Animal
Еще раз всем спасибо. Проверяется... еще...оповещения на мыло это хорошо, но до кучи натравил netdata на телегу. Вроде работает.
Konstantin
#Вопрос
Добрый вечер. Подскажите пожалуйста, ZFS over iSCSI кто-то использует? Существует ли у iSCSI target / initiator (lio-t / targetcli) некий буфер?
В моем случае ВМ пишет оч бодро на диск (ZFS том) шаренный по iSCSI, и поедает как не в себя RAM. Причем это происходит со стороны target (ОС с ZFS) и со стороны ВМ. Initiator на PVE (storage) на котором стоит ВМ, не ощущает ничего кроме распухшей по RAM ВМ.
Александр
#Вопрос
Добрый вечер. Подскажите пожалуйста, ZFS over iSCSI кто-то использует? Существует ли у iSCSI target / initiator (lio-t / targetcli) некий буфер?
В моем случае ВМ пишет оч бодро на диск (ZFS том) шаренный по iSCSI, и поедает как не в себя RAM. Причем это происходит со стороны target (ОС с ZFS) и со стороны ВМ. Initiator на PVE (storage) на котором стоит ВМ, не ощущает ничего кроме распухшей по RAM ВМ.
Терминология iSCSI во многом основывается на терминологии, использующейся в SCSI:
initiator — тот, кто устанавливает соединение с целью (target). Чаще всего это узел (в общем случае), осуществляет ввод/вывод на блочные устройства.
target — экспортируемый объект. В зависимости от контекста цель (target) называют или целиком экспортирующий узел, или только экспортируемый объект. Сам объект может делиться на lun’ы.
Александр
Думаю что небольшой буфер существует, протокол обязывает. Но чувствительность к сети есть. И это нужно учитывать.
Александр
Так же сама zfs кэшироует в рам многие операции, как со стороны лун, так и со стороны клиента
Александр
По nfs в qcow и img образах при небольшом количестве вм можно перезагрузить nfs-server без последствий
Александр
Коллеги есть ли у кого опыт iscsi ?
Konstantin
По nfs в qcow и img образах при небольшом количестве вм можно перезагрузить nfs-server без последствий
Вот тут наверно уже архитектурный вопрос. Как лучше в итоге сделать. ZFS over iSCSI или просто NFS. ZoI по идее быстрее чем NFS, но NFS должен быть отказоустойчивые по логике
Александр
Вот тут наверно уже архитектурный вопрос. Как лучше в итоге сделать. ZFS over iSCSI или просто NFS. ZoI по идее быстрее чем NFS, но NFS должен быть отказоустойчивые по логике
Я начинал iscsi под прокс готовить, но побоялся задержек, в моем случае сеть была не готова на тот момент и я развернул на nfs. Как по nfs отдавать диски знаю и вполне стабильно работает. Сеть утилизирует хорошо и как я говорил, при небольшом количестве вм, nfs-server сервер можно перезапустить без последствий.
Konstantin
Так же сама zfs кэшироует в рам многие операции, как со стороны лун, так и со стороны клиента
Да, но мне не понятно, почему в случае с ZoI, я могу вкинуть на диск 50+ГБ и он куда-то растворится в оперативках. Затем безболезненно выключить ВМ, без предупреждений или долгих скидываниях буферов.
Александр
iscsi к сети более требовательна. Но зато можно zvol со снэпами отдавать
Vladislav
Vladislav
Его можно сделать таким
Vladislav
Как и iSCSI с помощью drwb+pacemaker
Konstantin
А как ZFS связан с кэшем на запись?
Я просто не понял, что именно в шаренную фс надо сливать чтобы был отказоустойчивый iscsi?
Vladislav
Vladislav
Вот сейчас я не понял
Vladislav
Zfs over iscsi по определению proxmox это zpool внутри которого создаётся кучка zvol на каждую ВМ
Александр
Я просто не понял, что именно в шаренную фс надо сливать чтобы был отказоустойчивый iscsi?
iscsi target поверх drbd как я понимаю
Александр
Так?
Vladislav
А да, я забыл
Vladislav
Что proxmox нужен API доступ до ZFS
Александр
Т.е. желание резервировать iscsi luns?
Vladislav
Александр
Т.е. за iscsi вообще может быть не zfs. А всё что угодно. Главное чтобы у неё было отказоустойчивой решение.
Konstantin
Т.е. за iscsi вообще может быть не zfs. А всё что угодно. Главное чтобы у неё было отказоустойчивой решение.
А, ну, если не ZFS, то это уже совсем другая история
Александр
Что-то всё в кучу iscsi поверх него zfs. В нижнем слое iscsi тоже zfs?
Александр
Вопрос про zfs поверх iscsi. Это значит что вы забрали лун, в него пишете zfs. А что за лун вас не волнует.
Vladislav
Vladislav
в терминологии Proxmmox
Vladislav
это другое
Vladislav
Смиритесь
Александр
Если же вопрос о том что вас интересует решение чтобы и сама лун была на zfs. Это тоже уже другое
Konstantin
Что-то всё в кучу iscsi поверх него zfs. В нижнем слое iscsi тоже zfs?
Там у PVE есть "стандартное" решение. ZFS over iSCSI storage. Initiator имеет доступ по SSH к хосту с ZFS и target. И получается когда он хочет создать диск для ВМ, то вызывает API и создаёт сначала том ZFS и сразу шарит его как лун
Vladislav
И одновременная работа с ним обеспечивается за счёт того, что каждая ВМ это отдельный zpool
https://pve.proxmox.com/wiki/Storage:_ZFS_over_ISCSI
Александр
Не тривиально. Но видимо такова сущность самого proxmox. Не пробовал, потому столько вопросов.
Konstantin
Vladislav
Это отдельный том, а не пул
Proxmox VE connects to the target for creating the ZVOLs and exporting them via iSCSI
Vladislav
А да
Vladislav
Всё правильно изначально писал
Vladislav
Александр
Pool - весь рэйд массив, zvol нарезка на кусочки. Я думаю просто опечатка. Не страшно.
Александр
Теперь всё понятно.
Konstantin
В связи с этим вопрос, как-то можно ZFS отданный как LUN по сети принудить к записи без кэширования в RAM?
Vladislav
Александр
В общем, когда я iscsi трогал, на тот момент не решился использовать. Кэш будет и в хост ос и в госте.
Александр
Хотя, если в госте отличная от zfs фс. То будет настройками кэша диска вм рулить и настройкам. Самой вм в отдельности.
Александр
Нужно резервировать питание