Станислав
Как раз "фиксация" TXG и происходит
Evgeniy
подскажите по бэкапам, пожалуйста.
есть два ZVOL'а на двух NVME дисках в stripe, плюс для HDD в зеркале. хочу ZVOL'ы бэкапить на HDD (раз в неделю, наверное), чтобы в случае выхода из строя одного NVME просто начать работать с (плюс-минус) той же самой информацией, но только с HDD.
возможны ли в ZFS и в частности какие-то "инкрементальные" бэкапы zvol'ов, чтобы не мучать HDD и не лить каждый раз 5ТБ? ZFS используется в TrueNAS SCALE, возможно там есть что-то такое
Fedor
подскажите по бэкапам, пожалуйста.
есть два ZVOL'а на двух NVME дисках в stripe, плюс для HDD в зеркале. хочу ZVOL'ы бэкапить на HDD (раз в неделю, наверное), чтобы в случае выхода из строя одного NVME просто начать работать с (плюс-минус) той же самой информацией, но только с HDD.
возможны ли в ZFS и в частности какие-то "инкрементальные" бэкапы zvol'ов, чтобы не мучать HDD и не лить каждый раз 5ТБ? ZFS используется в TrueNAS SCALE, возможно там есть что-то такое
При использовании снимков (для удобства управления) и функционала send/receive возможно передавать инкрементальные данные.
Evgeniy
Evgeniy
снимки - это snapshot'ы?
Fedor
Но это полноценным бекапом считаться не может. Максимум - репликой
Eugen
подскажите по бэкапам, пожалуйста.
есть два ZVOL'а на двух NVME дисках в stripe, плюс для HDD в зеркале. хочу ZVOL'ы бэкапить на HDD (раз в неделю, наверное), чтобы в случае выхода из строя одного NVME просто начать работать с (плюс-минус) той же самой информацией, но только с HDD.
возможны ли в ZFS и в частности какие-то "инкрементальные" бэкапы zvol'ов, чтобы не мучать HDD и не лить каждый раз 5ТБ? ZFS используется в TrueNAS SCALE, возможно там есть что-то такое
очень сильно зависит от того, что за данные хранятся.
условно говоря, то, что подходит для репликации архива картинок, то может привести к кровавой драме, если мы снепшотами наивно "бекапим" реляционную СУБД, к примеру.
редко изменяемые данные, которые лежат в статическом виде - можно сендом гонять.
если же там, к примеру, какая-то виртуальная инфраструктура или датастор для серверов - так себе идея.
Evgeniy
очень сильно зависит от того, что за данные хранятся.
условно говоря, то, что подходит для репликации архива картинок, то может привести к кровавой драме, если мы снепшотами наивно "бекапим" реляционную СУБД, к примеру.
редко изменяемые данные, которые лежат в статическом виде - можно сендом гонять.
если же там, к примеру, какая-то виртуальная инфраструктура или датастор для серверов - так себе идея.
Считай, что архив картинок, достаточно редко изменяемый
Алексей
Зачем они на нвме?
Aleksey
/stat@combot
Total messages: 77079
Nikolay
Vladislav
Nikolay
С какими параметрами iostat запускался? Какая версия ОС? Какая версия ZFS?
zpool iostat -vyln 1 5 , пробовал просто раз в секунду, бывает 3-5к операций на запись.
zfs-2.1.11-pve1
zfs-kmod-2.1.11-pve1
debian 11 от проксмокса 7
Fedor
скидывай
Sergey
А собирать пул из кучи vdev(зеркал) разного размера это нежелательно? Или когда ваяешь из говна конфетку то покатит? Просто есть мысли чтобы не было 2 пула (из 4тб дисков и 1тб дисков). А этот один пул обвешать slog, special дисками чтоб взлетело прям. (не прод)
Nikolay
А собирать пул из кучи vdev(зеркал) разного размера это нежелательно? Или когда ваяешь из говна конфетку то покатит? Просто есть мысли чтобы не было 2 пула (из 4тб дисков и 1тб дисков). А этот один пул обвешать slog, special дисками чтоб взлетело прям. (не прод)
Вроде нельзя из дисков разного размера собрать пул. Команда ошибку выдаст.
Sergey
Почему. В зеркале то одинаковые диски. А зеркала разношёрстные. Так то можно
Nikolay
Или будет ограничение по минимальному размеру. Потеряешь в объеме, в твоём случае 3 Тб с каждого диска.
Sergey
Или будет ограничение по минимальному размеру. Потеряешь в объеме, в твоём случае 3 Тб с каждого диска.
Да не будет никаких ограничений
Sergey
Просто зеркала будут разного размера. Это если делать условный raid10. А не raidz#
Станислав
А собирать пул из кучи vdev(зеркал) разного размера это нежелательно? Или когда ваяешь из говна конфетку то покатит? Просто есть мысли чтобы не было 2 пула (из 4тб дисков и 1тб дисков). А этот один пул обвешать slog, special дисками чтоб взлетело прям. (не прод)
Не проще забыть про 1Тб диски? Тогда от них мало, только мороки добавляют
Sergey
Не проще забыть про 1Тб диски? Тогда от них мало, только мороки добавляют
Еврейские привычки...) можно ещё два по 2тб докинуть
George
Вроде нельзя из дисков разного размера собрать пул. Команда ошибку выдаст.
Можно, вопрос только в неравномерности нагрузки на вдевы
smokerock
Vladislav
Nikita
первая мысль - smr, но, судя по заявлению вендора, таки, нет. https://blog.westerndigital.com/wp-content/uploads/2020/10/wd-red-family.png
smokerock
Раз грешим на аппаратные проблемы - где аппаратное описание?
Сейчас полностью аппаратную проблему исключаю, так как заменили вообще все железо, вместе с HBA контроллером, шлейфами и тд.
smokerock
Диски cmr всегда подбираем.
Vladislav
smokerock
4 шлефа на 16 дисков
smokerock
Каждый по отдельности в бекплейне, 4 диска на шлейф
smokerock
Есть одно, НО в первом зеркале смарт живого диска с ошибками, но хрень в том, поменять его не можем, потому что все подкидываемые к нему диски собственно выпадают в DEGRADED.
smokerock
Второе НО, в первом зеркале, второй диск чудом не отвалился, которые имеет 12 ошибок CKSUM
Vladislav
А когда последний раз у вас работал скраб?
smokerock
На прошлой неделе когда контроллер заменил
smokerock
Ну собственно, после перезагрузки счётчики сбрасываются, стартуешь скраб, на моменте repairing начинает сыпаться
victor
А когда последний раз у вас работал скраб?
Так же на проблемном этом пуле, работает дедупликация.
Александр
Блок питания проверяли? Нагрузку вытягивает? Часто по питанию посадка бывает и винты выпадает в ожидание.
smokerock
Блок питания проверяли? Нагрузку вытягивает? Часто по питанию посадка бывает и винты выпадает в ожидание.
Одно из первых что проверяли после памяти и шлейфов, подкидывали новый
Илья
Одно из первых что проверяли после памяти и шлейфов, подкидывали новый
А что по железу, есть описание сервера
smokerock
Как то вот так
smokerock
ASUS P10S-X Series - 4 x Intel(R) Xeon(R) CPU E3-1220 v5 @ 3.00GHz (1 Socket)
32 GB RAM
Linux 5.4.124-1-pve #1 SMP PVE 5.4.124-1 (Wed, 23 Jun 2021 13:47:09 +0200)
Proxmox 6.4-13
ZFS: Loaded module v2.0.4-pve1, ZFS pool version 5000, ZFS filesystem version 5
cat /sys/module/zfs/version
2.0.4-pve1
Vladislav
Ну раз прокс старее динозавра, то я точно пасс
Vladislav
Vladislav
Раз в 3 года можно и окошко технологическое найти
Vladislav
ASUS P10S-X Series - 4 x Intel(R) Xeon(R) CPU E3-1220 v5 @ 3.00GHz (1 Socket)
32 GB RAM
Linux 5.4.124-1-pve #1 SMP PVE 5.4.124-1 (Wed, 23 Jun 2021 13:47:09 +0200)
Proxmox 6.4-13
ZFS: Loaded module v2.0.4-pve1, ZFS pool version 5000, ZFS filesystem version 5
cat /sys/module/zfs/version
2.0.4-pve1
Оффтопик, но Вам точно нужен ZFS в такой конфигурации?
Не отговариваю, но призываю задуматься о целесообразности
victor
Оффтопик, но Вам точно нужен ZFS в такой конфигурации?
Не отговариваю, но призываю задуматься о целесообразности
Вполне хватает для наших задач
victor
Дедупликация, сжатие, вполне нормально работают
Илья
Да и зфс версия уже покрылась мхом)
victor
Более того, есть точно такой же прокс в этом же кластере, с такой же версией zfs. Проблем нет
victor
И там тоже дедупликация
victor
victor
victor
Аналогичный сервер работает без проблем
victor
Так что не понятно в чем проблема
Vladislav
Иначе бы понятия *неповторяемые ошибки* не существовало бы и абсолютно все ошибки могли бы быть воспроизведены
victor
Ну, однозначно проблема есть, это да. Обновление у меня запланировано как один из вариантов, конечно.
Юрий
/report
Evgeniy
При использовании снимков (для удобства управления) и функционала send/receive возможно передавать инкрементальные данные.
спасибо большое, основной бэкап льётся.
плюс инкремент тоже вроде сработал на тестовом датасете
root@truenas[/home/admin]# zfs send -v -I POOL_NVME_COMMON/backup_test@backup_test_snap3 POOL_NVME_COMMON/backup_test@backup_test_snap4 | zfs receive -vF WD_8TB/backup_test1
send from @backup_test_snap3 to POOL_NVME_COMMON/backup_test@backup_test_snap4 estimated size is 3.61G
total estimated size is 3.61G
TIME SENT SNAPSHOT POOL_NVME_COMMON/backup_test@backup_test_snap4
receiving incremental stream of POOL_NVME_COMMON/backup_test@backup_test_snap4 into WD_8TB/backup_test1@backup_test_snap4
22:20:05 1.35G POOL_NVME_COMMON/backup_test@backup_test_snap4
22:20:06 2.86G POOL_NVME_COMMON/backup_test@backup_test_snap4
received 3.62G stream in 27.86 seconds (133M/sec)
Evgeniy
Но это полноценным бекапом считаться не может. Максимум - репликой
а почему не может?
цеплял перелитый на другие диски тестовый датасет к виндовой тачке по iscsi - всё работает
жюн
вопрос по механике - если зеркало бахнуть на ssd и хард, запись будет ограничена скоростью харда?
Fedor
бекап - копия данных, изолированная от источника в достаточной степени согласно модели угроз. хранить на том же сервере - ну такой себе бекап.
Evgeniy
бекап - копия данных, изолированная от источника в достаточной степени согласно модели угроз. хранить на том же сервере - ну такой себе бекап.
ну сорян, у меня не энтерпрайз уровень :)
у меня была цель сохранить данные при выходе из строя одного из дисков в страйпе, этого в целом достаточно
Evgeniy
Ivan
жюн
что-то на дорогом
Georg🎞️🎥
привет, планирую купить такой же. как они на чтение/запись? заявленные 3200/1000 держат?
Плюс минус похоже )) но к меня он в боксе с Thunderbolt подключением
жюн
36000 IOPS заявлено, что-то маловато
жюн
тогда зачем оно надо?
жюн
или у вас там сетка 25гб+?