Ivan
zfs list -t snapshot
Vladimir
Ivan
много времени прошло с момента удаления ?
Vladimir
часа 4-5
Василий
а тот снапшот что на скрине, не этот диск?
Василий
дедуп включен?
Ivan
вообще похоже будто файл куда-то переместился
Vladimir
вообще похоже будто файл куда-то переместился
я поставил ncdu и прошелся по всем файловым системам, файла того я не нашел
Ivan
я поставил ncdu и прошелся по всем файловым системам, файла того я не нашел
только хотел его посоветовать.
Vladimir
не первый день замужем))))
Vladimir
но тут странность
Василий
кто то гооврил что в озфс ребут помогает
Ivan
zfs -V
Vladimir
?
Vladimir
Vladimir
так стоп, походу я просто ждал не того что надо, я удалил виртаульный образ диска, iscsi, который был битым и ничего с ним не сделаешь, винда его понимала как 40ТБ но по факту он мг быть всего 6 тб, я верно думаю?
Vladimir
ну значит я ожидал не того. диск виртуальный то битый , подключить мне его не удалось. ну ладно, всем доброго вечера
Sergey
Надо было его свойства в самой зфс до удаления посмотреть, еще для успокоения можно глянуть на freeing в самом пуле (хз есть ли во фре такой параметр)
Vladimir
0 пишет
Sergey
Значит считает, что все освободило
Vladimir
значит моя теория была верной)
Fedor
Доброго вечера коллеги, я редко работаю с zfs , но года 2,5 назад собрал на freenas массив raidz3 , на нем работают, все хорошо, сегодня я с него черех smb на винде удалил файл в 40ТБ, но как то объем свободного пространства не увеличился, что может быть? корзины у smb - нет
Может быть, в системе присутствует открытый дескриптор к этому файлу - файл будет удалён после закрытия дескриптора
Fedor
Под никсами на зфс сделать lsof греп этот файл
Fedor
Всё, дочитал. Ну пусть будет хозяйке на заметку.
Dmitry
Dmitry
а вот никто не сталкивался с тем, что в /dev/zvol иногда при клонировании не создается симлинк?
Dmitry
https://github.com/openzfs/zfs/issues/12507
отписал в issues, но может тут кто на это напарывался. Баг плавающий, может неделю нормально работать
Dmitry
клоны удаляются и создаются достаточно активно, в сутки несколько сотен удалений и созданий
Ilya
так стоп, походу я просто ждал не того что надо, я удалил виртаульный образ диска, iscsi, который был битым и ничего с ним не сделаешь, винда его понимала как 40ТБ но по факту он мг быть всего 6 тб, я верно думаю?
При удалении по SMB даже при выключенной корзине я замечал на TrueNAS историю, когда файлы перемещались в подпапку .recycle в той же папке.
Помогло удаление только через Шелл, так как ручное удаление оттуда приводило к увеличению вложенности этой "корзины".
Ilya
Версия с тонким волюмом тоже вероятна.
Ещё один нюанс: винда будет думать, что диск такого размера, какого ей это говорит ctld. При этом сам волюм в zfs может быть и больше.
Ilya
Условно, zfs create -v создаём 100гб, в ctld.conf публикуем его как 60гб, и инициатор увидит всего 60гб
Ivan
может на холде стоят? zfs holds
стоят, но холд не снимается. один снап якобы не существует, а другой busy.
Ivan
стоят, но холд не снимается. один снап якобы не существует, а другой busy.
вернее родительский датасет не существует
Ivan
так не удалили )
Dmitry
А можно вывод zfs holds и что при попытке снять холд пишет
Ivan
https://github.com/openzfs/zfs/issues/12489
Ivan
я успел issue завести
Dmitry
просто zfs holds снапшот
Ivan
оказывается в zfs release нужно было указать тэг. я даже не знал что в zfs тэги есть. 🤦♂️
Dmitry
оказывается в zfs release нужно было указать тэг. я даже не знал что в zfs тэги есть. 🤦♂️
Я просто с этим неделю назад столкнулся, тож всю башку сломал ))
riv
Уметь то они умеют, но длинные кабели для меня не вариант :(
У меня тоже на этих кабелях все глючило. Разобрал в итоге. Так вот почему это могло происходить! Надо ещё раз попробовать на коротких собрать. Всё есть на авито и алиэкспере.
riv
raidz принципиально сделан так, чтобы исключить raid write hole, рандомные иопсы на запись всегда будут примерно как у самого медленного диска
Но это может быть не так важно, если нет синхронного трафика, ведь zfs пишет транзакционно. Лично я нахожу использование raid-z2 вместе со special vdev, slog и cache vdev на хороших ssd разумным.
Alexander
У меня тоже на этих кабелях все глючило. Разобрал в итоге. Так вот почему это могло происходить! Надо ещё раз попробовать на коротких собрать. Всё есть на авито и алиэкспере.
Можно пожалуйста пример короткого кабеля с SAS на 4x SATA или переходник?
Fedor
Такого не бывает - там разный набор команд
Fedor
Что сас, что сата должен поддержать контроллер
LordMerlin
Так вопрос то и про это. К сас контроллеру подключить 4сата на каждый порт.
LordMerlin
И да, такие кабели есть.
LordMerlin
Но видел только с длинными концами
inqfen
Alexander
Такого не бывает - там разный набор команд
Раз модератор сказал не бывает, - значит не бывает.
Alexander
Ты случаем не разьем сасом называешь?)
https://www.amazon.com/Lsi-8-Port-External-Sata-Pcie/dp/B00O5GZOJW
Alexander
Такого не бывает - там разный набор команд
https://images-na.ssl-images-amazon.com/images/I/71Fhs2oFxbL.__AC_SX300_SY300_QL70_ML2_.jpg
Fedor
Да-да
Dima
Всем привет, помогите разобраться плиз.
Имею пул из nvme дисков INTEL_SSDPE2KE076T8
В настройках пула задан ashift 0
zdb говорит, что у всех vdev ashift 12
stat -f /dev/nvme0n1 говорит (Block size: 4096 Fundamental block size: 4096)
а вот fdisk например пишет так (Sector size (logical/physical): 512 bytes / 512 bytes)
cat /sys/block/nvme0n1/queue/physical_block_size 512
cat /sys/block/nvme0n1/queue/logical_block_size 512
И вот fdisk и иформация из sys меня совсем запутали. Вроде как со стороны zfs определился ashitft корректно, вроде как размер сектора 4к, почему в fdisk и sys 512? или я может что-то не так понимаю? может кто-нибудь пояснить?
Dima
Всем привет, помогите разобраться плиз.
Имею пул из nvme дисков INTEL_SSDPE2KE076T8
В настройках пула задан ashift 0
zdb говорит, что у всех vdev ashift 12
stat -f /dev/nvme0n1 говорит (Block size: 4096 Fundamental block size: 4096)
а вот fdisk например пишет так (Sector size (logical/physical): 512 bytes / 512 bytes)
cat /sys/block/nvme0n1/queue/physical_block_size 512
cat /sys/block/nvme0n1/queue/logical_block_size 512
И вот fdisk и иформация из sys меня совсем запутали. Вроде как со стороны zfs определился ashitft корректно, вроде как размер сектора 4к, почему в fdisk и sys 512? или я может что-то не так понимаю? может кто-нибудь пояснить?
вероятно со стороны операционки еще нужно было сделать что-то типо такого
nvme format /dev/nvme0n1 -b 4096
Dima
Но все равно не понятно,в описанной мной ситуации меня это аффектит или нет по производительности
Ivan
Большинство ssd имеют блок 8К, они прикидываются типа имеют другой блок для совместимости со всякими ОС и СХД. Вродь как рекомендуют ashift13 для пуще производительности. Но возможно в некоторых случаях можно выбирать другой размер.
Dima
Большинство ssd имеют блок 8К, они прикидываются типа имеют другой блок для совместимости со всякими ОС и СХД. Вродь как рекомендуют ashift13 для пуще производительности. Но возможно в некоторых случаях можно выбирать другой размер.
это мне понятно, по этому asift и 12, на счет 13 я не уверен, так как не нашел никаких спецификаци на конкретные диски. Мне вот не понято, если ashift выставлен корректно, а NVMe low level formatting не сделан, то как это влияет
Dima
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Hardware.html#nvme-low-level-formatting
George
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Hardware.html#nvme-low-level-formatting
это лучше делать, по дефолту у nvme часто меньший блок стоит нежели он позволяет
George
сам nvme от реформата будет эффективнее работать с бОльшим блоком, жаль не у всех это настраивается
Dmitry
это лучше делать, по дефолту у nvme часто меньший блок стоит нежели он позволяет
да, и это свинство с их стороны. Что мешает выставлять наружу нативный блок, я не понимаю
Sergey
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Hardware.html#nvme-low-level-formatting
У меня низкоуровневое форматирование на 2 самсунговских SSD (Evo и Pro) не работает. Вернее, делает вид, что форматирует, но размер блока при этом не меняется.
Василий
пришел поподгорать