получается добавлять диски в vdev щас нельзя...

получается добавлять диски в vdev щас нельзя...

Нет, можете на более емкие по одному по тихонечку ))

А все еще нет ничего похожего на дефрагментацию ? ))) типа нажал - пару дней пул погудел и «дырки» ушли )))

вот кстати. бтрфс под торрентами ускоряется примерно на треть после дефрага (имею в виду отдельные файлы и их линейное чтение), в зфс так и останется медленно )

Ну вот похоже нет такого механизма

Кто то может подсказать, почему при аплоаде образа установщика убунту на сервак под управлением TrueNas на sata ssd , который является stripe, грузится с маленькой скоростью (увы, не индицирует ее, навскидку, 40мб/с), а на mirror из двух sata hdd значительно быстрее (примерно 200мб/с)? Может ли быть дело в том, что страйп?) Максимально тупое предположение, но иных причин я не вижу P.S. система голая, без надстроек

ssdэ hddу рознь

Кто то может подсказать, почему при аплоаде образа установщика убунту на сервак под управлением TrueNas на sata ssd , который является stripe, грузится с маленькой скоростью (увы, не индицирует ее, навскидку, 40мб/с), а на mirror из двух sata hdd значительно быстрее (примерно 200мб/с)? Может ли быть дело в том, что страйп?) Максимально тупое предположение, но иных причин я не вижу P.S. система голая, без надстроек

Zfs по разному работает с ssd и hdd. Надо погуглить как форсировать режим hdd на ssd. Раньше это давало прирост на бытовых ssd.

Нет, можете на более емкие по одному по тихонечку ))

А лучше иметь вторую железку с черт знает каким хранилищем но ёмким, гнать туда все, пересоздавать пул на бо́льшее количество дисков и записывать обратно =))))

А лучше иметь вторую железку с черт знает каким хранилищем но ёмким, гнать туда все, пересоздавать пул на бо́льшее количество дисков и записывать обратно =))))

Да, у меня есть таких пара штук )

Тандерболт банка на 70 теров

Тандерболт банка на 70 теров

0_0 Офигеть

А все еще нет ничего похожего на дефрагментацию ? ))) типа нажал - пару дней пул погудел и «дырки» ушли )))

Есть 😂 zfs snapshot pool/fs@1 zfs send pool/fs@1 | zfs recv pool/fsnew zfs destroy -r pool/fs zfs destroy pool/fsnew@1 zfs rename pool/fsnew pool/fs

Вот такая , тока дома 24 тера

А все еще нет ничего похожего на дефрагментацию ? ))) типа нажал - пару дней пул погудел и «дырки» ушли )))

для начала стоить сказать то что фрагментация ntfs это не то же самое что фрагментация zfs, в первом случае значение относиться к данным во втором к свободному месту

Есть 😂 zfs snapshot pool/fs@1 zfs send pool/fs@1 | zfs recv pool/fsnew zfs destroy -r pool/fs zfs destroy pool/fsnew@1 zfs rename pool/fsnew pool/fs

Ооооо😱😱😱а это вы шутите или реал? Я не оч сильно шарю ((

дефрагментацию данных на CoW делать довольно идиотская затея

У меня дома лежит HP DL160 Gen9, там 8 дисков по 600гб Хочу RaidZ2 Хочу со временем все на 2тб ссд заменить... Смогу ли я без пересоздания пула нарастить ёмкость? Или raidz2 только с дисками одного объёма работает ?

дефрагментацию данных на CoW делать довольно идиотская затея

То есть скорости не прибавит ибо принцип другой ?

То есть скорости не прибавит ибо принцип другой ?

в теории это увеличит скорость записи

Ооооо😱😱😱а это вы шутите или реал? Я не оч сильно шарю ((

Хз )) надо проверять. Видел где-то давно такой типа хинт. Но свободного место должно быть.

но запись это же не конь в вакуме

можно все остальное ухудшить

дефрагментацию данных на CoW делать довольно идиотская затея

Согласен. А что на счет автотрима на обычных хдд? Ща по памяти не помню. Работает?

Согласен. А что на счет автотрима на обычных хдд? Ща по памяти не помню. Работает?

а обычные hdd trim поддерживают?

У меня дома лежит HP DL160 Gen9, там 8 дисков по 600гб Хочу RaidZ2 Хочу со временем все на 2тб ссд заменить... Смогу ли я без пересоздания пула нарастить ёмкость? Или raidz2 только с дисками одного объёма работает ?

Ну через ребилд по одному менять ))

У меня дома лежит HP DL160 Gen9, там 8 дисков по 600гб Хочу RaidZ2 Хочу со временем все на 2тб ссд заменить... Смогу ли я без пересоздания пула нарастить ёмкость? Или raidz2 только с дисками одного объёма работает ?

Да, если все диски заменить на бОльшие

Но увеличить можно будет на размер наименьшего

в теории это увеличит скорость записи

Скорость записи устраивает 👌писать особо нечего регулярно ))

а обычные hdd trim поддерживают?

Залез посмотреть. Да. Дает поменять autotrim на ВКЛ на пуле из обычного ротационного диска. Подозреваю тут скорее всего "фоновое" освобождение ранее удаленных данных

Мда. Фишка чисто для пула. На обычном хдд принудительный zpool trim кажись просто не запускается. На ссдшных пулах запускается. Ну видимо я так понимаю ес по каким то причинам пул будет клонирован/перенесен на ссд то тогда будет тримиться.

можешь поставить hba - делай zfs. не можешь - ext4 (c lvm). у zfs поверх аппаратного рейда очень много минусов и почти никаких плюсов.

не считая единичные сообщения о глюках с прошивками raid-контроллеров, у zfs поверх аппаратного рейда, экспортирующего каждый диск отдельно, никаких минусов не видно.

Вопрос не тупой. Не только ради этого. Ссд под лог дает производительность. Например попробуйте на шпинделях сделать raidz2, а потом раздать его по nfs. Без лога на ссд и с логом.

у меня для фс, расшаренной по nfs, стоит sync=disabled но это не везде применимо, конечно

Костя has been banned! Reason: CAS ban.

Потом расскажите :)

Без "спары" тоже самое. Б*** не понимаю от слова совсем, в чём проблема. Ещё раз: собираю железный рэйд10 ссд 4*512 интел, поверх проксмокс ext4 lvm - восстановление ВМ занимает 1,5 часа, делаю в SSA 4 ссд типа в рэйд 0 и поверх что ЗФС что БТРФС - в рэйд 10 - ска ВМ восстанавливается меньше чем за 30 мин😠 Может винты не дружат с контроллером. Завтра думаю перевести p420i в режим HBA и воткнуть винт с которого будет грузится. Точнее не так - 1 ссд nvme чз переходник в pci-e, на него ставлю proxmox, и 4 ссд подключенные к p420i в рэйд 10 (zfs либо btrfs? да хоть mdadm) и посмотрю может ещё что изменится... Ещё

ещё идея - может прошивку на винтах попробовать обновить?....

Без "спары" тоже самое. Б*** не понимаю от слова совсем, в чём проблема. Ещё раз: собираю железный рэйд10 ссд 4*512 интел, поверх проксмокс ext4 lvm - восстановление ВМ занимает 1,5 часа, делаю в SSA 4 ссд типа в рэйд 0 и поверх что ЗФС что БТРФС - в рэйд 10 - ска ВМ восстанавливается меньше чем за 30 мин😠 Может винты не дружат с контроллером. Завтра думаю перевести p420i в режим HBA и воткнуть винт с которого будет грузится. Точнее не так - 1 ссд nvme чз переходник в pci-e, на него ставлю proxmox, и 4 ссд подключенные к p420i в рэйд 10 (zfs либо btrfs? да хоть mdadm) и посмотрю может ещё что изменится... Ещё

а какого размера виртуалка? образ thin или thick? может быть, там thick образ на терабайт, в котором полезных данных гигабайт, вот zfs/btrfs и жмёт нули

у меня для фс, расшаренной по nfs, стоит sync=disabled но это не везде применимо, конечно

да это помогает, сам пробовал, но гонять без синка когда надо что бы гарантия была такое себе занятие, вот именно в такой ситуации когда сама zfs синхронна и nfs синкает передачу была дикая просадка, и в тонус всю схему вернул лог на ссд для массива из шпинделей, скорость фактически поднялась до уровня аппаратного рейда на батарейке, но все равно было медленнее, да и пофигу, все равно бэкапы сливаю, поэтому норм

Без "спары" тоже самое. Б*** не понимаю от слова совсем, в чём проблема. Ещё раз: собираю железный рэйд10 ссд 4*512 интел, поверх проксмокс ext4 lvm - восстановление ВМ занимает 1,5 часа, делаю в SSA 4 ссд типа в рэйд 0 и поверх что ЗФС что БТРФС - в рэйд 10 - ска ВМ восстанавливается меньше чем за 30 мин😠 Может винты не дружат с контроллером. Завтра думаю перевести p420i в режим HBA и воткнуть винт с которого будет грузится. Точнее не так - 1 ссд nvme чз переходник в pci-e, на него ставлю proxmox, и 4 ссд подключенные к p420i в рэйд 10 (zfs либо btrfs? да хоть mdadm) и посмотрю может ещё что изменится... Ещё

да, очень странное поведение, а что за модель ссд?

ещё идея - может прошивку на винтах попробовать обновить?....

вряд ли поможет, но в принципе обновить перед внедрением в продакш фирмварю хорошая тема

Без "спары" тоже самое. Б*** не понимаю от слова совсем, в чём проблема. Ещё раз: собираю железный рэйд10 ссд 4*512 интел, поверх проксмокс ext4 lvm - восстановление ВМ занимает 1,5 часа, делаю в SSA 4 ссд типа в рэйд 0 и поверх что ЗФС что БТРФС - в рэйд 10 - ска ВМ восстанавливается меньше чем за 30 мин😠 Может винты не дружат с контроллером. Завтра думаю перевести p420i в режим HBA и воткнуть винт с которого будет грузится. Точнее не так - 1 ссд nvme чз переходник в pci-e, на него ставлю proxmox, и 4 ссд подключенные к p420i в рэйд 10 (zfs либо btrfs? да хоть mdadm) и посмотрю может ещё что изменится... Ещё

и я бы для начала провел бы локальные тесты через fio на рейде и на zfs, btrfs все же я бы в продакшн под прокс не брал

ну потому что fio даст цифры как ведет себя zfs и аппаратка, а "восстанавливаю виртуалку полтора часа а на zfs пол часа" а откуда она восстанавливается, в каких условия хз, может там карма и просадка сети идет каждый раз когда крутится аппаратка =)

да это помогает, сам пробовал, но гонять без синка когда надо что бы гарантия была такое себе занятие, вот именно в такой ситуации когда сама zfs синхронна и nfs синкает передачу была дикая просадка, и в тонус всю схему вернул лог на ссд для массива из шпинделей, скорость фактически поднялась до уровня аппаратного рейда на батарейке, но все равно было медленнее, да и пофигу, все равно бэкапы сливаю, поэтому норм

а зачем бэкапам синк?

а зачем бэкапам синк?

потому что бэкапы =)

не вижу связи. в случае БД синк нужен чтобы в случае внезапной остановки можно было восстановить базу на консистентное состояние. у бэкапа же есть только одно консистентное состояние: он сделан

не вижу связи. в случае БД синк нужен чтобы в случае внезапной остановки можно было восстановить базу на консистентное состояние. у бэкапа же есть только одно консистентное состояние: он сделан

для БД синк важен скорее чтобы транзакцию надёжно в журнал положить. А консистентность БД должна уже уметь с помощью журнала восстановить. А утилиты для бекапа не должны синхронно писать, им должно быть достаточно по завершении всей записи синкнуться, и то не критично

все проще, дело не в самих бэкапах, сервак ставился под бэкапы, в нем аппаратный рейд на батарейке и 24 диска на нем, а потом появилась дисковая полка на хба, после того как разобрали старый кластер прокса и выкинули sas свич, осталась полка с дисками и мы ее воткнули в сервер бэкапов, и туда начали сливать допбэкапы, но когда начали сливать бэкапы на nfs over zfs то увидели что время резервного копирования дика выросло, начал копать в чем проблема и оказалось что аппаратный рейд работает как и работал, а подключенная полка имеет низкую скорость записи (раза в два) отсюда и рост времени резервного копирования (выходило что бэкап еще льется, а рабочий день пошел), начал искать проблему и выяснил что это двойной синк и на zfs и в nfs, отключение синка nfs проблему решало, но надо было разобраться как решить вопрос можно без отключения синка nfs, ну а вдруг завтра на nfs уже не бэкапы, а субд или что-то другое мегаважное надо будет писать, я покумекал и решил, что ссдшка под лог zfs должна помочь, воткнул пару интелов серверных и сделал зеркало куда вывалил лог, и вуаля, понеслось, скорость фс вернулась к норме, до аппаратного на батарейке не дотягивает, но около 80-90% производительности показывает

вот проблема похожа была на проблему с аппаратным рейдом у коллеги, локально fio меряешь zfs - все норм, начинаешь гонять поверх nfs - не норм

у меня для фс, расшаренной по nfs, стоит sync=disabled но это не везде применимо, конечно

Тоже дизебл выставил, пока не соображу , что реально улучшится с ssd на слог🤷🏻‍♂️только ли запись 🤷🏻‍♂️

да это помогает, сам пробовал, но гонять без синка когда надо что бы гарантия была такое себе занятие, вот именно в такой ситуации когда сама zfs синхронна и nfs синкает передачу была дикая просадка, и в тонус всю схему вернул лог на ссд для массива из шпинделей, скорость фактически поднялась до уровня аппаратного рейда на батарейке, но все равно было медленнее, да и пофигу, все равно бэкапы сливаю, поэтому норм

А ssd под слог должен ли быть равен скорости всего пула ?🤔

А ssd под слог должен ли быть равен скорости всего пула ?🤔

в смысле? ну пул на шпинделях, если нет лога, он лог на эти же шпиндели пишет = все уныло, а так лог валится на быстрые ссд = все бодро

в смысле? ну пул на шпинделях, если нет лога, он лог на эти же шпиндели пишет = все уныло, а так лог валится на быстрые ссд = все бодро

Жалко u2 ))) они зараза меньше тера не продают чего то (( дорого ((

я с тех пор всегда под шпиндели делаю лог на ссд, ссдшки большие не нужны, я обычно 128-ки ставлю

я с тех пор всегда под шпиндели делаю лог на ссд, ссдшки большие не нужны, я обычно 128-ки ставлю

Ну вот фиг найдёшь u2 128 )))

В трунас пишут - вошёл что то около 16 гб достаточно 😱🤔

А в каком случаях кроме nfs и бд slog используется?

Жалко u2 ))) они зараза меньше тера не продают чего то (( дорого ((

если железо онпремис я тупо внутрь сам покупаю и втыкаю, вон тот кейс с бэкапсерваком там те две ссдшки на внутренний контроллер прицеплены, винты на своем рейде отдельном, хба отдельно, но места под эти ссдшки не было, ну я их на двусторонний скотч внутри приклеил и хер с ними

если железо онпремис я тупо внутрь сам покупаю и втыкаю, вон тот кейс с бэкапсерваком там те две ссдшки на внутренний контроллер прицеплены, винты на своем рейде отдельном, хба отдельно, но места под эти ссдшки не было, ну я их на двусторонний скотч внутри приклеил и хер с ними

Онпремис эт что ? )))

Онпремис эт что ? )))

on-premis у себя в серверной, на своей площадке а не где-то в ЦОД куда нет доступа

on-premis у себя в серверной, на своей площадке а не где-то в ЦОД куда нет доступа

)) да, в кладовочке стоит ))) родимые

Жалко u2 ))) они зараза меньше тера не продают чего то (( дорого ((

Есть optane , они бывают меньше тера :)

А в каком случаях кроме nfs и бд slog используется?

вот тут не понял вопрос, если он касательно кому еще может понадобится синк, ну например виртуалке если ее диски лежат на nfs

Есть optane , они бывают меньше тера :)

Увы… давно оч дорого, по цене 20к😱

а разве интел не похоронил оптаны?

Вроде не планировал , только если в hynix отдаст

А ssd под слог должен ли быть равен скорости всего пула ?🤔

насколько быстро слог сможет принимать синхронную записать такая она для пула и будет, в пул эти же данные в следующем txg запишутся асинхронно

насколько быстро слог сможет принимать синхронную записать такая она для пула и будет, в пул эти же данные в следующем txg запишутся асинхронно

Добавлю: пока slog не заполнен

насколько быстро слог сможет принимать синхронную записать такая она для пула и будет, в пул эти же данные в следующем txg запишутся асинхронно

Вот не могу сообразить , читал про него , как это влияет на проиводтельчноть 🤦‍♂️вот у меня больше видеофайлы - мы их читаем в основном. Моментами заливаем на массив. Нужен ли мне вообщем этот слог 🤷🏻‍♂️

да для лога на обычных шпинделях обычной хорошей саташки хватит, те же самсунги про отлично справятся, нвмешки вообще супер, не рекомендую брать пользовательские особенно дешевые, сейчас их клепают на редкостном говне, но всегда лучше датацентровские брать, даже если ссдшка с избытком по емкости, ее можно вполне утилизировать под другие задачи

я как-то делал несколько логов на одной паре ссд под разные пули и было зашибись

Вот не могу сообразить , читал про него , как это влияет на проиводтельчноть 🤦‍♂️вот у меня больше видеофайлы - мы их читаем в основном. Моментами заливаем на массив. Нужен ли мне вообщем этот слог 🤷🏻‍♂️

sync=disabled поставьте на время теста, если разницы не будет с sync=standard то slog не нужен

если не страшно потерять данные за последние секунд 5 - можно просто sync=disabled и оставить

будет быстрее любого slog

если не страшно потерять данные за последние секунд 5 - можно просто sync=disabled и оставить

А как же iowate убивающий сервер или уже починили ?

если не страшно потерять данные за последние секунд 5 - можно просто sync=disabled и оставить

Вот что я искал, да спасибо 👋👋👋 да , не страшно, результаты работ лежат на локальных машинах и сервер на ибп соответственно …

А как же iowate убивающий сервер или уже починили ?

? скиньте ссылку на тикет плиз, не видел такого

Вроде не планировал , только если в hynix отдаст

вот жеж новость, точно помню что читал о "похоронах" оптанов

https://www.datacenterdynamics.com/en/news/intel-kills-off-optane-memory-writes-off-559-million-inventory/#:~:text=Intel%20has%20fully%20killed%20off,as%20it%20exits%20the%20business.

если не страшно потерять данные за последние секунд 5 - можно просто sync=disabled и оставить

Думаю да, важен кто регулярно сохраняет результат на сервере Про 5 секунду я читал правда у тру нас - говорят, 16 гигов более чем хватает под это дело

если не страшно потерять данные за последние секунд 5 - можно просто sync=disabled и оставить

я ещё на домашних машинах zfs_txg_timeout=60 поднимаю, для уменьшения фрагментации

я ещё на домашних машинах zfs_txg_timeout=60 поднимаю, для уменьшения фрагментации

А это параметр сброса даных на блины да ? 👋