а если хардвар раид с кешем 512мб например и батарейкой, и если в буфере меньше 512мб, то fsync возвращает моментально*

?

Так как ZoL не имеет отношения к стандартному файловому кэшу линукс

а если хардвар раид с кешем 512мб например и батарейкой, и если в буфере меньше 512мб, то fsync возвращает моментально*

Ну да

Да, так и вот

Получается, что между вызовами принудительного fsync в ZFS проходит 5 секунд

Рекомендации по размеру ZIL звучат как "чтобы на пару раз от барьера до барьера хватило"

То есть - 2*5

А далее надо смотреть поток

И помнить, что в ZIL попадает не все

L2arc куда?

L2ARC куда что?

L2ARC это кэш на чтение

на чем хранить будем

у вас zfs на проде есть?

как оно?

Есть

Нормально

у нас дальше стендов не пошло

Ну - а вы что с ним пытались делать?

На каком железе?

Нормально

сколько IO выжимает?

сколько IO выжимает?

У меня где-то были отчеты fio, но я тестировал два года назад

И все забыл

Нам хватает с запасом

sas 10K как освновное хранилище, разные ssd под zil и l2arc

мы ходели его как сторадж для виртуалок

Ну - у нас он так и используется

но с масштабированием без даунтайма не получилось

не смогли в это

И знаю еще несколько мест, где он так же используется или использовался

закончилось все брендовым SAN

с недорогими SSD с записью начинались проблемы, с дорогими этот огород в малых масштабах не имел смысла

у нас цель была 20ТБ в максимальной емкости при 5К iops

Ну - терабайт может быть хоть 50 Смотреть надо hit rate

стартовать собирались с 4ТБ

Памяти на машине сколько было?

от 32 до 128

От 32?

Ну, поздравляю

А как подключалось такое хранилище, по iSCSI?

В принципе, я могу попытаться дописать экспортер и наладить рисование hit rate на наших коробках

А как подключалось такое хранилище, по iSCSI?

+

Размер ARC экспортер уже пишет и так

10g

Для munin я все это сделал годы назад - так что, у кого ZoL, можно брать и пользоваться

до какого обьема доросли? росли постепенно? или сразу запустили сколько надо было?

Сразу запустили

Терабайта по 2 с небольшим на машину

На машинах строго по 128G RAM

Как что-то можно делать с 32 при таких объемах - ума не приложу

Но, опять же, возможно, что никакой нагрузки на чтение и нет вовсе никогда

Смотреть надо графики

в продолжение истории со сломанным RAID5, вот ответ от суппорта в дц на вопрос что он сделал: You are correct, both md2 and md1 were missing a partition: sdc2 and sdd3. I've installed "SmartMonTools" and ran "smartctl -a /dev/sdc" and then "smartctl -a /dev/sdd" to check if either of the drivers had permanent damage. Both passed self-testing successfully and showed no "bad" or "reallocated" sectors. While this is an indication that something might be wrong with the drives themselves, practice shows that re-adding the partitions usually solves the problem permanently or until end-life cycle for the drive. Yesterday I've re-added both partitions with "mdadm --add /dev/md2 /dev/sdd3" and "mdadm --add /dev/sdc2 /dev/md1". After that, re-sync automatically began. Both /dev/md1 and /dev/md2 were marked as degraded because of missing partition members. Получается что /dev/sda он и не трогал, и оно работало в составе raid ранее с такой разметкой как на картинке, да?

Я тебе уже обо всём рассказал. Ты глупый.

ты шизофреник, да?

ты шизофреник, да?

нет

в продолжение истории со сломанным RAID5, вот ответ от суппорта в дц на вопрос что он сделал: You are correct, both md2 and md1 were missing a partition: sdc2 and sdd3. I've installed "SmartMonTools" and ran "smartctl -a /dev/sdc" and then "smartctl -a /dev/sdd" to check if either of the drivers had permanent damage. Both passed self-testing successfully and showed no "bad" or "reallocated" sectors. While this is an indication that something might be wrong with the drives themselves, practice shows that re-adding the partitions usually solves the problem permanently or until end-life cycle for the drive. Yesterday I've re-added both partitions with "mdadm --add /dev/md2 /dev/sdd3" and "mdadm --add /dev/sdc2 /dev/md1". After that, re-sync automatically began. Both /dev/md1 and /dev/md2 were marked as degraded because of missing partition members. Получается что /dev/sda он и не трогал, и оно работало в составе raid ранее с такой разметкой как на картинке, да?

Both passed self-testing successfully and showed no "bad" or "reallocated" sectors. поэтому диск и отвалился

или там несколько дисков выпало?

в продолжение истории со сломанным RAID5, вот ответ от суппорта в дц на вопрос что он сделал: You are correct, both md2 and md1 were missing a partition: sdc2 and sdd3. I've installed "SmartMonTools" and ran "smartctl -a /dev/sdc" and then "smartctl -a /dev/sdd" to check if either of the drivers had permanent damage. Both passed self-testing successfully and showed no "bad" or "reallocated" sectors. While this is an indication that something might be wrong with the drives themselves, practice shows that re-adding the partitions usually solves the problem permanently or until end-life cycle for the drive. Yesterday I've re-added both partitions with "mdadm --add /dev/md2 /dev/sdd3" and "mdadm --add /dev/sdc2 /dev/md1". After that, re-sync automatically began. Both /dev/md1 and /dev/md2 were marked as degraded because of missing partition members. Получается что /dev/sda он и не трогал, и оно работало в составе raid ранее с такой разметкой как на картинке, да?

не понял, то есть, чел прогнал тесты, получил ошибки и вернул обратно в массив потому что не "перманент дамаж"?

вали оттуда

закрывай с ними вообще всю работу

они невменяемые

не понял, то есть, чел прогнал тесты, получил ошибки и вернул обратно в массив потому что не "перманент дамаж"?

не, пишет же что нормальные тесты были

showed no "bad" or "reallocated" sectors

а, тьфу, NO

ERROR: S client not available

просмотрел

хорошая истрия (2005) про склеивание страйпов райда вручную http://freesoftwaremagazine.com/articles/recovery_raid/

чот приустал...

хорошая истрия (2005) про склеивание страйпов райда вручную http://freesoftwaremagazine.com/articles/recovery_raid/

я настолько хорошо не знаю...

так-то, наверное, ничего сверхсложного. Наверное, кропотливая работа, внимание и время надо.

короче наверное нет смысла таблицу разметки копировать и вообще sda трогать, просто подниму raid из livecd и прочекаю файловую систему

так, стоп, я просмотрел, там же партиции двух разных дисков в фейл упали

не одного диска, а двух разных

короче наверное нет смысла таблицу разметки копировать и вообще sda трогать, просто подниму raid из livecd и прочекаю файловую систему

какую ФС ты прочекаешь?

просто попробуешь собрать массивы?

хмм, точно, раид же поверх этих партиций работает?

тогда сначала fsck всех дисков по отдельности с авторемонтом, а уже потом пробовать собирать массивы?

sdd3 и sdc2

тогда сначала fsck всех дисков по отдельности с авторемонтом, а уже потом пробовать собирать массивы?

погоди

машина на руках?

онлайн? в дауне?

вроде машина в ДЦ, ты рядом или как?

онлайн? в дауне?

Машина в дц, ос не загружается, я с livecd забутился

Машина в дц, ос не загружается, я с livecd забутился

то есть, рядом

вроде машина в ДЦ, ты рядом или как?

Через ipmi

Через ipmi

ну да, считай что рядом

Угу

сама она совсем не грузится?

вот поэтому следует выделять под / отдельный массив уровня зеркало

сама она совсем не грузится?

Грузится в какую-то эфемерную файловую систему, тк не может считать что-то там с диска

Грузится в какую-то эфемерную файловую систему, тк не может считать что-то там с диска

как это понимать?

Щас скрин найду выше

странно это

короче, смысл простой

у тебя сейчас в каждом массиве по 5 участников

всего 3 массива

на 2 массивах из 3 вылетело по 1 участнику