Писалось мимо датасета прям в пул. А после ребута датасет смонтировался поверх данных
хех, я ж говорил, что это надо проверить)
Fedor
Mikhail
https://forums.truenas.com/t/truenas-nfs-random-crash/9200/28
Спасибо, попробовал, параметр применяется, проверил, но всё то же самое.
Vladislav
Vladislav
Во-вторых, как эта ошибка воспроизводится
Mikhail
после нескольких секунд все падает и пеерегружается
Mikhail
тоже перегружается
X
Диски. Блок питания. Смарт посмотреть
Mikhail
там вм, ей отдается часть схд, с дисками все ок, бп тоже
Vladislav
схд как подключена?
Vladislav
Как датастор или RDM?
Mikhail
Пробрасывается в вм, как устройство
Vladislav
Либо ты пробрасываешь FC адаптер \ LAN карту и цепляешь уже на уровне ОС диски Луны, или ты пробрасываешь этот LUN как RDM или цепляешь диск с датастора
Vladislav
Определись как у тебя сейчас это работает
Mikhail
Mikhail
Лун с СХД я пробрасываю в ВМ
Mikhail
Но эффект один и тот же и на вм и на реплике даташита на железе (на железе рэид из ssd)
Nikita
Но эффект один и тот же и на вм и на реплике даташита на железе (на железе рэид из ssd)
I got confused for the second time... "datasheet"? О_о
Vladislav
Но эффект один и тот же и на вм и на реплике даташита на железе (на железе рэид из ssd)
Тогда рекомендую сюда https://ixsystems.atlassian.net/jira/software/c/projects/NAS/issues
Mikhail
Спасибо прочитал, но там нету про мой случай ничего
Vladislav
Спасибо прочитал, но там нету про мой случай ничего
В смысле? Это не читать надо, а писать там
Dexex
Мда, какая интересная проблема, мне чёт стало аж не по себе.
Поделюсь странной проблемой, которая недавно возникла.
Создан обычный raidz2 массив. Все нормально работало.
Как то после перезагрузки один диск стал failted.
Долго копал и не мог понять. Суть в том, что один диск был добавлен в массив по букве как я понял, сделал detach и replace этого диска, ну тупо подключил его назад по uid и начался resilver.
Диск стал видится как wикучацифр. Но всё работает.
Dexex
Постоянный страх с массивами делать их по буквам, потому что часто они могу между собой меняться почему то. Как я понимаю не находить нужный диск на нужном месте. По иду поэтому буду в дальнейшем любые массивы создавать. Очень странно. У меня на гипервизоре одном постоянно диски между собой путаются при перезагрузке, zfs не умеет почему то их различать.
Konstantin
Konstantin
=)))))
Александр
Постоянный страх с массивами делать их по буквам, потому что часто они могу между собой меняться почему то. Как я понимаю не находить нужный диск на нужном месте. По иду поэтому буду в дальнейшем любые массивы создавать. Очень странно. У меня на гипервизоре одном постоянно диски между собой путаются при перезагрузке, zfs не умеет почему то их различать.
По id-ам, разумеется. Я не понимаю, как можно запутать zfs
𝚜𝚎𝚗𝚜𝚎𝚖𝚊𝚍
Постоянный страх с массивами делать их по буквам, потому что часто они могу между собой меняться почему то. Как я понимаю не находить нужный диск на нужном месте. По иду поэтому буду в дальнейшем любые массивы создавать. Очень странно. У меня на гипервизоре одном постоянно диски между собой путаются при перезагрузке, zfs не умеет почему то их различать.
Ради тестов менял местами (порты) диски в raidz2 и оно само всё нормально поняло что где
Konstantin
да что с вами
Konstantin
Ради тестов менял местами (порты) диски в raidz2 и оно само всё нормально поняло что где
проверяли id или devname ?
Konstantin
если по devname, добавьте что-нибудь в PCI... и перезагрузитесь)
Dexex
Ради тестов менял местами (порты) диски в raidz2 и оно само всё нормально поняло что где
Было такое. Менял. Потом все равно запутывалось. В зависимости не понятно от чего диски могут путаться. Причем это даже опасно. Потому что может быть даже еще хуже, могут все буквы съехать. Я не знаю почему zfs не умеет диски сопостовлять.
Dexex
Вот так и должно быть и это правильно
То есть до этого диск был с именем устройства в статусе как остальные. А потом он failted ушел, и я его детачил и replace по uid делал
Konstantin
wwn - это world wide name
Konstantin
ata-WDC - это из /dev/disk/by-path
Konstantin
то есть, привязка к конкретному "порту"
Konstantin
или, может я ошибаюсь
Konstantin
а, нет, это тоже id
Konstantin
path Выглядит вот так
pci-0000:00:11.5-ata-1
Dexex
Да вот именно, что по буквам это вообще не понятный рандом как он конкретно их цепляет не понятно. По wwn получается самое надежное.
Dexex
Но тогда в статусе не понятно кто на ком стоит
Dexex
Особенно когда два контроллера на плате стоит. Один в материнке, второй в pcie например. Вот у меня путаница возникает, они летают по шинам после перезагрузки
Konstantin
ata-* - это комбинация производителя, модель и серийник
Konstantin
ata-* уникален только в контексте данной системы и может зависеть от способа подключения устройства.
wwn-* гарантированно уникален для каждого устройства в мире, благодаря стандартизации WWN.
Konstantin
на насколько помню и в wwn бывают косяки))
Dexex
Если честно - проблема очень частая я бы сказал. Сталкивался не раз с этим.
Dexex
Dexex
Вот такие нежданичики дико напрягают. Менять диск, когда он абсолютно рабочий по сути, если не проверять
Konstantin
Я не встречал такое, всегда юзал wwn
Δαρθ
Δαρθ
а ну ок
вот к нему и претензии тогда )
Konstantin
На моей памяти мне ниразу не приходилось лазить в правила вдева для дисков, сетевушки - да
Konstantin
Может быть будут приколы с какими нибудь адаптерами 1х24
жюн
Утро!
я как-то в доке таблицу видел, по скоростям raidz, страйпов и т.п., но сейчас что-то найти не могу
подкиньте, пожалуйста
Ivan
Коллеги, подскажите, у кого может уже был опыт использования и сборки массива на nvme дисках.
Есть в наличии 8 хороших nvme дисков enterprise уровня.
Планирую собрать один vdev raidz2 на них. Также будет 1 Тб оперативы. Вопрос в следующем, может есть какие важные нюансы при создании и исполнении nvme дисков, на что стоит обратить внимание? Стоит ли делать отдельными девайсами ZIL или SLOG в данном случае? Возможно есть какие-то вещи, которые стоит проделать, дабы меньше изнашивать диски, и тем самым им продлить жизнь. В общем, вопрос из серии, поделитесь живым опытом. Спасибо
Dexex
Коллеги, подскажите, у кого может уже был опыт использования и сборки массива на nvme дисках.
Есть в наличии 8 хороших nvme дисков enterprise уровня.
Планирую собрать один vdev raidz2 на них. Также будет 1 Тб оперативы. Вопрос в следующем, может есть какие важные нюансы при создании и исполнении nvme дисков, на что стоит обратить внимание? Стоит ли делать отдельными девайсами ZIL или SLOG в данном случае? Возможно есть какие-то вещи, которые стоит проделать, дабы меньше изнашивать диски, и тем самым им продлить жизнь. В общем, вопрос из серии, поделитесь живым опытом. Спасибо
Я не думаю, что на таких дисках это требуется. У них внутренние механизмы есть и все в них заложено. Просто создавайте массив и пользуйтесь.
Vladislav
Инфотренд большой опыт имеет
Vladislav
По тому как zfs на nvme делать
Ivan
Вот Вы и поделитесь с сообществом как оно
Так с удовольствием, как соберу и поработаю с ним. До этого не было опыта сборки на nvme. Пока делиться нечем)
Vladislav
А заодно опишите:
- Блочный доступ? Файловый?
- Паттерн нагрузки - vdi, веб, БД, иное (read/write %)
- Куда это будет выдаваться (конечные пользователи/виртуализация)
И т.д.
Ivan
А заодно опишите:
- Блочный доступ? Файловый?
- Паттерн нагрузки - vdi, веб, БД, иное (read/write %)
- Куда это будет выдаваться (конечные пользователи/виртуализация)
И т.д.
Попробую. Вообще хранилище будет создаваться для хранения больших файлов как правило 30+ мб и до сотен мегов. В основном файлы картинок и видео. Количество одновременных пользователей порядка 40.
Ivan
Доступ файловый
Ivan
Паттерн нагрузки полагаю 75/25% чтение запись
Vladislav
Попробую. Вообще хранилище будет создаваться для хранения больших файлов как правило 30+ мб и до сотен мегов. В основном файлы картинок и видео. Количество одновременных пользователей порядка 40.
Не уверен, что при таких нагрузках в nvme массиве много смысла, но рекомендую поставить это все дело на мониторинг
- нагрузка на канал
- нагрузка на vdev
- время отклика дисков
Vladislav
Vladislav
И перед тем как это пускать в прод взять 5-8 машинок клиентов и сделать что-то подобное
https://github.com/jdkruzr/test-networkspeed
Vladislav
А потом уже вернуться с цифрами нам всем посмотреть
Ivan
Не уверен, что при таких нагрузках в nvme массиве много смысла, но рекомендую поставить это все дело на мониторинг
- нагрузка на канал
- нагрузка на vdev
- время отклика дисков
А почему? Это низкая нагрузка или наоборот высокая. Дело в том, что с этого хранилища постоянно будут работать пользователи, и переход на такой вариант сподвиг меня именно опыт работы на обычном нашем хранилище из 12ти обычных hdd, но там правда 6 vdev в mirror. Так вот пользователи ощущают периодически фризы программ временами. И наблюдение показало, что судя по всему дисковая подсистема не справляется с потоком запросов.