Т е он через SES послал выключение диску

С обыкновенными корзинами на серверах в пыльных помещениях помогало остановить сервер и перекинуть все разъемы в нем + картины примерно 1 раз в 2-3 года

Нет, у нас чисто в серверной ) Это маловероятно

Послали ему включение через sg_ses и он вернулся

Тогда искать кто это делает. :(

у меня нубский вопрос: как удалить поломанный пул ? импорт его показывает, а дестрой говорит что нет такого пула.

соответственно не могу создать пул с таким же названием теперь

соответственно не могу создать пул с таким же названием теперь

с форсом должно смочь

Но https://openzfs.github.io/openzfs-docs/man/8/zpool-labelclear.8.html

Тогда искать кто это делает. :(

Разобрались, все отлично, просто немного неожиданно. Просто совпало. Полка помечает диски как critical, если возникают ошибки записи на диске. А если их сразу много, что-то отключает диск - что логично.В общем-то, удобно. Только не до конца понятно.

Разобрались, все отлично, просто немного неожиданно. Просто совпало. Полка помечает диски как critical, если возникают ошибки записи на диске. А если их сразу много, что-то отключает диск - что логично.В общем-то, удобно. Только не до конца понятно.

мб диски TLER в прошивке отключает ?

Ребята не пинайте. mdadm raid0 из двух mdadm raid6 или lvm stripe raid из двух mdadm raid6 ? спасибо

на кой вам нужен raid 0?

из двух raid6 то?

для скорости немношко

какая разница? данные вы в любом случае все потеряете в случае если один из них умрет

да не собирался пока что терять...

из раид6 то

какая разница? данные вы в любом случае все потеряете в случае если один из них умрет

так-то raid60 будет понадежней raid10

концептуальный вопрос!

просто не знаю что выбрать

я за рейд полностью на mdadm )

да я бы тоже если был бы встроенный 60

а так чет как то криво чтоли...

софтварная надстройка райд0 над софтварными райд6 скорости не добавит. Все равно, будет узкое горлышко в расчете РидаСоломона на обоих.

иопсов добавит

Если нужны иопсы тогда уж лучше zfs два vdev и на каждом raid2z отказоустойчивость будет та-же, а если raid3z то выше  а иопсов больше.

Если нужны иопсы тогда уж лучше zfs два vdev и на каждом raid2z отказоустойчивость будет та-же, а если raid3z то выше  а иопсов больше.

zfs уже проехали немного выше)

Mда, почитал. Пересесть с БМВ за которым нужно постоянно ухаживать на неломучую тойоту.

Ребята не пинайте. mdadm raid0 из двух mdadm raid6 или lvm stripe raid из двух mdadm raid6 ? спасибо

Либо целиком lvm, либо mdadm Если Вам комфортно траблшутить lvm и работать с ним, то возьмите его (можете ещё vdo прикрутить), для просты и скорости - mdadm

Народ, помогите разобраться со свободным местом. Есть pool zraid на нем сделан volume размерм 9Т он отдается по iscsi серверу бекапов, которы понаписал не более 6Т а zfs list пишет что занять 15Т zfs list; zfs get all и пр подробности тут: https://www.logpasta.com/paste/raw/d373d1ba-bff6-4847-8429-09604b71408a.txt

это оффтоп

это оффтоп

Почему?

Почему?

там был оффтоп про баш. теперь его нет.

Народ, помогите разобраться со свободным местом. Есть pool zraid на нем сделан volume размерм 9Т он отдается по iscsi серверу бекапов, которы понаписал не более 6Т а zfs list пишет что занять 15Т zfs list; zfs get all и пр подробности тут: https://www.logpasta.com/paste/raw/d373d1ba-bff6-4847-8429-09604b71408a.txt

Примерно 5-10% это наценка метаданных (это почему 9ТБ volsize, а referenced 10.7) Но, интересно, что на самом датасете сказано, что занято 13.7ТБ Больше выглядит будто там

Народ, помогите разобраться со свободным местом. Есть pool zraid на нем сделан volume размерм 9Т он отдается по iscsi серверу бекапов, которы понаписал не более 6Т а zfs list пишет что занять 15Т zfs list; zfs get all и пр подробности тут: https://www.logpasta.com/paste/raw/d373d1ba-bff6-4847-8429-09604b71408a.txt

https://forum.proxmox.com/threads/zfs-used-size-vs-volsize.95193/ И проверьте нет ли у Вас snapshot-ов, к примеру, ubuntu очень любит их делать

Примерно 5-10% это наценка метаданных (это почему 9ТБ volsize, а referenced 10.7) Но, интересно, что на самом датасете сказано, что занято 13.7ТБ Больше выглядит будто там

это фряха, снапшотов нет проверил

это фряха, снапшотов нет проверил

Стоп, сервер на другой стороне iscsi говорит что видит объем 6тб?

вот так видит: rc-pbs-01:~# df -hT Filesystem Type Size Used Avail Use% Mounted /dev/sdb xfs 9.0T 5.1T 4.0T 56% /mnt/datastore/Hetzner

про снапшоты чуть соврал, фря делает, но тут вроде совсем чучуть: ➜ ~ zfs list -t snapshot NAME USED AVAIL REFER MOUNTPOINT zroot/ROOT/default@2022-08-13-08:42:34-0 170M - 35.7G - zroot/ROOT/default@2022-09-12-12:04:43-0 913M - 37.3G - zroot/ROOT/default@2022-11-08-06:15:15-0 129M - 28.9G - zroot/ROOT/default@2022-11-21-18:28:05-0 17.2G - 46.4G - ➜ ~

fuck, похоже на это: If you use a volblocksize of 8K with raidz1 you will loose 25% of your raw capacit to parity and 25% of your raw capacity to padding overhead (in other words for every 2 blocks of data you get 1 block of padding so eveything is 50% bigger).

fuck, похоже на это: If you use a volblocksize of 8K with raidz1 you will loose 25% of your raw capacit to parity and 25% of your raw capacity to padding overhead (in other words for every 2 blocks of data you get 1 block of padding so eveything is 50% bigger).

zpool list показывает сырой объём, zfs list покажет полезное пространство, с этого стоит начать

про фактически используемое место в raidz пытался описать тут https://openzfs.github.io/openzfs-docs/Basic%20Concepts/RAIDZ.html

там есть полезная табличка

про фактически используемое место в raidz пытался описать тут https://openzfs.github.io/openzfs-docs/Basic%20Concepts/RAIDZ.html

Я смотрел недавно, полезная инфа

Друзья всем привет

Есть задача за деньги

Сервер после перезапуска пишет unknown partition по всем lvm

Гарантирую денежные поощрения кто поможет запустить сервер

Задача интересная, но не соответствует тематике чата. Можно продолжить обсуждение например в https://t.me/sds_flood

Понял

Сервер после перезапуска пишет unknown partition по всем lvm

Коллеги, посоветуйте, в каком режиме лучше создавать zvol для drbd-раздела, в котором будет контейнер LXC.

Добрый день. есть схд lenovo с FC интерфейсами, а нужно раздать по ethernet (сторадж для образов ВМ proxmox) для этого решили использовать сервер с fc контроллером и сетевушкой 10gbit собственно вопрос, стоит ли думать в сторону zfs как фс. ведь собрать рейд то не выйдет

zfs там будет смотреться странно, без прямого доступа к дискам и multipath. А что за схд ? Это ведь явно не enclosure ?

Добрый день. есть схд lenovo с FC интерфейсами, а нужно раздать по ethernet (сторадж для образов ВМ proxmox) для этого решили использовать сервер с fc контроллером и сетевушкой 10gbit собственно вопрос, стоит ли думать в сторону zfs как фс. ведь собрать рейд то не выйдет

Эрм, Вы сервер как прокси хотите использовать? Нет, Zfs однозначно плохой вариант.

да, как прокси

с одной стороны получается nfs/qcow2 и вот это все с другой zfs но без доступа к дискам (снапшоты arc кеш в ram и тд)

zfs там будет смотреться странно, без прямого доступа к дискам и multipath. А что за схд ? Это ведь явно не enclosure ?

нет.. полноценная схд с 2 контроллерами fc. не дисковая полка. заменить контроллеры к сожалению уж не выйдет

Эрм, Вы сервер как прокси хотите использовать? Нет, Zfs однозначно плохой вариант.

просто отдать по iscsi дальше и все?

просто отдать по iscsi дальше и все?

Да

нет.. полноценная схд с 2 контроллерами fc. не дисковая полка. заменить контроллеры к сожалению уж не выйдет

А там случайно не СХД с гибридными портами?

А там случайно не СХД с гибридными портами?

точную модель по памяти не скажу, но нет. там есть ethernet 1gbit и только для управления

нет.. полноценная схд с 2 контроллерами fc. не дисковая полка. заменить контроллеры к сожалению уж не выйдет

Тогда zfs не вариант

ок, спасибо. тогда буду смотреть либо iscsi либо nfs (производительность vs снапшоты)

нет.. полноценная схд с 2 контроллерами fc. не дисковая полка. заменить контроллеры к сожалению уж не выйдет

а карточки в них поставить в ethernet портами?

а карточки в них поставить в ethernet портами?

увы, заменить контроллеры мы не сможем.

увы, заменить контроллеры мы не сможем.

не контроллеры, а добавить плату ввода-вывода дополнительную. Но тут зависит от модели СХД. Если модель простая, то вряд ли получится так сделать, если модель СХД помощнее то может и выйдет добавить ещё одну карточку в контроллер.

не контроллеры, а добавить плату ввода-вывода дополнительную. Но тут зависит от модели СХД. Если модель простая, то вряд ли получится так сделать, если модель СХД помощнее то может и выйдет добавить ещё одну карточку в контроллер.

да, я понял о чем идет речь, у нас есть еще аэродиск и там да, можно добавлять платы а тут нет такой возможности. тока смена контроллера

увы, заменить контроллеры мы не сможем.

а купичть fc свич и добавить fc портов в сервера можете ?

а купичть fc свич и добавить fc портов в сервера можете ?

Не, клиенты это куча разного железа.. Проще тупо диски в новый сервер запихнуть тогда

Добрый день. есть схд lenovo с FC интерфейсами, а нужно раздать по ethernet (сторадж для образов ВМ proxmox) для этого решили использовать сервер с fc контроллером и сетевушкой 10gbit собственно вопрос, стоит ли думать в сторону zfs как фс. ведь собрать рейд то не выйдет

ЗФС свои рейды собирает от винта. Но если вам надо быстроперемещаемые ВМки, то см. в сторону айсказки — тушки ВМок надо туда складывать. Тогда сами конфиги меж нодами будут скакать как блохи по собаке, а тушки оставаться на одном надёжном хранилище, раздающем их блочными устройствами по сети.

Раздавать с СХД вам надо луны. Каковые подключить в кластер прокса и развернуть в них потребные виртуалки — вместо локал или локал-зфс..

ЗФС свои рейды собирает от винта. Но если вам надо быстроперемещаемые ВМки, то см. в сторону айсказки — тушки ВМок надо туда складывать. Тогда сами конфиги меж нодами будут скакать как блохи по собаке, а тушки оставаться на одном надёжном хранилище, раздающем их блочными устройствами по сети.

да.. скорее всего так и буду делать. так то я принцип понимаю это не единственный сторадж. просто вопрос по реализации. хотелось как всегда все и задешево. что бы и снапшоты было. а прокс не умеет в iscsi и снапшоты.. только nfs или zfs over iscsi

да.. скорее всего так и буду делать. так то я принцип понимаю это не единственный сторадж. просто вопрос по реализации. хотелось как всегда все и задешево. что бы и снапшоты было. а прокс не умеет в iscsi и снапшоты.. только nfs или zfs over iscsi

трунас на "прокси" сервере подними )

будет zfs over iscsi

хотя конечно делать zfs поверх подаваемых по fc дисков не стоит

трунас на "прокси" сервере подними )

это проще на debian, ничего лишнего так сказать

да.. скорее всего так и буду делать. так то я принцип понимаю это не единственный сторадж. просто вопрос по реализации. хотелось как всегда все и задешево. что бы и снапшоты было. а прокс не умеет в iscsi и снапшоты.. только nfs или zfs over iscsi

С какого перепугу? Во всё он умеет. И в битрифс кроме зфса, и в айсказки под тушки ВМок. И ЗФС исходно под снапшоты заточен лучше чем лвм.

это проще на debian, ничего лишнего так сказать

ТруНАС бздёвый же, не? На дебиане ОпенМедиаВольт.