С какого перепугу? Во всё он умеет. И в битрифс кроме зфса, и в айсказки под тушки ВМок. И ЗФС исходно под снапшоты заточен лучше чем лвм.

И ничто не мешает того ОМВ поднять поверх установленного ПВЕ на ЗФСе.

по iscsi без zfs нет снапшотов

ТруНАС бздёвый же, не? На дебиане ОпенМедиаВольт.

а зачем ставить это все.. просто дебиан

там конфиг то в пару строчек

по iscsi без zfs нет снапшотов

Снапшотьте серваком, раздающим айсказки-луны, какие траблы?

Ту же айсказку можно без внешнего хранилища поднять на ДРБД.

а зачем ставить это все.. просто дебиан

Просто дебиан на голую ЗФС не ставится. А проксмокс — ставится.

Ща покажу разметку 8 накопителей, сделанную проксмоксом на серваке, где уефи нарочно вырублен (ибо нафиг не нужен там, где лишь одна система на загрузке). root@pve-0:/etc/apt# fdisk -l /dev/sd? Disk /dev/sda: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: 5207B13D-47CE-4321-A8BF-A5C44A1C59AE Device Start End Sectors Size Type /dev/sda1 34 2047 2014 1007K BIOS boot /dev/sda2 2048 1050623 1048576 512M EFI System /dev/sda3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS Disk /dev/sdb: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: 5BAB3129-B12D-415C-98DF-D9BC1EB96AC6 Device Start End Sectors Size Type /dev/sdb1 34 2047 2014 1007K BIOS boot /dev/sdb2 2048 1050623 1048576 512M EFI System /dev/sdb3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS Disk /dev/sdc: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: D9C3C501-9E3C-40E5-ABA3-BCD10CFF745B Device Start End Sectors Size Type /dev/sdc1 34 2047 2014 1007K BIOS boot /dev/sdc2 2048 1050623 1048576 512M EFI System /dev/sdc3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS Disk /dev/sdd: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: 14FEA503-101F-49B2-AD26-8123AD8D1C2A Device Start End Sectors Size Type /dev/sdd1 34 2047 2014 1007K BIOS boot /dev/sdd2 2048 1050623 1048576 512M EFI System /dev/sdd3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS Disk /dev/sde: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: 889735C7-CB94-44B8-9D12-C95E2072ECE1 Device Start End Sectors Size Type /dev/sde1 34 2047 2014 1007K BIOS boot /dev/sde2 2048 1050623 1048576 512M EFI System /dev/sde3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS Disk /dev/sdf: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: 34EE47D0-E688-4916-97F7-4B3687C210FB Device Start End Sectors Size Type /dev/sdf1 34 2047 2014 1007K BIOS boot /dev/sdf2 2048 1050623 1048576 512M EFI System /dev/sdf3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS Disk /dev/sdg: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: 0608E29E-032A-4D9B-8670-E5082C9228BF Device Start End Sectors Size Type /dev/sdg1 34 2047 2014 1007K BIOS boot /dev/sdg2 2048 1050623 1048576 512M EFI System /dev/sdg3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS

Disk /dev/sdh: 558.91 GiB, 600127266816 bytes, 1172123568 sectors Disk model: ST600MP0006 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: F74AEFC6-CC1F-4E70-9850-8F90BF7833D8 Device Start End Sectors Size Type /dev/sdh1 34 2047 2014 1007K BIOS boot /dev/sdh2 2048 1050623 1048576 512M EFI System /dev/sdh3 1050624 1172123534 1171072911 558.4G Solaris /usr & Apple ZFS

Что примечательно, на сервере с уефи картинка не сильно отличается: это чтоб при любых настройках в бивисе всё загрузилось.

эм.. ну ноды проксмокса сами по себе. не сильно понял про 8 дисков. так то у меня есть сторадж который как раз zfs over iscsi и там да.. 10й рейд собран стредствами зфс

тут был вопрос в экспорте fc через ethernet

И ничто не мешает того ОМВ поднять поверх установленного ПВЕ на ЗФСе.

больше абстракций богу абстракций !

эм.. ну ноды проксмокса сами по себе. не сильно понял про 8 дисков. так то у меня есть сторадж который как раз zfs over iscsi и там да.. 10й рейд собран стредствами зфс

Прикольно. Видать, пятница сказывается. :) Разжёвываю: 1. Установщик прокса позволяет поставить систему ценником и подлостью на ЗФС нужного рейд-уровня. 2. Или на БиТРиФС, каковая во многом схожа с ЗФС. 3. В установленном проксмоксе для виртуалки можем подключить айсказкин лун (и не один), раздаваемый с СХД, с ДРБД (сетевой рейд), ЦЕФа и пр. способами.

тут был вопрос в экспорте fc через ethernet

1. Кто такое ЭфЦе? 2. Если ФС, то что нужно — блочное устройство (ДРБД, айсказка) или символьное (НФС, цифс — это и есть ФС, а не...).

Прикольно. Видать, пятница сказывается. :) Разжёвываю: 1. Установщик прокса позволяет поставить систему ценником и подлостью на ЗФС нужного рейд-уровня. 2. Или на БиТРиФС, каковая во многом схожа с ЗФС. 3. В установленном проксмоксе для виртуалки можем подключить айсказкин лун (и не один), раздаваемый с СХД, с ДРБД (сетевой рейд), ЦЕФа и пр. способами.

теперь понятно, но телодвижений многовато.. проще пожертвовать снапами на 1 сторадже чем менять привычный ход вещей

1. Кто такое ЭфЦе? 2. Если ФС, то что нужно — блочное устройство (ДРБД, айсказка) или символьное (НФС, цифс — это и есть ФС, а не...).

fc = fibre channel

теперь понятно, но телодвижений многовато.. проще пожертвовать снапами на 1 сторадже чем менять привычный ход вещей

Привычный ход вещей менять тяжело. А не менять — смертельно. Спросите у римлян, вавилонян, шумеров. :)

Привычный ход вещей менять тяжело. А не менять — смертельно. Спросите у римлян, вавилонян, шумеров. :)

а еще лучшее враг хорошего :)

fc = fibre channel

Так какова разница, какая меж узлами сеть — если она шустрая?

а еще лучшее враг хорошего :)

Но судить об этом могут лишь те, кто выжил. На руинах вышеперечисленных сифилизаций. :)

Так какова разница, какая меж узлами сеть — если она шустрая?

проблема как раз в том что на нодах нет контролеров fc просто вывели из эксплуатации vmware и от него остался сторадж. вот и мысли как его не отправить на пенсию, а извлечь пользу

А десяточку в него впилить? Или свич-конвертер из ФЧ в ХГБ?

А десяточку в него впилить? Или свич-конвертер из ФЧ в ХГБ?

так нет у него 10g и никак не вставить потому и хочу сервер прокси так сказать

самый безболезненный на мой взгляд получается просто сделать 1 большой лун и экспортнуть его через iscsi по 10гбит сетке

так нет у него 10g и никак не вставить потому и хочу сервер прокси так сказать

Тоже варик, но что насчёт свича-конвертера из ФЧ в ХГ?

Тоже варик, но что насчёт свича-конвертера из ФЧ в ХГ?

это покупать надо, а сервер без роли есть ))

А, жадность... Понимаю. 😆 Сами с таковой у начальства сталкиваемся...

А, жадность... Понимаю. 😆 Сами с таковой у начальства сталкиваемся...

бюджетная организация.. этим все сказано

Ха, у нас вся контора — продажная шкура, и ещё померится скаредностью с госами...

Капиталисты богаты не столько потому, что зарабатывают, сколько потому, что экономят. И в основном — на персонале. Увы.

ну увы.. счастья в жизни нет

ХЗ, мне свезло. Чётко по Стругацким: счастье — это когда утром оч.хоца на работу, а вечером домой. :) Или по-пиндосски — выбери работу по душе и не будешь работать ни дня. Только второй вариант затрагивает лишь половину жизни. Стругацкие полнее в определении. :)

Добро пожаловать. ) Сразу надо было сюда.

Спасибо за наводку) Так-то были подозрения, но думал моя малая осведомленность, по поводу swap

Т.е. я правильно понял, что используя zfs, вообще можно отказаться от swap?

Да все мы не давинчами родились. :)

Т.е. я правильно понял, что используя zfs, вообще можно отказаться от swap?

Не вполне правильно. Правильно так: на системе с корнем в ЗФС своп вреден, юзать его противопоказано.

Т.е. я правильно понял, что используя zfs, вообще можно отказаться от swap?

странный вывод

если рамы хватает, то на проксе можно отказаться от свапа

неважно зфс или нет

неважно зфс или нет

Принцип верен. Но есть нюансы. ЗФС категорически антагонична свопу.

Спасибо ,надо переварить. Мне получается вообще нужно убрать эту запись, а если подкидывать swap то только другой девайс без zfs

Принцип верен. Но есть нюансы. ЗФС категорически антагонична свопу.

если на на zfs создать, то нет проблем

да и с новыми ядрами надо потестить, может и с zfs нет проблем уже. даже попробую через пару недель.

Интрига закручивается)

Не вполне правильно. Правильно так: на системе с корнем в ЗФС своп вреден, юзать его противопоказано.

А баг с ним все еще не починили ?

Спасибо ,надо переварить. Мне получается вообще нужно убрать эту запись, а если подкидывать swap то только другой девайс без zfs

Если уже есть зфс, своп ва-аще не нужен.

Кароч, каменчу помолясь)

заявление в духе "если у вас есть микроволновка, холодильник не нужен"

Кароч, каменчу помолясь)

Его и без ЗФС не надо: линь сам нароет и заюзает при нужде.

заявление в духе "если у вас есть микроволновка, холодильник не нужен"

Если у вас есть сломанная бэха, живой запор ни к чему. Согласен.

Эвонакак))

Не вполне правильно. Правильно так: на системе с корнем в ЗФС своп вреден, юзать его противопоказано.

В солярке и то, и другое живет на зфс, без каких-либо проблем и подвисаний. Тут скорее Опензфс на свопе может стрельнуть.

Хотя информация уже многолетней давности

Если памяти хватает то можно и без свопа, но надо умерить аппетит arc иначе бывает что не успевает освободить ram под нужды ос и тогда в гипервизоре просыпается oom

Имхо своп можно оставить как заначку, но если гипервизор свопится, то чет идет не так

Со свопом и высокой нагрузкой на память есть нюансы, связанные уже с физическим размещением страниц в памяти. Своп эти нюансы кое-как решает.

Если уже есть зфс, своп ва-аще не нужен.

Своп, по моему, нужен всегда. Туда всякие протечки памяти складываются.

На солярке — может. Но в нынешних масштабах это скорей частный случай, нежели эталонный. ::

Не вполне правильно. Правильно так: на системе с корнем в ЗФС своп вреден, юзать его противопоказано.

легендотворение какое-то уже пошло про своп. всё же просто -- если своп линукса на zvol (в пределах 1 оси, а не так что например хостовый звол это своп для виртуалки) -- то могут быть/будут дедлоки. просто своп (на сыром разделе например) никак не противопоказан никогда. И корень/некорень тоже вроде не влюёт

легендотворение какое-то уже пошло про своп. всё же просто -- если своп линукса на zvol (в пределах 1 оси, а не так что например хостовый звол это своп для виртуалки) -- то могут быть/будут дедлоки. просто своп (на сыром разделе например) никак не противопоказан никогда. И корень/некорень тоже вроде не влюёт

Могу ошибаться, разумеется. Но не думаю, что разрабы проксмокса этот момент огибают стороной и спецом не заводят своп при авторазметке дисков в ЗФС.

Могу ошибаться, разумеется. Но не думаю, что разрабы проксмокса этот момент огибают стороной и спецом не заводят своп при авторазметке дисков в ЗФС.

они поди целый диск грохают в зфс, которое потом само его размечает и приделать раздел со свопом никак. а если руками разметить и зфс отдать только 1 раздел -- все збс

Позитивный кейс👍 И нет-нет, про уход я так, риторически... С ЗФС никуда не уйду, уж очень прикипел. Я скорее уж лучше железо поменяю. Тем более, @gmelikov говорит, что из четырёх штук NMVE может удастся выжать что-то больше скорости одного диска

Кстати, надавно интересный нюанс обнаружил. Когда говорят про NVMe диски - обычно говорят про максимальные мегабайты в секунды и максимальные иопсы. Вот только если реальной нагрузки на эти иопсы и мегабайты нет - можно внезапно обнаружить что некоторые старые модели сата ссд работают быстрее современных топовых серверных нвме (быстрее == меньше латенси). Ну и смысла тогда переходить на нвме, соответственно, нет. А еще можно подумать есть ли возможность сделать mitigations=off, потому что если нельзя - сата ссд почти не страдают, а вот нвме страдают сильно, особенно на отдельных поколениях процессоров.

Кто-нибудь знает, где посмотреть актуальный roadmap у ZFS? Очень надо https://github.com/openzfs/zfs/pull/12263 , а оно только в мастере (

последнему роадмапу что гуглится уже полтора года

Кстати, надавно интересный нюанс обнаружил. Когда говорят про NVMe диски - обычно говорят про максимальные мегабайты в секунды и максимальные иопсы. Вот только если реальной нагрузки на эти иопсы и мегабайты нет - можно внезапно обнаружить что некоторые старые модели сата ссд работают быстрее современных топовых серверных нвме (быстрее == меньше латенси). Ну и смысла тогда переходить на нвме, соответственно, нет. А еще можно подумать есть ли возможность сделать mitigations=off, потому что если нельзя - сата ссд почти не страдают, а вот нвме страдают сильно, особенно на отдельных поколениях процессоров.

Давай тесты которые это демонстрируют

любой мониторинг, который рисует графики латенси

Слабо вериться в то что nvme с прямым подключением по pci вдруг слил sata

Мб тест ОЗУ случился или фиг знает что еще

Какой тест озу, если мониторинг пишет текущее состояние на рабочем сервере

не fio

реальный продакшн

Слабо вериться в то что nvme с прямым подключением по pci вдруг слил sata

если сравнивать десктопные nvme, то еще как может.

toshiba hk3e на чтение 0.13-0.15мс intel p4510 - 0.12-0.14мс на последние 5.15 убутовских ядрах. Если взять более старые 5.4 - нвме прямо медленнее было, типа 0.20

Кстати, надавно интересный нюанс обнаружил. Когда говорят про NVMe диски - обычно говорят про максимальные мегабайты в секунды и максимальные иопсы. Вот только если реальной нагрузки на эти иопсы и мегабайты нет - можно внезапно обнаружить что некоторые старые модели сата ссд работают быстрее современных топовых серверных нвме (быстрее == меньше латенси). Ну и смысла тогда переходить на нвме, соответственно, нет. А еще можно подумать есть ли возможность сделать mitigations=off, потому что если нельзя - сата ссд почти не страдают, а вот нвме страдают сильно, особенно на отдельных поколениях процессоров.

Ага, так и есть, все ссд рекламируются по максимальному последовательному чтению/записи У некоторых pcie 5.0 моделей эти скорости уже за 10гбит перевалили А вот гораздо более насущный случайный мелкоблок растёт медленно, хотя вроде у Самсы 990 Про за 100 мбит таки перевалило и чтение и запись

если сравнивать десктопные nvme, то еще как может.

Ну nvme можно и через кучу переходников при желание подключить но надеюсь у человека в продакшеге не оно

начали выпускать больше плат PCIE 5.0 с 4мя nvme по 4x

Ну nvme можно и через кучу переходников при желание подключить но надеюсь у человека в продакшеге не оно

Да переходники не влияют, там же простой электрический коннект, без всякой логики