« Rev
@ru_zfs   448
Fwd »


Roman
Остаётся только пул с ашифт 12 или 13 сделать
Roman
понаберут домашнего железа
Mikhail
Так вот даст ли ashift что-нибудь?
Mikhail
понаберут домашнего железа
ну в целом это не домашнее железо :) есть рекомендованные альтернативы?
I
я как-то даже один nvme диск разгонял, увеличивая частоту чипов памяти) он правда потом без радиатора не работал)
Станислав
У этих накопителей ресурс больше, чем у intel optane
Roman
ну в целом это не домашнее железо :) есть рекомендованные альтернативы?
Самсунги https://s3.ap-northeast-2.amazonaws.com/prd-semi.global/file/resource/2021/10/PM9A3_SSD_Whitepaper.pdf Микроны https://media-www.micron.com/-/media/client/global/documents/products/product-flyer/7400_nvme_ssd_product_brief.pdf?la=en&rev=c3d7b6774f6c4b6992da7bc621173904
Станислав
У PM17xx 5 лет полной ежедневной перезаписи) Правда стоит он космических денег в сравнении с 970
I
Похоже на грязные страницы которые не сбросились.
hard reboot может в таком случае вызвать повреждения, правильно понимаю?
Fedor
hard reboot может в таком случае вызвать повреждения, правильно понимаю?
Если много данных в подвисшем состоянии, то да
I
Если много данных в подвисшем состоянии, то да
понял, а количество таких данных можно оценить например, по потреблению памяти(рам) на тот момент? Ну и параметр /proc/sys/vm/swappiness
Andrey
https://habr.com/ru/company/otus/blog/565494/
George
Привет. Есть несколько NVMe samsung 970PRO. ZFS guide, да и здравая логика, готовит что надо форматировать устройства в 4K страницы. Но смотрю в smartctl / nvme-cli, а там только 512байт-ные страницы. Попытка zfs send с raidz2 на данных дисках показывает печальный random read (7MBps с устройства): avg-cpu: %user %nice %system %iowait %steal %idle 0.13 0.00 6.20 0.00 0.00 93.67 Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util nvme0n1 12847.00 6658.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.05 100.00 nvme10n1 12983.00 6734.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.05 100.00 nvme1n1 12924.00 6702.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.99 100.00 nvme2n1 12877.00 6683.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.05 100.00 nvme3n1 12885.00 6704.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.07 100.00 nvme4n1 12908.00 6706.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.07 100.00 nvme5n1 12862.00 6676.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.03 100.00 nvme6n1 12812.00 6503.00 0.00 0.00 0.08 0.51 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.06 100.00 nvme7n1 12849.00 6522.50 0.00 0.00 0.08 0.51 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.06 100.00 nvme8n1 12820.00 6665.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.03 100.00 nvme9n1 13093.00 6789.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.08 100.00 Вопрос - чтобы увеличить скорость работы с дисками (random read/write) надо ashift поднять до 12-13 (сейчас он 0) или искать как диски отформатировать под 4K страницы ? Нагрузка - это random read/write (PostgreSQL и прочие)
-  один инстанс zfs send не может утилизировать диски, точно ли это бенчить хотели - проще всего определить сектор диска прогнав на нём без ФС бенч fio с разным блоком полностью рандомный - если оч нужен raidz2 (а он nvme утилизировать сможешь хуже мирроров), то стоит помнить что чем больше ashift тем менее эффективно по месту он хранит мелкие блоки ну и про 512байт физический сектор 99% nvmeшек врут из коробки, да, у zfs есть списочек для оверрайда ashift дефолтного даже на этот счёт
Vladislav
Привет. Есть несколько NVMe samsung 970PRO. ZFS guide, да и здравая логика, готовит что надо форматировать устройства в 4K страницы. Но смотрю в smartctl / nvme-cli, а там только 512байт-ные страницы. Попытка zfs send с raidz2 на данных дисках показывает печальный random read (7MBps с устройства): avg-cpu: %user %nice %system %iowait %steal %idle 0.13 0.00 6.20 0.00 0.00 93.67 Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util nvme0n1 12847.00 6658.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.05 100.00 nvme10n1 12983.00 6734.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.05 100.00 nvme1n1 12924.00 6702.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.99 100.00 nvme2n1 12877.00 6683.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.05 100.00 nvme3n1 12885.00 6704.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.07 100.00 nvme4n1 12908.00 6706.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.07 100.00 nvme5n1 12862.00 6676.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.03 100.00 nvme6n1 12812.00 6503.00 0.00 0.00 0.08 0.51 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.06 100.00 nvme7n1 12849.00 6522.50 0.00 0.00 0.08 0.51 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.06 100.00 nvme8n1 12820.00 6665.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.03 100.00 nvme9n1 13093.00 6789.50 0.00 0.00 0.08 0.52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.08 100.00 Вопрос - чтобы увеличить скорость работы с дисками (random read/write) надо ashift поднять до 12-13 (сейчас он 0) или искать как диски отформатировать под 4K страницы ? Нагрузка - это random read/write (PostgreSQL и прочие)
Во Фряхе через camcontrol можно попытаться переразбить на блоки 4к
Combot
Sebastiano Triola has been banned! Reason: CAS ban.
Станислав
Я с помощью Digital Ocean rescue ставил. Так ещё запара)
Vladislav
Пиши подробный журнал как ставил и что не получилось
Vladislav
имхо, стачала на голый Дебиан ставится ZFS модули, потом разбивается и переносится система на ZFS
Станислав
1) Сначала уменьшил основной раздел до 4Гб. 2) Потом создал lvm том на свободном пространстве. ОБЯЗАТЕЛЬНО оставил в конце пол гига свободными в LVM группе. Поверх тома ext4, в него скопировал текущую ОС. 3) chroot в новый том, обновил гроб граб. 4) Загрузился в ОС на томе LVM. 5) Удалил на первом раздела всё под чистую, уменьшил его до 1Гб, чтобы ядро там положить. Собственно, примонтировал его как boot, сделал update-initramfs. 6) Снова grub update. 7) Перезагрузился, убедился что грузится. 8) Установил ZFS, обязательно zfs-initramfs. 9) Создал раздел между boot и LVM. Создал на нём пул ZFS. Создал датасет под ОС. 10) Создал снепшот LVM тома, примонтировал снепшот и скопировал всё на датасет для ОС. Удалил снепшот (обязательно). 11) chroot в ОС на ZFS, обновил граб и initramfs. Кажется на этом всё, после перезагрузки выбрал запись с ZFS, удалил том LVM, обновил граб
Vladislav
ой как сложно и извратно
Станислав
ой как сложно и извратно
А то😄
Станислав
Можно
Vladislav
Нашел по быстрому такой плейбук https://github.com/mrlesmithjr/ansible-zfs
Станислав
Зфс работает хоть с файлами. То есть можно вместо дисков добавить не только разделы в пул, а также файлы
Станислав
ой как сложно и извратно
Это ещё не всё. Я зашифровал рут раздел, он грузиться только после того, как я подключусь по SSH в initramfs и введу парольную фразу))
Станислав
В каком смысле?
Станислав
Я понимаю, что ядро можно подменить и заменить скрипт вода пароля
Станислав
Потому хочу сделать автоматическую проверку по хешу основных файлов ядра, только при положительном результате вводить пароль
Станислав
Лучше, конечно, всё под ZFS.
Станислав
Чтобы планировщик последнего всё распределял
central
На кой, если даже 1 не могут раскочегарить?
Станислав
Так это что, север арендованный?
Станислав
Можно тогда проще сделать всё
central
Даже 1 nvme zfs не может полностью утилизировать
Станислав
ZFS пока что не полностью утилизирует nvme. Но над этим активно работают, так что лучше не забивай голову)
Станислав
патчик на o_direct для nvme творит чудеса)
Собственно, вот
Станислав
А вы их два хотите в рейде
А какой смысл тогда от зфс, если он не сможет исправить некорректные блоки данных на одном из дисков?
Станислав
В общем 2 варианта. 1) хетснер может бесплатно на 3 часа ( точно не помню) подключить KVM 2) Можно на один диск залить образ, например, Ubuntu, загрузиться с него, установить модули и далее
Станислав
Рейд 0 вам ничего не должен и не будет делать
А, блин, сорян, я про рейд 1 подумал
Станислав
Уже спать пора)
Станислав
В смысле скачать и записать образ системы на один диск
Станислав
Без понятия
Станислав
Точно 0й рейд?
Станислав
В будущем ничего не мешает обновиться. А по срокам я не в курсе.
Станислав
Они куда-то будут отправляться?
Станислав
Верно
Vladislav
в риске системе можно установить нужное и подгрузить
Станислав
А как долго ждут процессы, связанные с этим сервером, если он упал? Восстановление может быть долгим
Станислав
Скорее и этого не будет
Станислав
И то, если заморочится, можно и это обойти...
Станислав
Тут скорее для забавы. Понятное дело, что серьезные данные так хранить не стоит
Vladislav
да, поэтому когда кто-то мудрит зашифрованную машину, я в комментах пишу про уязвимые места
Станислав
да, поэтому когда кто-то мудрит зашифрованную машину, я в комментах пишу про уязвимые места
Пришла в голову хорошая мысль сейчас. Я думал копировать файлы на локальную машину, сверять их с эталоном. Так как в ядре могут заменить средства поверки, те же sha256 или sha512. Но, таким образом, можно сменить и cp или dd, чтобы они отправляли не файлы, которые уже поменяли, а которые должны быть. В таком случае проверка только лишь на то, чтобы кто-то абы как пароль не захотел узнать. Но, на самом деле, можно даже не проверять ничего. Просто нужно на рут датасет, который должен быть без каких либо конфиденциальных данных, установить одну парольную фразу, а для реально важных данных другую. После ввода пароля и входа в ОС сразу сменить пароль от рута. Остаётся только вопрос, можно ли узнать ключ шифрования, которым зашифрован рут датасет, зная пароль, которым зашифрован он. Думаю да...
Vladislav
я бы вообще, грузился по сети в риск, перезаписал через dd свой шифрованный (одноразовый) рут раздел и сразу бы с него грузился
Vladislav
но потом остаются риски живности в биосе и IPMI
Станислав
Пришла в голову хорошая мысль сейчас. Я думал копировать файлы на локальную машину, сверять их с эталоном. Так как в ядре могут заменить средства поверки, те же sha256 или sha512. Но, таким образом, можно сменить и cp или dd, чтобы они отправляли не файлы, которые уже поменяли, а которые должны быть. В таком случае проверка только лишь на то, чтобы кто-то абы как пароль не захотел узнать. Но, на самом деле, можно даже не проверять ничего. Просто нужно на рут датасет, который должен быть без каких либо конфиденциальных данных, установить одну парольную фразу, а для реально важных данных другую. После ввода пароля и входа в ОС сразу сменить пароль от рута. Остаётся только вопрос, можно ли узнать ключ шифрования, которым зашифрован рут датасет, зная пароль, которым зашифрован он. Думаю да...
При таком раскладе в ОС можно безопасно загрузиться только раз, на второй нужно считать её скомпрометированной
Станислав
но потом остаются риски живности в биосе и IPMI
А при чём тут IPMI? Вход по SSH, прямо в initramfs
Станислав
Через dropbear
Vladislav
у IPMI обычно своя ОС, которая имеет доступ к железу
Станислав
Смысла использовать IPMI вообще нет, он же всегда может следить и писать весь ввод с клавиатуры.
Vladislav
еще раз. IPMI уже есть в сервере
Станислав
И?
Станислав
Я же не подключаюсь через него
Vladislav
если там настроен интернет, то снаружи получаешь полный доступ к серверу
Vladislav
и не важно, что там хозяин твоит внутри сервера
Станислав
Я знаю, как это работает. Обычно сервера на supermicro собираю)
Vladislav
iDrac, iLo и интелловская всякая дрянь в сетевой карте
Станислав
Они видят только шифрованный траффик. То есть безопасность обеспечивает протокол шифрования, используемый при подключении по SSH. IPMI видит только экран входа, без логина и пароля он не зайдет в ОС. Не считая возможных уязвимостей
« Rev
@ru_zfs   448
Fwd »