Shaker
А так новые тяжко, да
Shaker
Я про DDR-T
Vladimir
Господа, есть вопрос:
Есть железяка: Supermicro SuperStorage 6049P-E1CR60L + 53 14Tb диска Seagate Exos X14. 128Gb RAM, 2x Xeon Silver 4114
Сейчас работает как coldstorage, массив отформатирован под ZFS
У владельца этой железяки появилось странное желание конвертировать его из cold storage в обычный NFS сервер с кучкой клиентов ( 20 рабочих станций под линуксом для научных рассчётов). Какие будут рекомендации - оставить всё под ZFS, разбить на несколько массивов, конвертировать под LVM+XFS , что-то ещё?
Есть ещё 7 свободных дырок для установки дополнительных дисков, можно установить SSD кэш для ZFS, например.
central
Shaker
Господа, есть вопрос:
Есть железяка: Supermicro SuperStorage 6049P-E1CR60L + 53 14Tb диска Seagate Exos X14. 128Gb RAM, 2x Xeon Silver 4114
Сейчас работает как coldstorage, массив отформатирован под ZFS
У владельца этой железяки появилось странное желание конвертировать его из cold storage в обычный NFS сервер с кучкой клиентов ( 20 рабочих станций под линуксом для научных рассчётов). Какие будут рекомендации - оставить всё под ZFS, разбить на несколько массивов, конвертировать под LVM+XFS , что-то ещё?
Есть ещё 7 свободных дырок для установки дополнительных дисков, можно установить SSD кэш для ZFS, например.
Какая интересная река мыслей. Я думаю, вам достаточно оставить ZFS и настроить с его помощью простой nfs,
Art
Господа, есть вопрос:
Есть железяка: Supermicro SuperStorage 6049P-E1CR60L + 53 14Tb диска Seagate Exos X14. 128Gb RAM, 2x Xeon Silver 4114
Сейчас работает как coldstorage, массив отформатирован под ZFS
У владельца этой железяки появилось странное желание конвертировать его из cold storage в обычный NFS сервер с кучкой клиентов ( 20 рабочих станций под линуксом для научных рассчётов). Какие будут рекомендации - оставить всё под ZFS, разбить на несколько массивов, конвертировать под LVM+XFS , что-то ещё?
Есть ещё 7 свободных дырок для установки дополнительных дисков, можно установить SSD кэш для ZFS, например.
Я бы оставил ЗФС однозначно)
Под НФС-шару создать отдельный датасет (рекордсайз подобрать под будущую нагрузку), и расшарить каталог по НФС
Если будет не хватать записи, то да, можно добавить слог-девайс. Только уж не в сата-диск, и даже не сас, а NVME онли конечно же.
M.2 ли, U.2 - не суть, хоть прямиком в PCIe
Для ускорения чтения имхо лучше оперативы добавить, это эффективней
Georg🎞️🎥
25k рублей за 1.92 ТБ
Ну intel с 10 перезаписями в день всего объёма на 5 лет
По цене бытового говна типа m2
А что не так ?
Vladimir
Я бы оставил ЗФС однозначно)
Под НФС-шару создать отдельный датасет (рекордсайз подобрать под будущую нагрузку), и расшарить каталог по НФС
Если будет не хватать записи, то да, можно добавить слог-девайс. Только уж не в сата-диск, и даже не сас, а NVME онли конечно же.
M.2 ли, U.2 - не суть, хоть прямиком в PCIe
Для ускорения чтения имхо лучше оперативы добавить, это эффективней
Для начала, лежит кучка SATA SSD дисков, стоит их поставить ?
Georg🎞️🎥
Для начала, лежит кучка SATA SSD дисков, стоит их поставить ?
Стоит их поставить в компы рабочие ))))
Vladislav
Ну intel с 10 перезаписями в день всего объёма на 5 лет
По цене бытового говна типа m2
А что не так ?
?
Это ценник Samsung-а PM9A3
Art
U2 и есть прямиком в pci))
Vladislav
Art
Для начала, лежит кучка SATA SSD дисков, стоит их поставить ?
Ну в принципе и от сата в качестве слог-девайса эффект в принципе будет
Но рекомендуются нвме всё же
Georg🎞️🎥
Да уж, есть хранилка за хреналиард, но давайте поставим сата на сдачу 🤷🏻♂️
Vladimir
Art
обработка медицинских данных - томограммы MRI, PET
Это большие файлы наверное, на десятки ГБ в среднем?
Vladimir
Это большие файлы наверное, на десятки ГБ в среднем?
по-разному бывает. Если MRI то ~ 30 Mb
Vladimir
Это большие файлы наверное, на десятки ГБ в среднем?
PET до обработки может и на несколько ГБ потянуть, но из него быстро делают что-то более компактное.
Fedor
Vladimir
это уже сжатый формат?
Я честно говоря с необработанным PET дело сам не имею. Мне дают уже после первичной обработки, когда он ~ 20-30mb
Vladimir
Autumn
Autumn
пардон не внимательный, только что заметил что зфс Х14 х53, а аваго 10ТБ х16, я так понял зфс 53 диска по 14ТБ или нет? поправьте если ошибаюсь
Vladimir
пардон не внимательный, только что заметил что зфс Х14 х53, а аваго 10ТБ х16, я так понял зфс 53 диска по 14ТБ или нет? поправьте если ошибаюсь
да , avago - RAID-6 массив на 16и 10Тб Exos, zfs - 4xZRAID3 по 13 дисков в каждом
Vladimir
а что за аваго? модельку можно? интересные результаты локального лейтенси на зфс, в остальном предсказуемо
AVAGO 3108 MegaRAID , стоит в SSG-6048R-E1CR36H
Vladimir
да , avago - RAID-6 массив на 16и 10Тб Exos, zfs - 4xZRAID3 по 13 дисков в каждом
дисков на самом деле - 55, у меня там опечатка 13x4 + 3 spare
Ivan
дисков на самом деле - 55, у меня там опечатка 13x4 + 3 spare
с draid должно быть чуть быстрее, раз spare есть
Autumn
не, батарейку один талантливый товарищ забыл поставить.
батарейка хорошо помогает на рейд 5/6, хотя в принципе у зфс нет шансов против аппаратного рейда на 5/6, на зеркале и 10-ке можно побороться, думаю будет паритет, в остальном без шансов, я 60-й обычно на зфс поднимаю, пачку страйпов из raidz2 для бэкапов и очень холодны данных
Vladimir
Vladimir
N
имхо сравнивать 16 дисков и 52 слегка не корректно
Artem
Чутка, ага
Vladimir
имхо сравнивать 16 дисков и 52 слегка не корректно
Это то что я могу сравнить. Теперь владельцу системы есть что показать в ответ на его вопрос - что будет если мы сконвертируем cold-storage сервер в NFS сервер.
Ivan
N
Это то что я могу сравнить. Теперь владельцу системы есть что показать в ответ на его вопрос - что будет если мы сконвертируем cold-storage сервер в NFS сервер.
приходит человек в магазин и просит хлеба белого и черного чтобы сравнить, ему дают черный хлеб и сыр со словами - это то что есть... иди сравнивай и выбирай тебе белый хлеб или черный :)
Vladimir
приходит человек в магазин и просит хлеба белого и черного чтобы сравнить, ему дают черный хлеб и сыр со словами - это то что есть... иди сравнивай и выбирай тебе белый хлеб или черный :)
у человека на полке уже оба продукта лежат. Вот сидит он на кухне и сравнивает.
N
если сравнивать два законченных продукта - то да... но разговор был про технологический стек - а это другое... при изменении количества дисков графики могут поплыть
N
т.е. человек не сможет ответить на вопрос "что будет если мы сконвертируем cold-storage сервер в NFS сервер"
Vladimir
т.е. человек не сможет ответить на вопрос "что будет если мы сконвертируем cold-storage сервер в NFS сервер"
можно ответить, что будет если всё оставим как есть.
А по-другому протестировать сейчас всё-равно нельзя, потому что там данных под завязку.
N
можно ответить, что будет если всё оставим как есть.
А по-другому протестировать сейчас всё-равно нельзя, потому что там данных под завязку.
это да... к сожалению это частая проблема систем с данным - полноценный тест можно провести только на такой же второй хранилке :(
Vladimir
это да... к сожалению это частая проблема систем с данным - полноценный тест можно провести только на такой же второй хранилке :(
Что будет если новые таблетки нужны старым и больным, а добровольцы для испытаний все молодые и здоровые?
Ivan
Что будет если новые таблетки нужны старым и больным, а добровольцы для испытаний все молодые и здоровые?
аналогии это как кот с дверцей
Art
Что будет если новые таблетки нужны старым и больным, а добровольцы для испытаний все молодые и здоровые?
Спасибо за интересные тесты👍
Моё мнение: пусть зфс и показала результаты скорости ниже, так ведь и не критически ниже? Плюс уверен можно ещё и подтюнить
И в любом случае скорости это не единственный важный аспект.
Скажем снапшоты это же киллер-фича. Особенно в вашем кейсе.
Они могут создаваться автоматически и в большом количестве, хоть тысячами
При этом у вас в каталоге будет подкаталог .zfs, в котором будут доступны единовременно все файлы со всех снапшотов, как на ладони. Круто же!
Шифровальщики и криворукие юзеры больше не страшны. Любой файл можно моментально восстановить, а накладные расходы совершенно минимальны.
А ещё сжатие на лету, это тоже очень красивое
Vladimir
Спасибо за интересные тесты👍
Моё мнение: пусть зфс и показала результаты скорости ниже, так ведь и не критически ниже? Плюс уверен можно ещё и подтюнить
И в любом случае скорости это не единственный важный аспект.
Скажем снапшоты это же киллер-фича. Особенно в вашем кейсе.
Они могут создаваться автоматически и в большом количестве, хоть тысячами
При этом у вас в каталоге будет подкаталог .zfs, в котором будут доступны единовременно все файлы со всех снапшотов, как на ладони. Круто же!
Шифровальщики и криворукие юзеры больше не страшны. Любой файл можно моментально восстановить, а накладные расходы совершенно минимальны.
А ещё сжатие на лету, это тоже очень красивое
это да, это я использую на других ZFS массивах. Но скорость тоже нужна. Вот как данные перетащим, попробую добавить SLOG на SSD , посмотрим как оно повлияет.
Art
это да, это я использую на других ZFS массивах. Но скорость тоже нужна. Вот как данные перетащим, попробую добавить SLOG на SSD , посмотрим как оно повлияет.
Слог кстати может оочень позитивно повлиять
Ибо по умолчанию НФС всё пишет синхронно, и слог-девайс тут это то, что доктор прописал
Алексей
ребятки всем привет опять мои тупые вопросы
решил я побаловаться с шифрованием пула и тут выясняется, что похоже шифрование требует дополнительных iops на запись.
но я не понял почему, датасет с recordsize=512k и маленьких блоков в сколько нибудь значимом количестве я не обнаружил при zdb -bb pool
куда деваются иопсы, что можно сделать? (добавление special_small_blocks понятное дело не помогает)
Алексей
ребятки всем привет опять мои тупые вопросы
решил я побаловаться с шифрованием пула и тут выясняется, что похоже шифрование требует дополнительных iops на запись.
но я не понял почему, датасет с recordsize=512k и маленьких блоков в сколько нибудь значимом количестве я не обнаружил при zdb -bb pool
куда деваются иопсы, что можно сделать? (добавление special_small_blocks понятное дело не помогает)
смотрите какая ерунда получается в разных режимах
https://pastebin.com/4X0Dg4dc
Алексей
Для записи тех же самых но зашифрованных данных с той же скоростью нужно в 4 раза больше iops чем если бы они были нешифрованные
Алексей
Всё бы ничего, но ведь и читаются они медленнее. Это уже оверперебор
Алексей
Моя склоняется собрать мдадм шлифануть его луксом а поверх раскатать зфс.
Fedor
Это будет плохой идеей. Зфс потеряет гарантию консистентности.
Shaker
Шифруйте нативно аппаратно
Shaker
Винты-же поддерживают. И на них ZFS как обычно.
Fedor
На нижележащих уровнях
Fedor
По тем же причинам, почему говорят про ецц память и запрет рейда в разрыве между зфс и дисками
Shaker
Как бы это сделать скажем в проксе?
Так это железо нужно смотреть. Смотри на предмет совместимости с SED
Fedor
Строится модель угроз, от чего пытаетесь зашифроваться, потом по ней выбирается комплекс решений
Fedor
Может, шифрования данных в вм будет достаточно - это даже дешевле
Shaker
Вводишь пароль на все диски отдельно, или скриптом. И Далее делаешь импорт.