Georg🎞️🎥
или у вас там сетка 25гб+?
У меня Thunderbolt 30gb 👌
Vladislav
да, под ZFS
Тогда не будет тебе такой скорости
Evgeniy
Тогда не будет тебе такой скорости
а сколько будет? мне в основном на чтение
жюн
А мне жирные видеофайлы кидать - должно хватать
посмотрел самсунг, там чет ценник х3 почти за тот же обхём)
Georg🎞️🎥
Дешевле
8 тер u2 новые стоят 60-70 В три раза дешевле где взять ?
жюн
хотя pm983 есть, там уже 110к
Evgeniy
тогда зачем оно надо?
такой диск проживёт ещё очень долго, и не будет содержать в себе проблем хдд. а сетка даже на 10Гб относительно доступна уже сейчас, через 5 лет она уже будет стоять во всех материнках, как сейчас 2.5
жюн
хотя pm983 есть, там уже 110к
но и скорости поскромнее заявлены
Evgeniy
> 150 000 рублей > гарантия 1 год 🙈
жюн
хотя nix даёт 10 месяцев ваще...
Georg🎞️🎥
As example
Ну и ? 100к это дешевле 70? Или что ?
Georg🎞️🎥
жюн
оно девственное или юзаное?
жюн
у интела, кстати, ресурс мемный, первый раз вижу такое: 12300 TBW - при последовательной записи, 2800 TBW - при случайной записи
Georg🎞️🎥
Vladislav
Intel
Сравнивай хотя бы одинаковые объёмы?
Georg🎞️🎥
Example #2
Вот тут гуд ценник
Georg🎞️🎥
Vladislav
D5-P4320
Vladislav
Georg🎞️🎥
А это пример что за 150к можно 16тер взять
жюн
интелы на 200к иопсов записи тоже дорогие будут
жюн
D7-P5520, например
Georg🎞️🎥
интелы на 200к иопсов записи тоже дорогие будут
Меня интересует объем и скорость линейные … не для zfs. Брал
жюн
не для зфс, но по итогу зфс?)
жюн
а скок их там у тебя?
Georg🎞️🎥
не для зфс, но по итогу зфс?)
Нет, таскать на выездные сессии .. где надо несколько тер быстро записать … 1 штука на пробу пока
жюн
а тьфу ты
Georg🎞️🎥
не для зфс, но по итогу зфс?)
Для zfs оптаны на arc2 есть 🤔
жюн
Для zfs оптаны на arc2 есть 🤔
поюзал я arc2, профит сомнительный % попаданий маленький был слишком, пожалел ssd, поставил его на запись)
Georg🎞️🎥
поюзал я arc2, профит сомнительный % попаданий маленький был слишком, пожалел ssd, поставил его на запись)
У меня пока тоже не особо 🤔видать настроил криво … вроде терабайты инфы гонял на тесте - а в arc2 почти ничего :((((
жюн
опа, любимая картинка
жюн
нашел, DC P3600 стоит у нас
Fedor
D7-P5520, например
D7-P5600 очень хорошо себя показали
Vladislav
опа, любимая картинка
LV nvme_stripe Type striped Devices /dev/nvme0n1(0),/dev/nvme1n1(0),/dev/nvme3n1(0),/dev/nvme2n1(0),/dev/nvme4n1(0),/dev/nvme5n1(0) да норм
Maxim
/report
Vladislav
Ребята, всем привет, я понимаю что возмжоно не по адресу, но больше спросить негде. в общем мне нужно перегнать 120 тер с одного массива на другой. исходный массив на 12 дисках exos 16тб организован в виде двух mdadm raid6 соединенных с помощью lvm в один массив (типа raid60) второй массив состоит из 16 таких же дисков и организован в виде raidz2 x 2 (страйп из двух raidz2 по 8 дисков) Оба массивы собраны внутри одного HBA LSI 9211-16i (24 диска воткнуты в корзину и 4 диска напрямую через 8087-4сата) на втором массиве создан zvol точно такого же объема как и лвм. при попытке сделать дд с одного на другой - скорость около 200мегабайт/сек если читать с первого в /dev/null скорость 800мегабайт/сек (что меня устраивает) если писать во второй с оперативки то скорость в районе 1гигабайт/сек (что меня тоже устраивает) выручайте братцы, невкурю где я не прав!
У этой истории появился какой-то конец?
Vladislav
zpool iostat -vyln 1 5 , пробовал просто раз в секунду, бывает 3-5к операций на запись. zfs-2.1.11-pve1 zfs-kmod-2.1.11-pve1 debian 11 от проксмокса 7
Тогда надо проверять, что со стороны ОС туда идёт и что прокс показывает по чтению/записи также в iotop и nmon У тебя на special vdev ещё кладутся special_small_blocks https://forum.proxmox.com/threads/zfs-metadata-special-device.129031/ https://openzfs.github.io/openzfs-docs/man/master/7/zpoolconcepts.7.html
Nikolay
Тогда надо проверять, что со стороны ОС туда идёт и что прокс показывает по чтению/записи также в iotop и nmon У тебя на special vdev ещё кладутся special_small_blocks https://forum.proxmox.com/threads/zfs-metadata-special-device.129031/ https://openzfs.github.io/openzfs-docs/man/master/7/zpoolconcepts.7.html
special_small_blocks у меня 0, кроме меты туда ничего идти не должно. iotop и nmon я запускал на хосте, на запись ничего такого нет. Есть сильно читающий процесс от постгрес, но мне сказали это нормально для БД, и это чтение, а не запись опять же. Т.е. я впринципи не могу понять что даёт нагрузку 🤔
Алексей
У этой истории появился какой-то конец?
пришлось копировать 200мбсек
Dexex
Ну чтож... Два года использования zfs и syncoid скрипта. Полет нормальный. Оптимальное решение мое а том, что на proxmox создан отдельный пул под бекап из медленных hdd и реплицировано в датасет. Получается две копии. Из практики выяснилось, что синхронизация пулов не должна быть прям 3s или сколько там, потому что в момент бекапа система нагружена - у меня стоит 6ч и в строго нужное время запускается, когда окно копирования на локальный пул завершено
Nikolay
Что с atime? Какие параметры вдевов/датасетов менялись? стоит показать zpool get all на vdev и zfs get all на датасет постгри
пул: mega atime off local Ничего не менял, работало, а потом случайно заметил. Мониторинга загрузки дисков не было, как давно сказать не могу. Но по началу точно не было. пул: https://pastebin.com/raw/WDe84Hn7 датасет с постгрес: https://pastebin.com/raw/PHiJZqc0
George
Не помню кстати, не на special vdev ли zil весь приезжать будет
Nikolay
ещё iostat -x 5 пиковый тоже покажи и можно чекнуть ещё zpool iostat -r 5
iostat https://pastebin.com/raw/zxqWkXFz zpool iostat https://pastebin.com/raw/p7agyWN1
Vladislav
эти команды размер блока не показывают же.
Ну тогда, дополнительно размер блока через iostat -tkx 1 -d /dev/??? Можешь ещё blktrace посмотреть https://strugglers.net/~andy/blog/2019/05/20/measuring-linux-io-readwrite-mix-and-size/
Sergey
#вопрос Proxmox zfs raid10 6 hdd дисков по 4тб. Подскажите как сюда прикрепить special? Какого размера и как сделать чтоб с этого толк был. Есть мысли что l2arc и slog на самба-шарах профиту особо не даст с рандомным доступом. А special сможет выцепить НЕ самбашары и их ускорить. Около 120 гигов два ссд например в зеркале и zfs set special_small_blocks=4k POOLNAME Или прикрутить 500-1000 гб ссд на l2arc?
Nikolay
#Вопрос: А правильно ли понимаю: Вот вывод команды: zpool iostat -r 5 https://pastebin.com/raw/af28ZRGF Что по факту у меня гостевые ОС пишут в большинстве своём 4К и 8К блоками ? При ashift=13 у меня программный размер блока 4К и диски тоже по 4К. Получается вмместо одного блока 4К записи на диск, при record_size=128K , пишется 128/4=32 блока на диск. Нагрузка на пул больше, НО влияет ли это кол-во записей в special vdev ? По идее же нет, туда пишется инфа про ОДИН 128К сектор, а не 32 раза про 4К сектора ? Т.е. неподходящий размер блока не будет же увеличивать нагрузку на special vdev ? Спасибо
Nikolay
Лучше бы дал вывод сравнение между nmon & iotop из ОС и из гипервизора...
Допустим nmon, с какими опциями смотреть ? есть d и -D
Vladislav
Vladislav
Vladislav
А нет, вру, d маленькая меньше инфы даёт
Vladislav
Кстати, вот откуда я помню, что nmon умеет блок показывать,
Nikolay
Кстати, вот откуда я помню, что nmon умеет блок показывать,
Наверное я неправильно понял. "размер блока" я подумал про как при выводе zpool iostat -r , а тут получается речь про объём данных ?
Nikolay
Vladislav
IO block size
Vladislav
Я не знаю как ещё объяснить
Nikolay
Ну что там?
первый в госте, второй на хосте
Vladislav
Там же усредненное за интервал, не?
Да, но у нас стабильно высокая нагрузка на special