в чем было дело
smr ?
Ivan
Ivan
ахах
riv
а какую методику тестирования предлагаете использовать ?
Хм... блин. ну да, непонятно откуда поток брать. Может pv /dev/zero > /dev/zvol/... и усреднить минуты за 2-3?
Ivan
это для чистоты эксперимента придётся убит пул,т.к. у него сейчас есть special
Алексей
не берите эти диски, либо я просто не умею их готовить. но они до сих пор у меня лежат вот думаю продать чтоле на авито
riv
это для чистоты эксперимента придётся убит пул,т.к. у него сейчас есть special
линейная запись на special не пойдёт. Туда только метаданные пишутся. Наоборот хорошо. Ожидается, что будет почти как raid10 на mdadm
riv
INTEL SSDSC2KI010T8
на ark.intel.com не нашел, гугл выдает странички с intel 660 - но это же не они, нет?
Ivan
не берите эти диски, либо я просто не умею их готовить. но они до сих пор у меня лежат вот думаю продать чтоле на авито
где ты раньше был ? 😭
Алексей
тут в этом чате
Алексей
а че хорошие диски?
Ivan
да вообще занятно, как хорошие диски могут портить производительность
Алексей
на ark.intel.com не нашел, гугл выдает странички с intel 660 - но это же не они, нет?
ну вот не знаю, могу смарт выдать если хочешь. они онлайн у меня сейча
Алексей
ща
Ivan
Хм... блин. ну да, непонятно откуда поток брать. Может pv /dev/zero > /dev/zvol/... и усреднить минуты за 2-3?
что-то непонятное происходит
Ivan
riv
компрессия?
Ivan
ах блин !
Ivan
с sync=disabled и compression=off средняя скорость записи через dd 380MB/s. в atop при этом нагрузка в среднем 70% показывается.
если запустить тест минут на 5, то скорость стремится к 100MB/s
Ivan
как-то это всё мутно )
Ivan
на lvm стабильные 750 показывало
Ivan
диски MG04ACA400E
https://toshiba.semicon-storage.com/eu/storage/product/data-center-enterprise/enterprise-capacity/articles/mg04acaxxxx.html
Алексей
Че, хетцнерок?
Ivan
не, тестовый бэкапный сервачек
Ivan
если ускорение за счет ссд прокатит, то все сервера имеют шанс переехать на zfs.
Алексей
бэкапный сервачек sync=disabled и рекордсайз побольше
Алексей
щастье
Ivan
пока рекордсайз 128K. всё что прокс делает по дефолту для вм оставлено, кроме sync )
Ivan
Ivan
вот есть один диск не в пуле
Ivan
и у него скорость записи выше, чем у всего пула
Сергей
пока рекордсайз 128K. всё что прокс делает по дефолту для вм оставлено, кроме sync )
а как относится recsize к zvol?
Ivan
просто сказал что у пула такой рекордсайз
Алексей
настройки пула на проксмокс не влияют
Алексей
он создает такой как у него в сторадже задан
Ivan
создал пул из гуя прокса
Алексей
я вот про это
Алексей
riv
ЫВ общем по SSD. Больших проблем на all flash пуле не будет, если обращать внимание на вот эти параметры:
riv
riv
Например такой диск подойдёт, чтобы использовать его как загрузочный, т.е. заполнить дисками c:\ или root-разделами процентов на 80.
Сергей
для zvol используется volblock
Ivan
почему dd запись на zvol может быть ниже скорости записи на отдельный диск ?
riv
металанные, контрольные суммы
Ivan
zvol то как бы на 34 блинах. и проигрывает одному диску в линейной записи.
Ivan
ведь запись должна быть параллельной ?
riv
zvol то как бы на 34 блинах. и проигрывает одному диску в линейной записи.
logbias=latency сменить на другое значение
riv
бережет iops для поралельных потоков. А ещё у вас никаких нестандартных настроек нет при загрузке модуля zfs?
Ivan
logbias=latency сменить на другое значение
всё равно нагружаются не более 2-3 дисков за раз и линейная запись не выросла
Ivan
zfs set logbias=throughput Storage/vm-101-disk-1
riv
К меня не так. Негде показать, пулов большим кол-вом дисков не осталось.
Ivan
Хм... блин. ну да, непонятно откуда поток брать. Может pv /dev/zero > /dev/zvol/... и усреднить минуты за 2-3?
короче не получается у меня с zfs показать, что скорость всего массива высокая
Сергей
riv
может фрагментация или поралельна нагрузка.... странно
Сергей
короче не получается у меня с zfs показать, что скорость всего массива высокая
сделайте fio на последовательное чтение и будет вам высокая скорость чтения
Ivan
не, параллельной нагрузки нет. установлен прокс и остановлена вм для тестов
Сергей
я попросил показать какая линейная скорость записи достижима при 17 vdev
линейная запись - это seq write?
riv
Да
Сергей
Да
ну так пусть fio и сделает такую нагрузку. можно джобы увеличить чтобы увидеть какая будет скрость для множества клиентов
Ivan
к параллельной нагрузке вопросов нет. показывает весьма приличные попугаи. а тест типа копирования жирного файла меня смутил.
Сергей
к параллельной нагрузке вопросов нет. показывает весьма приличные попугаи. а тест типа копирования жирного файла меня смутил.
а это (копирование жирного файла) - будет типичной нагрузкой?
George
почему dd запись на zvol может быть ниже скорости записи на отдельный диск ?
потому что однопоток, 1 блок улетит только на 1 vdev. если не использовать iodepth побольше или параллелизм, то максимально заюзается 1 vdеv на 1 поток и iodepth=1
George
zfs для чисто однопоточной нагрузки на пул надо тюнить, он изначально заточен на сильно конкурентный и параллельный доступ
Сергей
такое может иногда случаться
как часто? 1% из всего времени когда будет работать другая нагрузка и по которой показатели устраивают? Ну так забейте - идеала нет в мире))
riv
А попробуйте создать zvol с volblocksize > 16* кол-во vdev
Ivan
смущает что вот такой производительный титан может приуныть оттого что кто-то начал копировать большой файл