« Rev
@ru_zfs   558
Fwd »


Станислав
Проблема была в программном баге SanDisk, а не во всех SSD в мире
Слава
https://habr.com/ru/company/ruvds/blog/681158/
https://www.usenix.org/system/files/fast21-han.pdf
Слава
Проблема была в программном баге SanDisk, а не во всех SSD в мире
1) это не единственный подобный баг 2) надежность ssd очень сильно зависит от прошивки. Для одной модели но разных версий прошивки afr может быть от 0.5 до 4 процентов в зависимости от прошивки 3) читайте статью
George
Проблема была в программном баге SanDisk, а не во всех SSD в мире
Как это подтверждает надёжность всех остальных ссд в мире?
Станислав
Как это подтверждает надёжность всех остальных ссд в мире?
Я хотел сказать, что не стоит сразу всем ссд приписывать проблему
Arseniy
Если абстрагироваться от реальных значений и принять, что stripe из ssd 1Tb sata даёт линейную запись 500мб/с, stripe из hdd 1Tb даёт 250мб/с, то какая скорость примерно будет, если их соединить в миррор? Определяться будет наименее скоростным устройством?
Александр
Даже не знаю, что спросить. Просто рассказываю. Жил-был jail, стал вести себя себя странно. При перезапуске zfs оказалась в состоянии "7 апреля 2022". Сказать, что я в изумлении - значит, ничего не сказать...
Алексей
Спонтанный нёх?
Александр
Спонтанный нёх?
Разобрался. Артефакт процесса переноса данных. У меня подмонтировалось не то. Выдохнул...
Александр
но, блин, чуть не обделался
Алексей
Да я сам напрягся. Всмомнил как 100тб похерил с помощью -Lec
Georg🎞️🎥
Да я сам напрягся. Всмомнил как 100тб похерил с помощью -Lec
Не пишите такое )) Работодатель спалит если ? )))
Алексей
это был пет проект
Georg🎞️🎥
Пет?
Maksim
Ничего себе у вас пет-проекты с 100ТБ
Maksim
Я столько места и не щупал в одном месте ни разу
Алексей
Пет?
пет, но не петабайт
Georg🎞️🎥
пет, но не петабайт
Отлично объяснили , сразу все встало на свои места 👌👍(…ирония)
Georg🎞️🎥
пhttps://habr.com/ru/company/getmatch/blog/527590/
Да ладно … сразу б послали 👋
Алексей
ну вот у меня ща 300 в обороте
LordMerlin
🙈
Ну то таки бэкапы, а у Бригадира живые данные))) почти))))
nikolay
народ, если я говорю в пуле zfs set sync=always - вся запись должна быть синхронной? или это не влияет на тип текущей записи?
Ivan
посоветуйте сервак в котором u2 дисков штук 12/16 можно подключить напрямую. а то чет продаван предлагает странные вещи. половина дисков подключается так, половина эдак, через raid контроллер. зоопарк блин какой-то.
nikolay
Любая запись на диск будет синхронной
вот я тоже так считал, но нет(
central
вот я тоже так считал, но нет(
давай ссылку на доку
central
или иди в bug tracker если сломал zfs
nikolay
у меня сейчас куча асинхронной записи, поменял настройки sync "на лету", ничего не изменилось
nikolay
давай ссылку на доку
так в доке как раз сказано что вся запись будет синхронной)
nikolay
либо оно не работает "на лету" и не изменяет тип текущей нагрузки
nikolay
ну?
что ну?)
central
ну стандатный шаблон, что у вас работает не так как задокументароивано и как собираешся доказывать что косяк именно в zfs
Maksim
тут уж не могу сказать( я б ожидал что всё же жрёт, но тут надо с ними уже разговаривать, а не со мной
Maksim
ещё кажется у ASUS был какой-то вариант с потенциально кучей nvme
Maksim
(то ли 12 то ли 16)
nikolay
ну стандатный шаблон, что у вас работает не так как задокументароивано и как собираешся доказывать что косяк именно в zfs
еще раз прочитайте мой вопрос. я поменял настройки sync=standard на sync=always на работающем пуле, без перезагрузки. ничего не поменялось, как было много асинхронной записи, так и осталось. собсно вопрос в этом и был - оно будет менять тип записи "на лету" или нет
nikolay
в доке ничего не сказано про кейс когда этот параметр меняется "на лету"
nikolay
у меня нет
nikolay
[root@99swift-node04 ~]# zfs get all | grep sync swift sync always local swift/obj13 sync always inherited from swift swift/obj14 sync always inherited from swift swift/obj15 sync always inherited from swift swift/obj16 sync always inherited from swift
nikolay
swift sync_read sync_write async_read async_write scrub trim req_size ind agg ind agg ind agg ind agg ind agg ind agg ---------- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- 512 619 0 0 0 0 0 213 0 0 0 0 0 1K 85 0 0 0 0 0 15 0 0 0 0 0 2K 1 0 0 0 0 0 0 0 0 0 0 0 4K 12.9K 0 773 0 0 0 5.10K 0 0 0 0 0 8K 6 0 0 0 0 0 163 1.53K 0 0 0 0 16K 5 0 13 0 0 0 175 1.13K 0 0 0 0 32K 2 0 7 0 0 0 714 1K 0 0 0 0 64K 0 0 0 0 0 0 767 1.47K 0 0 0 0 128K 0 0 0 0 0 0 0 831 0 0 0 0 256K 0 0 0 0 0 0 0 0 0 0 0 0 512K 0 0 0 0 0 0 0 0 0 0 0 0 1M 0 0 0 0 0 0 0 0 0 0 0 0 2M 0 0 0 0 0 0 0 0 0 0 0 0 4M 0 0 0 0 0 0 0 0 0 0 0 0 8M 0 0 0 0 0 0 0 0 0 0 0 0 16M 0 0 0 0 0 0 0 0 0 0 0 0 ----------------------------------------------------------------------------------------------
nikolay
гистограмма распределения блоков
nikolay
меняю на always
nikolay
[root@99swift-node04 ~]# zfs get all | grep sync swift sync standard local swift/obj13 sync always inherited from swift swift/obj14 sync always inherited from swift swift/obj15 sync always inherited from swift swift/obj16 sync always inherited from swift
nikolay
swift sync_read sync_write async_read async_write scrub trim req_size ind agg ind agg ind agg ind agg ind agg ind agg ---------- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- 512 477 0 0 0 0 0 125 0 0 0 0 0 1K 78 0 0 0 0 0 15 0 0 0 0 0 2K 2 0 0 0 0 0 0 0 0 0 0 0 4K 10.9K 0 878 0 0 0 3.33K 0 0 0 0 0 8K 217 0 0 0 0 0 109 1.21K 0 0 0 0 16K 131 0 4 0 0 0 148 1004 0 0 0 0 32K 3 0 6 0 0 0 470 673 0 0 0 0 64K 2 0 0 0 0 0 499 1.05K 0 0 0 0 128K 0 0 0 0 0 0 0 481 0 0 0 0 256K 0 0 0 0 0 0 0 0 0 0 0 0 512K 0 0 0 0 0 0 0 0 0 0 0 0 1M 0 0 0 0 0 0 0 0 0 0 0 0 2M 0 0 0 0 0 0 0 0 0 0 0 0 4M 0 0 0 0 0 0 0 0 0 0 0 0 8M 0 0 0 0 0 0 0 0 0 0 0 0 16M 0 0 0 0 0 0 0 0 0 0 0 0 ----------------------------------------------------------------------------------------------
central
софт запросил асинхронную запись оно выше отобразилось, а что zfs именно делает?
central
zfs не меняет асинхронные записи, он считает их скрыто сам для себя синхронными
nikolay
софт запросил асинхронную запись оно выше отобразилось, а что zfs именно делает?
хорошо, чем мне смотреть на тип записи? у меня есть в пуле slog, на него нагрузка минимальна, по идее при полностью синхронной записи все это должно проходить через slog, нет?
nikolay
zfs не меняет асинхронные записи, он считает их скрыто сам для себя синхронными
что значит считает?) это должно отображаться в статистике
nikolay
zpool iostat показыает например latency по async_write
nikolay
[root@99swift-node04 ~]# zpool iostat -q 1 capacity operations bandwidth syncq_read syncq_write asyncq_read asyncq_write scrubq_read trimq_write pool alloc free read write read write pend activ pend activ pend activ pend activ pend activ pend activ ---------- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- swift 117T 401T 7.68K 11.3K 34.0M 237M 0 43 0 0 0 0 69 2 0 0 0 0 swift 117T 401T 9.24K 15.0K 37.2M 418M 0 60 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 12.6K 16.7K 51.2M 521M 0 54 0 0 0 0 12 2 0 0 0 0 swift 117T 401T 12.3K 14.3K 50.9M 414M 0 39 0 0 0 0 1.10K 13 0 0 0 0 swift 117T 401T 11.3K 13.3K 46.3M 425M 0 22 0 1 0 0 0 0 0 0 0 0 swift 117T 401T 10.8K 13.0K 45.1M 379M 0 19 0 0 0 0 579 8 0 0 0 0 swift 117T 401T 11.2K 13.4K 45.5M 397M 0 13 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 11.9K 13.4K 48.9M 388M 59 23 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 10.9K 13.0K 43.9M 388M 0 29 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 10.7K 12.5K 43.2M 355M 0 82 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 11.7K 15.8K 48.7M 460M 0 32 0 0 0 0 663 19 0 0 0 0 swift 117T 401T 11.8K 14.5K 47.9M 417M 0 34 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 11.5K 13.6K 47.1M 405M 0 11 0 0 0 0 1.54K 89 0 0 0 0 swift 117T 401T 9.90K 15.5K 40.4M 466M 0 96 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 12.0K 16.2K 48.4M 468M 0 31 0 1 0 0 17 8 0 0 0 0 swift 117T 401T 11.1K 15.6K 45.6M 457M 0 82 0 0 0 0 205 5 0 0 0 0 swift 117T 401T 11.8K 10.9K 48.1M 301M 0 25 0 0 0 0 0 0 0 0 0 0 swift 117T 401T 9.03K 10.7K 36.4M 310M 0 36 0 0 0 0 0 0 0 0 0 0
nikolay
zfs не меняет асинхронные записи, он считает их скрыто сам для себя синхронными
вот такая статистика есть, тоже по вашему не zfs показывает?
Ivan
Или типа каждый диск своим проводом чтобы ?
не нашел в спеках поддержки u2 ssd
Georg🎞️🎥
не нашел в спеках поддержки u2 ssd
Через переходник в писи ай , у меня так стоят
Ivan
Мммм, кратко, это стоит до-хе-ра, смотрите в сторону Dell r750 Либо Алик с pcie --> u.2 splitter/switch Тут нет среднего решения
да вроде не прям гипер дорого. новая супермикра на 8 ssd прямого подключения чето около ляма выходит с процами и рамой.
Ivan
хотелось бы чуть поболе места)
Vladislav
нед
Просто как физ лицо, когда я вижу такой ценник при реальной стоимости: 20к за 1.92тб 10k за сплиттер (1 сплиттер - 4 диска) И ~97к за полную сборку 3U на amd epyc 2-е поколение Мне плохо становится
Ivan
чет сейчас с выбором шасси прям совсем печаль
Vladislav
это давно было ?
Учитывая сколько раз он модифицировался - последняя модификация неделю назад Перейдем в личку
« Rev
@ru_zfs   558
Fwd »