« Rev
@ru_zfs   111
Fwd »


Fedor
Те, которые не умеют трим, умеют задействовать диск частично
Fedor
это тоже
Только из за этого. Трим - метод увеличения этого пространства
Fedor
Почему с слогом говорят - делайте партицию - только из за этого
Fedor
Ещё один способ вывести прлизводительность на максимум - сказать диску ата эрейз(или как оно там)
Fedor
Только данные все сотрутся. :)
Владимир
riv
Мне казалось, никто контрольные суммы не отключает.
Каюсь, грешен :-) Я считаю, что можно отключить этот механизм, если не используется дедупликация, на массивах из одного NVMe-диска enterprice-уровня подключенного напрямую к PCIe когда резервное копирование делается достаточно часто, а экономия оправдана с точки зрения критичности непрерывной работоспособности системы. Внутри таких дисков уже есть аналоги контрольных сумм, raid-массива и даже менеджер томов. Вероятность их отказа до исчерпания ресурса, который должен мониторится, сопоставима с вероятностью отказа, например, материнской платы сервера. Большого выигрыша raid и контрольные суммы в увеличении надежности, по моему мнению, не дадут. С другой стороны, издержки сильно уменьшатся.
riv
интересно, например для raid10 аппаратные контроллеры ведут какие-то контрольные суммы ?
Я не сталкивался с такими которые вели бы. Если добавить контрольные суммы появится и оверхед, связанный с ними. Но контрольные суммы без транзакционности - деньги на ветер. И вот вы у истоков наналога zfs с теми же издержками и теми же задачами. Если пойдёте по этому пути, рекомендую сразу начать с динамической перезаписи указателя и дефрагментации :-)
George
на асинхронной записи отключение чексумм при условии достаточного свободного времени цпу у меня явного отличия не давало
riv
Я сделаю и скажу вечерком сегодня. Не удивлюсь если разница будет существенна на intel optane дисках. У них латентность в примерно в 10 раз ниже чем у лучших nvme и сопоставими с латентностью озу. Zfs не может не добавлять большой овехед сюда.
riv
Я там не был, если только както заочно забанили :-)
Sergey
Только из за этого. Трим - метод увеличения этого пространства
Ну на нормальных энтерпрайз дисках флеша больше чем доступного пространства(на совсем хороших бывает в 1.5 раза и более) и им в целом пофигу на трим
Ivan
Я там не был, если только както заочно забанили :-)
мб попал в немилость бота в других чатиках ?
Sergey
ну не только же за конденсаторы им бабки брать)
Владимир
@neurox
Владимир
Опять маск свою криптовалюту толкает
Владимир
задолбал)
Владимир
И такой, твитер слишком плохая сеть для пиара криптовалюты, дай как я ботов в телеге сделаю чтобы он по всем чатам это покидал.
Ivan
И такой, твитер слишком плохая сеть для пиара криптовалюты, дай как я ботов в телеге сделаю чтобы он по всем чатам это покидал.
думаю в этом бизнесе всё посчитано и пока ботосеть приносит больше доходов, чем расходов.
Владимир
обычно богатые )
логично что у бедных денег нет)), елси даже поведутся))
Владимир
на замену предыдущего забаненого бота пришёл новый
riv
Ну на нормальных энтерпрайз дисках флеша больше чем доступного пространства(на совсем хороших бывает в 1.5 раза и более) и им в целом пофигу на трим
Я думаю нужно конкретнее. Intel S3700 нормальный диск? У меня через год эксплуатации они стали работать ощутимо медленнее. Были модели 100 и 200Гб. Security erase исправил ситуацию. А бывает, что нужен очень большой объём в теробайты и там не базы данных. Купить диск уровня s3700 или nvme аналог, цена буквально приближается к миллионам. А intel s3510, например, спасёт ситуацию. Но ему точно не пофиг на трим. Скорость записи падает до десятков мб в сек. В моём случае trim очень сильно повлиял на ситуацию. Я думаю что intel optane им вот пофиг. Но серверная модель на 375Гб стоит чуть ли не 100 000 руб. Представьте, что вам надо разместить 2Тб относительно холодных данных, загрузочные диски ОС, например. Такие цены сильно повлияют на стоимость услуги.
riv
мб попал в немилость бота в других чатиках ?
Если кто-то может связаться с админом и прояснить ситуацию, буду благодарен. У меня нет привычки вызывать немилость ботов и модераторов. Я бы хотел попасть в эту группу. Плотно работаю с proxmox
riv
Есть ещё @pro_kvm
Спасибо, тут пустили без проблем.
Сергей
Я думаю нужно конкретнее. Intel S3700 нормальный диск? У меня через год эксплуатации они стали работать ощутимо медленнее. Были модели 100 и 200Гб. Security erase исправил ситуацию. А бывает, что нужен очень большой объём в теробайты и там не базы данных. Купить диск уровня s3700 или nvme аналог, цена буквально приближается к миллионам. А intel s3510, например, спасёт ситуацию. Но ему точно не пофиг на трим. Скорость записи падает до десятков мб в сек. В моём случае trim очень сильно повлиял на ситуацию. Я думаю что intel optane им вот пофиг. Но серверная модель на 375Гб стоит чуть ли не 100 000 руб. Представьте, что вам надо разместить 2Тб относительно холодных данных, загрузочные диски ОС, например. Такие цены сильно повлияют на стоимость услуги.
для самой ОС такие диски не нужны. В лучшем случае можно отрезать раздел в 50-100Гб, а остальное под дело пустить
Sergey
Я думаю нужно конкретнее. Intel S3700 нормальный диск? У меня через год эксплуатации они стали работать ощутимо медленнее. Были модели 100 и 200Гб. Security erase исправил ситуацию. А бывает, что нужен очень большой объём в теробайты и там не базы данных. Купить диск уровня s3700 или nvme аналог, цена буквально приближается к миллионам. А intel s3510, например, спасёт ситуацию. Но ему точно не пофиг на трим. Скорость записи падает до десятков мб в сек. В моём случае trim очень сильно повлиял на ситуацию. Я думаю что intel optane им вот пофиг. Но серверная модель на 375Гб стоит чуть ли не 100 000 руб. Представьте, что вам надо разместить 2Тб относительно холодных данных, загрузочные диски ОС, например. Такие цены сильно повлияют на стоимость услуги.
Как правило энтерпрайз диски вначале работают быстрее, но когда все место "кончится" они приходят к заявленным в даташите параметрам, многие видят какие-нить 200к иопс при обещанных 80к производителем и думают, что он так и должен работать и рассчитывают на это, но это не верно, собственно как они ведут себя в так называемом steady state уже много раз описано во всяческих тестах с графиками, тут смысл в том, что есть некие iops и latency которые они будут ровно держать в отличии от обычных ссд, где будет кардиограмма на графике. никто не спорт, трим позволяет продлить жизнь ссд, где возможно его стоит использовать, но он тоже не бесплатен, а для кейсов где трим не поддерживается всетаки стоит рассматривать модели, которые дают гарантию производительности и не рассчитывать на производительность которую он показывает первые 3 минуты)
Сергей
минуту
Сергей
а ещё раз: https://t.me/joinchat/BV1jgVFZbO3H7JRiiYqOgg
George
Как правило энтерпрайз диски вначале работают быстрее, но когда все место "кончится" они приходят к заявленным в даташите параметрам, многие видят какие-нить 200к иопс при обещанных 80к производителем и думают, что он так и должен работать и рассчитывают на это, но это не верно, собственно как они ведут себя в так называемом steady state уже много раз описано во всяческих тестах с графиками, тут смысл в том, что есть некие iops и latency которые они будут ровно держать в отличии от обычных ссд, где будет кардиограмма на графике. никто не спорт, трим позволяет продлить жизнь ссд, где возможно его стоит использовать, но он тоже не бесплатен, а для кейсов где трим не поддерживается всетаки стоит рассматривать модели, которые дают гарантию производительности и не рассчитывать на производительность которую он показывает первые 3 минуты)
есть ещё ж прикол с кешами в nvme, особенно в дешёвых дисках, аля 10% от объёма сделано на tlc быстром, потом жопа
riv
Как правило энтерпрайз диски вначале работают быстрее, но когда все место "кончится" они приходят к заявленным в даташите параметрам, многие видят какие-нить 200к иопс при обещанных 80к производителем и думают, что он так и должен работать и рассчитывают на это, но это не верно, собственно как они ведут себя в так называемом steady state уже много раз описано во всяческих тестах с графиками, тут смысл в том, что есть некие iops и latency которые они будут ровно держать в отличии от обычных ссд, где будет кардиограмма на графике. никто не спорт, трим позволяет продлить жизнь ссд, где возможно его стоит использовать, но он тоже не бесплатен, а для кейсов где трим не поддерживается всетаки стоит рассматривать модели, которые дают гарантию производительности и не рассчитывать на производительность которую он показывает первые 3 минуты)
А я сразу заглянул в датащит и убедился, что гораздо ниже. Но тут надо написать что именно я делал. Я заметил что виртуалки тупят и тупит у них диск, появилась очередь. Запустил atop там 10k iops, 25Мб в сек и 75% утилизация. Примерно так, точных цифр не помню. А s3700 если память не изменяет дает 20k iops на диск, а их было 4 vdev в пуле. Сделал security erase ситуация выровнилась. Позже столкнуля на p4500 вроде. Тосную модель могу глянуть. Я просто включил трим, нагрузка на диски выросла до 100% минут на 10, потом всё заработало намного лучше. После этого, я везде обновил proxmox и включил trim везде где были ssd в основном пуле или во вспомогательных vdev.
Fedor
не выделяйте весь объём, оставляйте процентов 30 для высоконагруженных пулов, и никогда ничего тормозить не будет
Fedor
перед этим секюрэрейз и партицию
Сергей
То же самое.
я удалю вас сначала, а потом попробую добавить
riv
есть ещё ж прикол с кешами в nvme, особенно в дешёвых дисках, аля 10% от объёма сделано на tlc быстром, потом жопа
У самсунга на дешевых дисках есть технология с "выравниванием износа". Выравнивает таки образом, что накопитель должен гарантированно прожить гарантийный срок. Но выравнивает нагрузку то ли по дням то ли по часам. Выглчдит это так: если вы беспрерывно пишите в него, он работает все медленнее и медленнее экспоненциально приближаясь к некоторому безопасному для накопителя значению. Стоит его оставить без нагркзки и доступная скорость начинает рости. Столкнулся с этим в hetzner.
riv
не выделяйте весь объём, оставляйте процентов 30 для высоконагруженных пулов, и никогда ничего тормозить не будет
Ну там же и так большая резервная область. Если, как писали выше, она и вправду в полтора раза больше доступного объёма, а лучшие модели intel начинают тупить, то сколько надо ещё зарезервировать? 50%, 90%? У меня возникает впечатление, что это простое решение, на самом деле работает не всегда и трим необходим. А может быть и периодический security erase.
Fedor
Может, там алгоритмы влияют, даже с большой областью
Fedor
Там же уборщик мусора и реаранжировщик постоянно трудятся
Fedor
Может не успевают, если поток данных очень большой
Fedor
Там как и в зфс - CoW
George
Там как и в зфс - CoW
там FTL так называемый
riv
Я думаю что некоторые виды нагрузок могут исчерпать любой объем резервной области. И когда трим срабатывает высвобождается не только место из доступной области, но и в зарезервированной что-то высвобождается тоже. Как то связано с мультипликацией записи. Это моё интуитивное ощущение. Ничего более конкретного сказать не могу. У меня нет знаний о внутренней работе накопителей.
Fedor
Ну ка
Сергей
@iacsvrn
я уже удалил его из группы и новую ссылку приглашение в личку бросил
Ivan
оке
Fedor
там FTL так называемый
Ну вроде фтл как я посмотрел это механизм.
Fedor
Сейчас не смогу оперативно вникнуть
Fedor
Почему мне казалось похожее на кау - размазывание для защиты флеша
Fedor
Равномерный износ все дела
George
Равномерный износ все дела
ну там конечно можно cow юзать, но cow в zfs так то не про равномерный износ ни разу))
Fedor
в зфс - да.
Fedor
в зфс - не про равномерный износ.
Fedor
а в ссд - как раз нечто похожее
Fedor
потом GC ходит по диску, удаляет старые блоки, чтоб снова можно было в них быстро писать
Fedor
хотя блоки это очень грубо сказано. :D
George
боль всех ссд то в erase block size, который сильно больше, отсюда все проблемы
George
>Two fundamental reasons Write Cliff Occurs: 1.NAND Flash program size != Erase Size 2.NAND Flash is damaged by P/E cycle
riv
В ssd lba-адреса абстрактные, контроллер сам всё знает о состоянии ячеек и выравнивает износ. Зачем его ещё дополнительно выравнивать на уровне zfs? Для zfs нужен трим, чтобы как раз дать возможность освободить блоки, иначе даже если пул занят на 10%, рано или позно все блоки будут заняты вне зависимости от загрузки пула данными.
Александр🇷🇺
@iacsvrn
Что?
Ivan
Уже ничего ))
Fedor
боль всех ссд то в erase block size, который сильно больше, отсюда все проблемы
у меня интелы есть - там видел метрики "32MB Blocks written". :D
riv
Всем спасибо. Оказалось, без ника, в proxmox бот не пускает.
Sergey
есть ещё ж прикол с кешами в nvme, особенно в дешёвых дисках, аля 10% от объёма сделано на tlc быстром, потом жопа
дааа, ща на массмаркет много ссд с QLC полилось, так это вообще по скорости флешка, он пока может пишет по принципу SLC а потом задница, это вообще подходит только для компов типа офисных)
« Rev
@ru_zfs   111
Fwd »