Владимир
или с ним работаешь?
Владимир
выключение мельдония даёт прям не слабый прирост в иопсах
Владимир
раза в два
Dmitry
специально не отключал, все на дефолтах (FreeBSD 12.1)
Владимир
специально не отключал, все на дефолтах (FreeBSD 12.1)
так выруби, правда я не в курсах как там с выключением его на фряхе), на линуксе то всё просто и на винде тоже
Dmitry
попробуем, надо даунтайм планировать только
Dmitry
видимо, на следующий понедельник утро
Владимир
попробуем, надо даунтайм планировать только
незнаю как во фряхе опять же, но в том же центосе его можно вырубать без рестарта
Владимир
просто выключать патч
Deleted
дык у меня arc только на 60% загружен, выше скрин постил
а есть графики по каждому текущему физическому диску на throughput, latency, утилизацию?
Dmitry
а есть графики по каждому текущему физическому диску на throughput, latency, утилизацию?
ну вот (iostat %b) это на 7 вм, на 10 сегодня считать будем. Замеры 2 суток, раз в 5 секунд
Владимир
я имел в виду что если нагрузка прям совсем совсем не дичайшая
ну она не дичайшая, но файлики которые хотелось бы чтобы были в кеше превышают эти 16Гб
Dmitry
но косвенно - время старта ВМ после добавления 3шт выросло
Владимир
про не дичайшую я имел ввиду что она не утилизирует NVME, понятно что HDD конечно с запозданием пишутся
Сергей
Владимир, это опасная опция. Я бы с крайней осторожностью подходил к её использованию. При таком режиме все операции fsync из виртуальной машины превращаются в async. И при падении хоста у вас образ может быть повреждён
Владимир
ты же писал что зрайд
Dmitry
погодь, но у тебя тут мироры, а не zraid
ну да, сейчас мирроры, на SSD планирую на raidz1 переходить
Dmitry
ибо дорого очень будет мирроры на 3.84T SSD ))
Владимир
ну да, сейчас мирроры, на SSD планирую на raidz1 переходить
ну чисто теоретически zraid на ссд, будет быстрее чем столько мироров на hdd, хотя вот блин лучше на практике померять))
Сергей
zvol 64k
а что внутри ВМ крутится? Я понял что винда, а что за приложение? Просто и для самой винды 64k тоже много, у NTFS размер кластера по умолчанию если не ошибаюсь 4к.
Владимир
денег бы еще кто-то дал на эксприменты )) все на свои делается
а какой у тебя там LA?, я правда незнаю есть ли такое понятие во фряхе
Dmitry
load averages: 0.90, 0.57, 0.41
Владимир
Владимир
а в нагрузке))
Dmitry
а в нагрузке))
это и есть в нагрузке )
Владимир
да в смысле))
Владимир
или во фряхе ла по другому считается, или это не нагрузка нфига))
Dmitry
да в смысле))
ну не прям в 100%, работает 8 из 10
Dmitry
или во фряхе ла по другому считается, или это не нагрузка нфига))
там ничего кроме демона iscsi-таргетов не крутится, ну заббикс агент еще ))
Сергей
а как же гарантия последовательности записи данных?
вы видимо не совсем поняли) меня. Ставя опцию writeback qemu "говорит" виртуалке что запись произведена и виртуальная машина в свою очередь думает что данные записаны. А на хосте операция становится async и будет записана "чуть погодя". Так вот если перед "чуть погодя" что-то случится с хостом - то данные на диск в действительности не попадут. Чтобы данные гарантированно записались и ВМ получила подтверждение что всё записано - нужно чтобы fsync из виртуалки остался fsync и на уровне хоста и попал в ZIL и далее....
Владимир
Dmitry
12 часов последних
Сергей
игры )
и они крайне активно пишут на диск?
Dmitry
и они крайне активно пишут на диск?
в целом - нет, отдельные могут - когда например качают пару десятков гиг из стима
Владимир
ну вот у меня случилс ясбой по питанию, и в моём понимании у меня стартанёт виртуалка ну как бы с откатом ну скажем на несколько секунд, что тут плохого?, я понимаю что данные эти просрались, но и сбой по питанию не то чтобы штатная ситуация
Dmitry
плюс может прилететь обновление zvol от 10 до 500Гб
Сергей
в целом - нет, отдельные могут - когда например качают пару десятков гиг из стима
тогда я не вижу смысла в 64к для zvol. Ставьте 8к по умолчанию, IOPS станут выше. Обновления и загрузка игр из стима вряд ли идут 24 часа в сутки, это разовые операции.
Dmitry
почему если не секрет?
Вкратце - потому что этот zvol не я собираю, я только получаю готовый и переделывать его никто не будет.
Владимир
Вкратце - потому что этот zvol не я собираю, я только получаю готовый и переделывать его никто не будет.
ну там так-то вроде одна команда, переделывать не надо, и даже вроде как на лету применится, пусть меня поправят если я не прав
Сергей
ну вот у меня случилс ясбой по питанию, и в моём понимании у меня стартанёт виртуалка ну как бы с откатом ну скажем на несколько секунд, что тут плохого?, я понимаю что данные эти просрались, но и сбой по питанию не то чтобы штатная ситуация
виртуалка будет думать что данные записались, так как запись шла через fsync и ОС (qemu) подтвердил что запись выполнена. Когда приложение записывает данные через fsync - то приложение полагает что данные действительно попали на носитель и логика дальнейшей работы строится на этом предположении
Сергей
ну пока это никак не противоречит вроде с тем что я сказал
противоречит. опция writeback в настройках qemu отключает fsync на уровне хоста. Вместо этого запись становится async. А внутри ВМ приложения продолжают думать что их fsync выполнился как нужно
Владимир
противоречит. опция writeback в настройках qemu отключает fsync на уровне хоста. Вместо этого запись становится async. А внутри ВМ приложения продолжают думать что их fsync выполнился как нужно
окей, ну вот случился сбой по питанию, рубанётся же не только накопитель, но и сама вм, а при старте приложения запустятся ка кбы с откатом, разве нет?
Владимир
откуда приложения будут знать что оно записалось, если грузятся с диска на котором нет этих записей, вот так будет точнее сформулировано
Deleted
То же самое ведь можно сказать если повесить zil на отдельный диск и этот диск отвалится - всё порушиться может и CoW не поможет Советуете не вешать zil на отдельный диск и таким образом не ускорять zfs? На случай ситуации с использованием Writeback'а куемы и развала zfs есть бекапы
Сергей
представьте что вы кому-то должны 100 рублей. И есть посредник, который должен взять у вас 100 рублей и отдать тому, кому вы должны. При настройках по умолчанию посредник отдаёт ваши 100 рублей кредитору и только после этого сообщает вам что отдал. Вы уверены в том что ваш долг погашен. А при настройках writeback он берёт у вас деньги и сразу вам говорит что отдал. Но на самом деле отдаст (или не отдаст) только спустя какое-то время. И если произойдёт сбой на уровне посредника, то ваши 100 рублей на попадут к кредитору. Но вы то думаете что они дошли получателю. А посредник их потерял во время сбоя
Владимир
НУ погодите ребят, в чём проблема моей логики? что я не так понимаю), ну пните что почитать хотя бы. Я вот прочитал те статейки что кидали, и исходя из того что прочитал у меня сложилось впечателние что сбой по питанию не помеха, потому как запись последовательна и записывает с копированием, что не портит старые данные
Владимир
так что ли?
Сергей
то есть типа, он мне уже сказал что ячейка скопирована в новое место, и у меня адрес этого места, а на деле там шиш?
хост (qemu) вам подтверждает что запись произошла, но данные ещё в ОЗУ, а не на носителе
Сергей
а при обычном fsync данные после выполнения операции уже на носителе
Сергей
fsync - это операция гарантированной записи
Владимир
хост (qemu) вам подтверждает что запись произошла, но данные ещё в ОЗУ, а не на носителе
да мне пофигу что думает приложение, я как бы сейчас пытаюсь понять ка кжто работает в ZFS, если произошёл сбой по питанию, у меня же поидее будет работать старая ячейка, но работать будет
Владимир
Копирование при записи в ZFS происходит не только на уровне файловой системы, но и на уровне управления дисками. Это означает, что ZFS не подвержена пробелу в записи (дыре в RAID) — феномену, когда полоса успела только частично записаться до сбоя системы, с повреждением массива после перезагрузки. Здесь полоса пишется атомарно, vdev всегда последователен
Владимир
читата
Владимир
Отсоединение старого блока и связывание нового осуществляется за одну операцию, поэтому её нельзя прервать — если вы сбрасываете питание после того, как это произойдёт, у вас есть новая версия файла, а если вы сбрасываете питание раньше, то у вас есть старая версия. В любом случае, в файловой системе не возникнет конфликтов.
Deleted
хост (qemu) вам подтверждает что запись произошла, но данные ещё в ОЗУ, а не на носителе
По-факту вы сейчас говорите не использовать не только райтбек, но и не использовать кеш на запись в принципе потому что не безопасно - я правильно понимаю?
Сергей
По-факту вы сейчас говорите не использовать не только райтбек, но и не использовать кеш на запись в принципе потому что не безопасно - я правильно понимаю?
в настройках по умолчанию в проксе используется кэширование чтения, для ускорения операций записи используйте быстрый SLOG, куда будут писаться операции синхронной записи.
Владимир
я думал что в логику просто вклинивается кеш
Сергей
то есть там логика отличается?
для async и fsync - да, отличается
Владимир
у виртуального в смысле
Владимир
для async и fsync - да, отличается
вот только начинаю думать что я начинаю чуть понимать, и вы меня обламываете
Владимир
Сергей
Владимир
Владимир
ну этот
Deleted
в настройках по умолчанию в проксе используется кэширование чтения, для ускорения операций записи используйте быстрый SLOG, куда будут писаться операции синхронной записи.
Я понял досканально вообще всё что вы сказали кроме одного - чем с точки зрения безопаности данных различается отвал носителя, на котором будет хранится кэш на запись в случае использования райтбека и в случае его отсутствия