Владимир
для теста поставил на волюме с мускулем sync=disabled, сделал замер когда было на стандарт и выключено. Замеры делал тестом производительности битрикс. Разницы никакой, вернее как понятно что цифры не в один в один, но при тестировании скачут в одном диапазоне, на выключенном даже иногда хуже чем на стандарт. В прочем думаю это просто погрешность. ТО что мне это не помогло никак я так полагаю причина в том что у меня и так не плохие диски и я в них не упираюсь.
Владимир
Вот ещё вопрос, везде пишут что нельзя выключать синх для волюмов с БД, но вот чётких обоснований я чёт не видел). По сути ведь при выключенном синх ты просто потеряешь чуть больше данных чем при включённом в случае потери питания. Или я что-то не понимаю?
Владимир
запись или чтение?
запись конечно
Владимир
чего там на чтение смотреть)), оно с ОЗУ)), там иннодб пул
central
сценарии разные, бывало и чтение проседало
Владимир
я про sync не KVM а ZFS
Владимир
как от него может что-то проседать))
Владимир
кстати, а в дефолте на ZFS sync=standard, я так понимаю это не прям чтобы полный sync, полный это я так понимаю always. Что-то не могу найти в гугле нормального описания разницы standart и always.
Владимир
вот у меня на стандарт всё круто, always я не пробовал, с выключенным разницы не ощутил
Владимир
Да. У меня тот же результат. На серверверных SSD sync практически не влияет на результаты тестов, а на потребительских колоссально влияет
а что будет если на потребительском выключить синх и очень дохренища писать)), это же может привести к выеданию ОЗУ и тормозам)). В моём понимании выключение синх поможет только при переодических скачках, но точно не при постоянной нагрузке
Владимир
попробовал сейчас always и потестировал, и снова разницы нет)). Будет под рукой днище сервак с днище дисками проверю))
Владимир
Владимир
ну и если он сбрасывает не по честному, то ведь у него могут накопиться данные или он будет их сбрасывать большими пачками снижая колличество запросов к накопителю и экономя иопсы?
Serega
не будет там ничего накапливаться jrs-s net 2019/07/20/zfs-set-syncdisabled/
Владимир
не будет там ничего накапливаться jrs-s net 2019/07/20/zfs-set-syncdisabled/
за статейку спасибо, но вообще ищу инфу где описывается каждый из трёх механизмов sync для лучшего понимания
Владимир
сам пока оставил на standart, ну по крайней мере пока лучше не изучил все 3. Так как стандарт всегда устраивал.
Владимир
банально запустил ioping на волюм и на лету менял ему значения, нифига не менялось. Может я что-то делаю не так?
Evgenii
По идее при sync=disabled оно только ZIL не использует, а все остальное одинаково. То есть в обоих случаях накапливает группу транзакций и скидывает на диск одну за одной. Поправьте, если я ошибаюсь.
Владимир
может незнаю надо перемонтировать, перезагрузить. Почему нихрена разницы не вижу)) Или может потому что у меня там арк только на метаданные стоит?
Владимир
Просто я тогжда не понимаю как блин мне замерить разницу с вклёчённым синх и с выключенным?)) Тут пишут что только с выключенным будет перфоманс, а у меня нихера нет разницы))
Владимир
я его как-то не так выключаю или как-то не так меряю? Или блин у меня просто диски не говно?
Василий
кстати, а в дефолте на ZFS sync=standard, я так понимаю это не прям чтобы полный sync, полный это я так понимаю always. Что-то не могу найти в гугле нормального описания разницы standart и always.
стандарт - по требоанию от преложения, алвейз - всегда, даже если приложение не требует. для баз одинаково, потом что транзакции. будут ли сыпаться базы от оключенн синка не скажу, у меня виртуалки и в пару штук с мелкобазами. а вот фс ошибки потом пачками находит. чего нет на при синке
Владимир
а вот фс ошибки потом пачками находит
Владимир
можно поробнее?
Владимир
и речь про блочные устройства zfs или про zfs в чистом виде?
Василий
можно поробнее?
виртулка на зфс, порри аварии при загрузке виртуалка у себя начинает чинить свою екст4. с потерями и прочими ругательствами. виртулка по нфс.
Владимир
просто я мускуль стараюсь держать в LXC контейнере, где как раз именно ZFS, а не блочное устройство
Василий
нфс солярисовский async не умеет, если что
Василий
только зфс сынк=оф
Владимир
виртулка на зфс, порри аварии при загрузке виртуалка у себя начинает чинить свою екст4. с потерями и прочими ругательствами. виртулка по нфс.
так у меня то не тот случай)), там где мне нужна производительность я как раз не использую виртуалки, а беру контейнеры с чистым ZFS
Владимир
в прочем у меня стоит стандарт везде и на виртуалках и на субволюмах с чистым zfs.
Владимир
стандарт - по требоанию от преложения, алвейз - всегда, даже если приложение не требует. для баз одинаково, потом что транзакции. будут ли сыпаться базы от оключенн синка не скажу, у меня виртуалки и в пару штук с мелкобазами. а вот фс ошибки потом пачками находит. чего нет на при синке
спасибо за разъяснение, ну теперь я понимаю что синх принудительно всегда мне не нужен и стандарт который я юзал норм вариант, а выключение синха наверное поможет когда накопители говно. Надо проверить как-нибудь))
Владимир
вот кстати на чём реально чуствуется ухудшение латенси, так это когда арк кеш ставишь в метаданные только. Вот там разница весомая)).
Василий
так у меня то не тот случай)), там где мне нужна производительность я как раз не использую виртуалки, а беру контейнеры с чистым ZFS
речь не о том, а том, что раз фс "подсыпается", то и база может. просто по базе у меня кейсов не было, я их на зфс только в одном месте храню, но там два две линии питания и два генератора с упсами.
Владимир
central
да все прекрасно реагирует пока без UPS не отключат свет
Владимир
Владимир
и она ничерта не увеличилась))
central
ssd, hdd:? чем тестируете?
Владимир
NVME
Владимир
тестирую родным тестом производительности битрикса
central
у меня на hdd raid 1 в раза три запись улучшилась
Владимир
он создаёт файлики в директории алаод и так меряет скорость
Владимир
у меня на hdd raid 1 в раза три запись улучшилась
в общем понятно, это только про медленные накопители
central
ну с nvme в принципе довольно часто жалуются что не могут по полной загрузить с zfs
Владимир
ну с nvme в принципе довольно часто жалуются что не могут по полной загрузить с zfs
ну файловые операции на ext4, на чистом, а не под блочным устрйоством ZFS, у меня получаются в 3 раза производительнее
Владимир
но честно меня это вообще не волнует, мне они не важны))
Владимир
ssd, hdd:? чем тестируете?
обманул вас, тут конкретно sata ssd
Владимир
но довльно хорошие INTEL SSDSC2KG48
Владимир
не скажу что топовые, но всё же очень не плохо
Василий
да все прекрасно реагирует пока без UPS не отключат свет
ну тут вон теория ходит что только 5сек серяется. про 5 сек я тоже читал, но у меня фс внутри коруптится. праям что бы не собралось совсем - не было, но до "запустите чек руками" - кучу раз
Василий
у меня на hdd raid 1 в раза три запись улучшилась
у меня райдз2 в 100 раз иопсы, судя по тесту растут :) 75/25
central
ну тут вон теория ходит что только 5сек серяется. про 5 сек я тоже читал, но у меня фс внутри коруптится. праям что бы не собралось совсем - не было, но до "запустите чек руками" - кучу раз
в теории должна оставаться консинстентной, но что будет если отключение произойдет прямо по середине записи сектора на диск, что будет, не у всех же корпоративные диски с защитой от такого
Владимир
у меня райдз2 в 100 раз иопсы, судя по тесту растут :) 75/25
я походу как-то не так меряю)), у меня нет разницы даже на HDD, там просто стабильно плохо, так же как на SSD стабильно хорошо))
Владимир
central
так остается консинстентой именно zfs, что именно будет с той что внутри, не думаю что кто то будет гарантии давать
Владимир
может выключение синха даёт плюсы при увеличении числа потоков?
Владимир
я просто однопоточными проверял
Василий
я походу как-то не так меряю)), у меня нет разницы даже на HDD, там просто стабильно плохо, так же как на SSD стабильно хорошо))
есть софт под винду для теста ипсов. запускает работу с диском в N потоков и считает иопсы
Василий
в теории должна оставаться консинстентной, но что будет если отключение произойдет прямо по середине записи сектора на диск, что будет, не у всех же корпоративные диски с защитой от такого
для этого есть транзакции, они либо успешные, либо нет. а вот синк оф - их ломают. веть нет же гарантии, что эти 5 секунд, буду записаны именно в той последовательности, в которой накопились, и инфа об успешной транзации будет последней, а не первой
Владимир
а как его еще можно без потоков??? :))))
С потоками и без мы узнаем совсем разные вещи
Владимир
Меряя в один поток ты можешь понять на сколько у тебя будет производительность работать приложение в один поток, для одного человека грубо говоря
Василий
так остается консинстентой именно zfs, что именно будет с той что внутри, не думаю что кто то будет гарантии давать
потому что свои структуры зфс таки консистетно запишет. а вот зфс поверх зфс если погонять, то весьма вероятно уложить ту которая "виртуально"
Владимир
Показатель многопоточности будет подсказывать какое количество одновременных посетителей ты сможешь обслужить без посадок или с просадками
Владимир
Конечно тут много условностей, но суть такая
Владимир
Если у тебя хорошо работает в один поток, ты сможешь в меньшее число потоков обслужить большее количество запросов