Shaker
У нас работает и то и другое. Veeam + zfs снапшоты. Но снапшоты местами, сильно выручали. Делаются каждые сутки с ротацией и глубиной хранения 3 дня. Каждый день улетает на другую площадку.
Nick
но я собственно чего сюда заглянул )
Подскажите кто-нибудь, как правильно(!) сейчас в убунте для zfs включать какой-нибудь шедулер диска? Хочется ограничивать разные некритичные фоновыепроцессы/контейнеры
Nick
и есть ли замеры на сколько наличие шедулера ест проц или иопсы?
Fedor
Какого рода ограничения будут?
Nick
лимит иопсов
Nick
ну или мегабайт в секунду, но скорее ипосов
Fedor
А разве такие шедулеры есть? И чем они тут помогут, если данные так и так надо записать и прочитать?
Fedor
Будет та же выровненная полочка
Nick
основной сценарий - куча контейнеров без ограничений и парочка с ограничениями
Nick
решаемая проблема - чтобы кто-то, кто очень невовремя хочет много писать на диск, не мешал остальным
Fedor
И так же около 100 процентов времени будет запись и чтение на полную
Fedor
решаемая проблема - чтобы кто-то, кто очень невовремя хочет много писать на диск, не мешал остальным
Не размещать неконтролируемый код
Nick
исходный вопрос был про другую плоскость )
Fedor
Да, но, как мне кажется, это костыль, а не решение проблемы :)
А щедулеры такие я не видел, подскажите название, пожалуйста.
Nick
или я путаю и это фича cgroups и шедулер тут не нужен?
Fedor
Вот только не помню, ограничивают ли они дисковые ресурсы
Nick
с какой-то версии ядра - да
Nick
а вот как это реализовывается дальше я пока не понял
Nick
о, круто. Я то думал zfs ставит шедурер noop везде, а оказывается для крутящихся дисков не ставит и там остаётся mq-deadline
Nick
с другой стороны, если у меня sata ssd под очень большой нагрузкой - имеет ли смысл шедулер вместо none?
или (аппаратного?) ncq достаточно и ситуацию не улучшить?
Nick
или тюнить надо в этом случае настройки ZIO Scheduler?
Fedor
ncq вроде только на шпинделях применим
LordMerlin
Сергей
после ребута в дебиане симлинки на zvol исчезают, может кто знает как бороться?
Arseniy
Насколько я понял, можно запретить определенным каталогам попадать в ARC. А можно ли запретить каталогам попасть из ARC в L2ARC?
George
George
primarycache и secondarycache свойства датасета
Arseniy
Кто то может более внятно пояснить работу L2ARC? Вернее, как он работает я понял. Применительно к сценариям.
Допустим, есть ssd 1Tb под L2ARC. От каких задач из нижеперечисленных будет Профит в его использовании?
1. Использование БД с количеством файлов от 2000 до 40000, размером от 4кб до 50Мб.
2. Работа с ВМ.
3. Работа и взаимодействие с мультимедиа (фото, видео)
Под работой с ВМ Я подразумеваю, что есть ВМ, установленная на хосте, и ее файлы были переведены в L2ARC
George
Кто то может более внятно пояснить работу L2ARC? Вернее, как он работает я понял. Применительно к сценариям.
Допустим, есть ssd 1Tb под L2ARC. От каких задач из нижеперечисленных будет Профит в его использовании?
1. Использование БД с количеством файлов от 2000 до 40000, размером от 4кб до 50Мб.
2. Работа с ВМ.
3. Работа и взаимодействие с мультимедиа (фото, видео)
Под работой с ВМ Я подразумеваю, что есть ВМ, установленная на хосте, и ее файлы были переведены в L2ARC
первое правило - пока есть место под ОЗУ - лучше поставить озу а не l2arc
Arseniy
Тут бесспорно. В случае использования ECC, ОЗУ знатно дороже выходит , чем неплохой ssd sata
George
Кто то может более внятно пояснить работу L2ARC? Вернее, как он работает я понял. Применительно к сценариям.
Допустим, есть ssd 1Tb под L2ARC. От каких задач из нижеперечисленных будет Профит в его использовании?
1. Использование БД с количеством файлов от 2000 до 40000, размером от 4кб до 50Мб.
2. Работа с ВМ.
3. Работа и взаимодействие с мультимедиа (фото, видео)
Под работой с ВМ Я подразумеваю, что есть ВМ, установленная на хосте, и ее файлы были переведены в L2ARC
а так основные кейсы - где будет выигрыш от увеличения производительности рандомного чтения, и оно имеет хиты по кешу
George
БД может подходить под такой кейс
Arseniy
Что у zfs с фрагментацией дисков в таком случае? Спустя время
George
мультимедия - обычно меньше подходит. Только если точно есть горячие данные размером больше озу и полоса ссд будет больше чем у дисков, на поточке смысла мало
Сергей
Что у zfs с фрагментацией дисков в таком случае? Спустя время
Поставьте смр диск) Профит увидите почти мгновенно)
George
Что у zfs с фрагментацией дисков в таком случае? Спустя время
- в мире Unix фрагментация - это норма
- если тут речь про фрагментацию l2arc, то там не так, l2arc емнип это кольцевой кеш, т.е. он последовательно перезаписывается
George
и по этой же причине ФС любые не стоит забивать в полку. Для CoW ФС это ещё важнее
Arseniy
и по этой же причине ФС любые не стоит забивать в полку. Для CoW ФС это ещё важнее
В этом сообщении вообще ничего не понял😂
Сергей
Что у zfs с фрагментацией дисков в таком случае? Спустя время
Скажем так. На сотнях миллионов файлах оно начинает после окончания свободного места работать медленнее раз в 5-10. При этом уже тупит все в массиве
Сергей
Те та область, которая писалась подряд работает норм. А во фрагментированной все плохо. Речь про рейдз
Arseniy
Скажем так. На сотнях миллионов файлах оно начинает после окончания свободного места работать медленнее раз в 5-10. При этом уже тупит все в массиве
Это обсудовлено в том числе работой самого диска. У всех дисков скорость записи падает ближе к концу. Или вы про падение производительности помимо этого момента?
Сергей
Это обсудовлено в том числе работой самого диска. У всех дисков скорость записи падает ближе к концу. Или вы про падение производительности помимо этого момента?
Помимо. Когда он писать начинает не подряд, а в рандомные свободные места
Arseniy
Как этого избежать? Предположим, Я пишу стабильно 10Гб файл + 1000 файлов по 1Мб. Очевидно, что в какой то момент времени, большой 10Гб файл начнет дробиться и писаться на те части, где ранее были 1000-куски
Arseniy
С виндой все понятно, там дефрагментацию запустил и наслаждаешься
Сергей
Как этого избежать? Предположим, Я пишу стабильно 10Гб файл + 1000 файлов по 1Мб. Очевидно, что в какой то момент времени, большой 10Гб файл начнет дробиться и писаться на те части, где ранее были 1000-куски
Я где то читал, что рекомендуют в датасеты перезаписывать) по сути-никак. Ну или в бтрфс пробовать. У них вроде там дефрагментация есть
Arseniy
То есть, спустя время, zfs станет настолько медленно работать, что надо будет пересоздать датасет?
George
С виндой все понятно, там дефрагментацию запустил и наслаждаешься
дефрагментация на масштабах мало смысла имеет
Сергей
То есть, спустя время, zfs станет настолько медленно работать, что надо будет пересоздать датасет?
Ну не зря же говорят, что зфс и скорость это про разное)
George
То есть, спустя время, zfs станет настолько медленно работать, что надо будет пересоздать датасет?
если постараться, то да, можно довести до боли
George
но если постараться
Сергей
Торренты, например там хранить 😂
Сергей
Тогда боль придет быстрее). Особенно если их не ограничивать никак
Arseniy
Тогда боль придет быстрее). Особенно если их не ограничивать никак
В плане чего ограничивать?
Сергей
В плане чего ограничивать?
По потокам. Можно ограничить в 1 поток. Тогда в силу его скорости боль может наступить позже :)
Arseniy
Arseniy
Ну, в таком случае ещё два вопроса.
1. Если, скажем, делить диск на части, чтобы первую использовать под БД, а вторую под "большие файлы" - сможет ли это измерить ситуацию?
2. Почему бы не прикрутить в zfs дефрагментацию?
George
Ну, в таком случае ещё два вопроса.
1. Если, скажем, делить диск на части, чтобы первую использовать под БД, а вторую под "большие файлы" - сможет ли это измерить ситуацию?
2. Почему бы не прикрутить в zfs дефрагментацию?
- не усложняйте, просто держите побольше свободного места
- в zfs сейчас нет механизма ретроспективно что-то менять. Только вручную - например скопировав датасет в новый
George
с фрагментацией на zfs сталкиваются только на определённых кейсах
George
(если не держать место свободное)
Arseniy
Из разряда БДСМ: можно ли использовать совместно память ECC и non-ECC, заставив ARC поделиться на две части: для важных данных и не очень важных, разбросав по разному типу памяти?)
Vladislav
с фрагментацией на zfs сталкиваются только на определённых кейсах
И насколько я помню <60% даже нет смысла париться
Сергей
Ну, в таком случае ещё два вопроса.
1. Если, скажем, делить диск на части, чтобы первую использовать под БД, а вторую под "большие файлы" - сможет ли это измерить ситуацию?
2. Почему бы не прикрутить в zfs дефрагментацию?
Бьют на разные датасеты. Ну по мануалам. Там под постгрес есть настройки конкретные.
central
Ну, в таком случае ещё два вопроса.
1. Если, скажем, делить диск на части, чтобы первую использовать под БД, а вторую под "большие файлы" - сможет ли это измерить ситуацию?
2. Почему бы не прикрутить в zfs дефрагментацию?
CoW фрагментирован by design а то что вы видите это фрагментация свободного места что влияет на скорость записи
Vladislav
CoW фрагментирован by design а то что вы видите это фрагментация свободного места что влияет на скорость записи
Забавный факт, ZFS это RoW, но в текущей современной лексике CoW означает RoW
Vladislav
(потому что CoW означает затирание новыми данными те данные, что были записаны ранее, а не просто отметку, что данный блок свободен)
George
Забавный факт, ZFS это RoW, но в текущей современной лексике CoW означает RoW
Да, сейчас в 99% случаев под cow где либо имеется в виду row
George
Мне за это кто-то в статьях предъявлял даже)
Fedor
Тут бесспорно. В случае использования ECC, ОЗУ знатно дороже выходит , чем неплохой ssd sata
Без полной озу будет медленнее чем без л2арк
Georg🎞️🎥
Без полной озу будет медленнее чем без л2арк
А что есть полная ?🤷🏻♂️ у меня один таск выжрет 300гектар легко🤷🏻♂️ а мать блльше 700 не понимает, проще 4-6 тер u2 вкатить arc2
Dmitry
Всем привет! в домашнем сервере proxmox, начали сыпаться диски и пропал пул, в котором они были. zpool import пул не видит. В веб-интерфейсе они значатся, как zfs диски... Как быть?
central
Sergey
Сергей
Dmitry
Показывает статус другогопула и все
Animal
zfs status -s all ?