Сергей
а atime нужен для приложений?
Сергей
если atime не важен для приложений, то думаю что нет смысла включать обратно. Вряд ли кэширование зависит от этого аттрибута
nikolay
special это не кэш (не аналог slog). и как я выше писал под вашу нагрузку он тоже не подходит. но попробовать можно. главное проверьте что его можно безболезненно удалять из пула, я не помню как в openzfs реализовано
nikolay
а то добавите, удалить будет нельзя и пользы от него не будет - потеряете nvme диск
Василий
Нет, снепы на скорость скорей всего не влияют
central
Как вы себе это представляете в контексте CoW?
central
Оригинальные блоки никуда не перемещают при создание снепшота
nikolay
снапшот это дельта накопленных изменений между временем когда его сняли и sysdate
nikolay
в снапшот пишутся только новые данные или измененные данные, причем старые блоки при этом никуда не перемещаются, просто сдвигаются указатели.
Василий
Логично. Старые ж данные тоже место занимают, пока на них ссылки есть.
Василий
Нет. Просто пишутся в новое место при изменении. Впрочем, как и без снапа
Василий
Просто при снапе, старые блоки остаются занятым
Δαρθ
Кстати я таки нарыл как 'чётности' считаются в raidz3. Линк и аттач.
https://www.opensfs.org/wp-content/uploads/2016/04/LUG2016D1_Vectorized-ZFS-RAIDZ_Gvozden-Neskovic.pdf
max
Ей народ, ко мне приехали винты, кто подскажет с организацией всего этого
Итого мы имеем сервер : Xeon , 8 ram
3 sata выхода на материнке
Lsi SAS контроллер на 8 дисков
10 x SAS 1 tb 7k
2 x 600 gb SAS 10k
1 ssd sata 256 gb
1 SAS 2 tb 7k
2 sata 500gb 6gb/s
Предполагаю что на уровне ZFS будет организовано 2 рейда :
1 рейд 5 из 5 1 тб винтов
2 рейд 1 из 2 600 гб
И 1 2 тб винт для бекаров
Система будет на ссд
Рейд 5 будет отдаваться по iscsi
На рейде 1 будут собственно база данных и прочее, где нельзя потерять инфу
Хотелось бы услышать ваше мнение и дополнения
max
max
Но как показала практика - бсд на это немного насрать , работает и довольно стабильно
central
Это домашний сервер?
central
Тогда ладно
Ilya
Если кэш хит маленький, то толку для зфс от кучи памяти не будет
central
Где тут куча памяти? На сервере обычно и что то полезное должно работать
Ilya
Я не про этот случай, а про широкое мнение о том, что для зфс надо побольше памяти
central
Побольше понятие растяжимое
Dima
"где нельзя потерять инфу " - raidz2 ?
Dima
если диски б\у, то потерять 2 диска - запросто
Dima
В этом и смысл. А в предлагаемом варианте рейд5 нельзя. Ну в смысле можно, но с потерей данных. Это аргумент в пользу рейдз2
riv
солярка по NFS раздает диски для двух нод ESX. это домашняя игрушка, поэтому синк дисейлед. при пропадании света в двух случаях вцентр не стартанул. один раз помогло fsk, во втором пришлось откатиться на старый снапшот
Я думаю, что может быть виновато промежуточное кэширование на уровне nfs. Если не сложно, попробуйте провести такой же тест с zvol и iscsi связкой. Это более правильная парадигма.
max
Винты новые
Aliaksei
на наоуте одноврменно арч, генту и нетбсд - неплохо
max
max
max
Да я уже тоже об этом подумал, спасает только то что корпус алюминиевый
max
Пипец, я все винты не запущу сегодня, блин , питания нахватает
Василий
Я думаю, что может быть виновато промежуточное кэширование на уровне nfs. Если не сложно, попробуйте провести такой же тест с zvol и iscsi связкой. Это более правильная парадигма.
У соляриса вроде нфс без кеширования. Хотя не уверен. Не хочу искази) он не особо удобен
Василий
Пипец, я все винты не запущу сегодня, блин , питания нахватает
Хм это что за бп такой слабый?
Василий
Я думал это салазочный корпус, раз сас диски берете
Владимир
Доброго дня. как можно попробовать восстановить файл на zfs?
nikolay
Из снапшота или из бэкапа
nikolay
Софтины а-ля testdisk не понимают структуру zfs как я помню
Ivan
Доброго дня. как можно попробовать восстановить файл на zfs?
тут была история успеха с восстановлением удаленных файлов zfs. платные утилиты вполне умеют в zfs.
Δαρθ
Доброго дня. как можно попробовать восстановить файл на zfs?
монтирование предыдущих уберблоков? хз правда возможно ли это
max
Итого 10hdd
Василий
Ох как это все будет греться...
Олег
Ох как это все будет греться...
да, адово греться, нужно штук 5 кулеров с бешеным потоком воздуха
Олег
вообще есть адекватные копрпуса в офис для 8+ дисков?
Василий
Василий
Оно вертикально и курьер вверху
36-39 температура
Олег
жееесть
Олег
чийха какая-нить?
Василий
Не. Это вообще из гетинакса колхоз. Оно к потолоку прикручено
Олег
Рождение скайнет?)
Олег
Мне просто нужнахранилка дисков на 10 в офис
Олег
без севрерной
Олег
вот думаю
Олег
))
Andrey
elastic сам жмет - масло по маслу
Sergey
Почему не RAID-10?
Andrey
тут больше задача по переносу данных elastic
подключаете диск(и), размечаете в zfs и в elastic смотрите технологию hot-warm-cold
т е если входной поток достаточно большой - без ssd для записи индексов elastic не обойдетесь
шпиндельный диск - как долговременный архив
Andrey
на 18 тб диске основные операции будут - чтение, при построении отчетов
Andrey
если у вас суть - хранение логов с редким разбором инцидентов, то на мой взгляд в zfs+ssd cache никаких преимуществ не даст
данные все равно будут подниматься со шпинделей при запросах.
ssd лучше отдать под грячие данные, а шпиндельный диск - как архив холодных данных
Andrey
а как тут ssd кэш поможет?
Andrey
Горячие - в смысле это те, которые сейчас пишутся и возможно текущий день
Т е сегменты данных индексов лежат на SSD
Но если у вас интенсивно пишется на ssd, то чтение соответственно тупить будет
Поэтому перенос старых данных на другой диск(благо в elastic для этого сейчас функционал из коробки) в какой то мере позволит решить проблему доступа к холодным данным
Но тут еще нужно учитвать загрузку сетевого интерфейса
Если у вас скажем гигабитная сетевуха, то грубо это 100 Мб/сек
И если вы такой поток пишете, то читать через эту же дудку данные из elastic достаточно проблематично