central
Ну 20тб ссд трошки оверинжиниринг
Вы логи за 20 лет храните?
Aleksandr
Может и да =)
central
Graylog думаю позволяет их архивировать куда нибудь на медленные hdd
Ivan
Ну 20тб ссд трошки оверинжиниринг
в локи и елк есть тиры. холодные данные можно отправлять на более медленное хранилище.
Aleksandr
Graylog думаю позволяет их архивировать куда нибудь на медленные hdd
Ну тогда хранилка затачивается чисто под задачу, будет не ефективно исплользование емкости под задачи которые могут через пару лет возникнуть
Aleksandr
Всетаки склоняюсь сделать след образом. На двух ссд откусить каких то 248 гб собрать их в рейд 1 разместить на них тогда slog. Оставшиеся кусочки собрать в рейд 0 заюзать под l2arc
Aleksandr
В случае вихода ssd из строя у меня не сдохнет slog ибо вторя будет. На её места встанет новая ssd, от которой нужно будет отколоть кусок в 248 гб и вернуть в зеркало. НУ станет может быть меньше l2arc, это не критично
Aleksandr
смерть slog в любом случае не гарантированно приводит к потере данных
Ну и рисковать не хочетися когда можно не рисковать
Aleksandr
Хотя и два диска в зеркале с одной партии тоже могут сдохнуть внезапно одновременно
central
смерть slog в любом случае не гарантированно приводит к потере данных
ЕМНИП если не умер сервер то slog может сколько угодно умирать
Maksim
вот с special так нельзя :)
central
Опять же, я хз что плохого может произойти если вы потеряете пару секунд логов
central
99% трассировок запросов в мусорку отправляется и всем норм, а тут пару секунд логов
Aleksandr
Я просто не сильно понимаю что происходит при отказе slog просто транзакции которые на нем и еще не записаны в пул не дойдут до пула?
Aleksandr
Или шары всему пулу?
Aleksandr
SLOG как я понимаю хранит на себе синхронные записи когда приложухе нужно отчитаться что "мы данные записали"? Я правильно вообще понял для чего он? =)
Aleksandr
А асинхронные записи могут в озу храниться ждать своих операции записи?
Fedor
На мой взгляд, решение зависит от способа использования этих логов.
Fedor
Как часто будут читаться, в каком объеме, и так далее
Fedor
Как часть будут читаться одни и те же логи
Fedor
Может быть, зфс будет тут избыточна
Fedor
Л2арк, например, под вопросом, так как в него попадают только данные, которые уже читались
Fedor
Сама зфс вносит некоторую пенальти на запись
Fedor
Может, разве что дедуп какой-нибудь будет иметь смысл. И то, под вопросом
Fedor
Или компрессия
Fedor
Также зависит от того, в каком виде будут храниться логи, в чистом или индексированном (например, эластик)
Fedor
Может, будет достаточно лвм (вроде бы он умеет в отдельный кеш на запись)
Aleksandr
Ну хотелось бы +- универсально, ибо в перспективе может этот пул будет еще под что то задействовать
Aleksandr
Пока скланяюс к схеме На двух ссд откусить каких то 248 гб собрать их в рейд 1 разместить на них тогда slog. Оставшиеся кусочки собрать в рейд 0 заюзать под l2arc
Aleksandr
лучше рамы вместо l2arc накидать
ТА там под 100 гб будет
Fedor
Ну хотелось бы +- универсально, ибо в перспективе может этот пул будет еще под что то задействовать
если логов много, и их количество будет увеличиваться, то свиду относительно свободная система с 7200 дисками встанет колом при приземлении на нее какой-либо нагрузки с рандомным профилем (бд, вм) и 100гб рамы для большого массива зфс, если записи логов действительно много, это практически копейки, которые позволят при интенсивной записи кое-как эти логи читать в приемлемое время (но зависит от нагрузки).
Y
кто-то счупал DEDUP VDEV - есть толк ?
Y
Пока скланяюс к схеме На двух ссд откусить каких то 248 гб собрать их в рейд 1 разместить на них тогда slog. Оставшиеся кусочки собрать в рейд 0 заюзать под l2arc
только поправка - l2arc не собирают в рейд - он каждый сам по себе, но zfs пишет и читает их паралельно как страйпе...
Y
Л2арк, например, под вопросом, так как в него попадают только данные, которые уже читались
в зависимости от использования - его имеет смысл настроить что бы в нем оставались не только что прочитанные данные (это по умолчанию) а наиболее часто используемые... но опять всё зависит
Y
Писал же что оставшиеся части в рейд 0
но ты их не собираешь , просто каждый l2arc добавленный в пул и так будет уже страйпом читатся
Aleksandr
Ну можно и так, один черт пока блок питания в корпус не влез будут что то думать снабженцы 😁
Egor
Доброго дня всем. Подскажите, линух, на нём корневой пул в зеркале (sda4 и sdb4). Таблица разделов gpt. Если мне нужно загрузочные разделы (sda1, sda2, sdb1, sdb2) скопировать на другой сервер, я же могу просто с помощью dd это сделать? По-моему всё работает, но вдруг что-то упустил
Sergey
Новая версия Live CD, ZFS 2.1.11, ядро 6.2.12 https://git.s-morozov.net/sergey/archlive-zfs/releases/tag/2023.04.26
Y
комрады, как сделать что бы диск шифрованный GELI при загрузке пароль спрашивал ?
Ivan
Какое отношение это имеет к zfs ?
тут много фирбсдешников
central
А ещё тут 100 процентов едят, но это не повод спрашивать рецепт Куриных крылышек
Y
Какое отношение это имеет к zfs ?
такое что у меня в 11 версии Xigma при загрузке спрашивался пароль на шифрованные диски, после чего монтировался пул... а после перехода на 13ю - диск при запуске не рашифровываются
Y
приходится ему делать "атач" а потом уде импортировать пул.. причем и с лайв сиди в 11й спрашивалось (и кажется в 12) - то есть никакой конфигурации не требовалось - если оно при загрузке видело что есть диски то спрашивало пароль
Shaker
В том плане, сразу нечему предлагать расшифровать диск. Думаю это автоматизация какая-то в ОС делает. Последняя моя FBDS была 4.2, дальше как в тумане, не смогу подсказать.
Y
"это другое" , я думаю. Так-то сам zfs не монтирует ничего. Смотри логи скриптов вспомогательных.
Ну может кто сталкивался, вообше в сигме много из автозагрузки убрали, меланокс дрова, похоже ГЕЛИ тоже, только что проверил лайвсиди от 11й сразу пр загрузки спрашивает пароль... А 13й нет
Y
пля.... перешифровал случайно один диск из пула 😳
Y
правда с тем же паролем и похоже данные остались - не понятно как
Δαρθ
правда с тем же паролем и похоже данные остались - не понятно как
так паролем же шифруется главный ключ. он не изменился
Y
так паролем же шифруется главный ключ. он не изменился
хм... я таки галку поставил "инициализация" - но пофигу...
Y
вопрос что поломали, что оно при загрузке перестало реагировать на "boot-flag" на шифрованном диске... гружусь с лайв-сиди 13й версии - просто грузится без остановок, гружусь с 11й - при загрузке видит шифрованный диски и предлагает ввести пароль.... причем походу еще в 12й поломали - народ жалуется, но не много - так как таких параноиков видимо раз--два и обчелся
Y
вот 11я версия а 13 не спрашивает 😭😭😭
Y
... и 12.3 не спрашивает
Y
а 12.1 спрашивает
Y
....падла!
Y
GELI BOOT-FLAG нашед как починить если кому нада.... убирает BOOT и ставит GELIBOOT - тогда и в новых верисях спрашивает, причем еще раньше чем BOOT-flag, прямо на этапе загрузчика.... geli configure -B -g DISK B - убирает BOOT g - добавляет GELIBOOT
Y
вотЪ
Y
Комрады, если я делаю снепшот всего пула... потом обновляю версию.... и если откатываюсь на старый снепшот - то что ?
George
снапшоты версию пула никак не фризят
Y
для таких вещей есть checkpoint
что это ? что гуглить ?
George
что это ? что гуглить ?
слово))) https://openzfs.github.io/openzfs-docs/man/8/zpool-checkpoint.8.html
Y
для таких вещей есть checkpoint
мне не фризить, а иметь возможность откатится на предыдущую..... или такого нет ? например обновил версию ... поставил дедеп видев или спешл, увидел что это плохо и откатился на версию назад где его еще не было или так нельзя ?
George
https://openzfs.github.io/openzfs-docs/man/7/zpoolconcepts.7.html?highlight=checkpoint#Pool_checkpoint
George
вся теория выше по ссылке
Y
The existence of a checkpoint in a pool prohibits the following zpool subcommands: remove, attach, detach, split, and reguid. похоже что таки не прокатит...
Y
я так хотелось - вдруг не понравится... а так получится три nVME воткнуть на всегда... или пересобирать - что долго (да и еще найти куда слить 30 тера на время)
Georg🎞️🎥
Скажите, кто знает максимально приближенный к ram ssd по скорости случайного доступа ? Optane? Думаю над Мега шустрым l2arc🤔👋👋
Shaker
Скажите, кто знает максимально приближенный к ram ssd по скорости случайного доступа ? Optane? Думаю над Мега шустрым l2arc🤔👋👋
Я использую Optane PMEM 200, доволен. Есть еще Micron/ Kioxia CXL, но пока не доступен для обычных покупателей.