sam
привет всем. а кто то ставил clickhouse на zfs? а то мне тут досталось это хозяйство в наследство, и эти товарищи память поделить не могут.
Олег
ZFS ограничиваете ОЗУ
Олег
Если клику не хватает то докупаете
Олег
особых секретов нет
sam
только arc?
Vladislav
так вот, те переходники со свич чипом с али - гавно полное, если в краце)
Ок, броадком чипы гавно, так и запишем
Andrey
Хватит и арк
Andrey
Кликхаус тоже съедает всю доступную память
Andrey
Где то в конфиге можно ограничить
Alexander
Добрый вечер, можно ли рассматривать ZFS снэпшот как целостный неподделываемый набор данных, если подписывать какие-то его параметры, например вывод команды zfs get all ds@snapshot_xxx ?
Alexander
Вообще насколько сложно поменять данные внутри снэпшота какими-нибудь хаками к структурам данных ZFS, чтобы после этого нормально проходил scrub?
central
Добрый вечер, можно ли рассматривать ZFS снэпшот как целостный неподделываемый набор данных, если подписывать какие-то его параметры, например вывод команды zfs get all ds@snapshot_xxx ?
с чего бы ФС должна сама по себе быть не подделываемой, зашифруйте тогда да будут гаранртии
central
а вообще тут уже рассуждали как то про изменения данных в снепшоте, это сложно, очень но вполне реально
Alexander
с чего бы ФС должна сама по себе быть не подделываемой, зашифруйте тогда да будут гаранртии
У меня есть юридически значимые штампы времени отдельно взятых файлов, хотел добавить еще и штампы к ZFS снэпшотам, т.е. штамповать вывод каких-то команд ZFS, просто дополнительно, чтобы былО :)
Alexander
Какие еще команды ZFS выводят подробную инфу о снэпшоте кроме zfs get all ds@snap?
vint._.243
У меня есть юридически значимые штампы времени отдельно взятых файлов, хотел добавить еще и штампы к ZFS снэпшотам, т.е. штамповать вывод каких-то команд ZFS, просто дополнительно, чтобы былО :)
Посчитай сумму снапшота любым удобным способом
Зафиксируй ее где данную сумму сложнее всего подменить либо так же шифрануть файлик
И сверяй
Тем самым хоть какая то уверенность будет и подтверждения оригинала
Alexander
Посчитай сумму снапшота любым удобным способом
Зафиксируй ее где данную сумму сложнее всего подменить либо так же шифрануть файлик
И сверяй
Тем самым хоть какая то уверенность будет и подтверждения оригинала
Считать сумму снэпшота? Это обсчитывать все его файлы? Я хотел штамповать просто какие-то отчетные структуры ZFS, которые выдаются почти мгновенно.
Alexander
Мне нужно для доказательства, что снэпшот был сделан в определенное время или хотя бы не позднее определенного времени.
vint._.243
Считать сумму снэпшота? Это обсчитывать все его файлы? Я хотел штамповать просто какие-то отчетные структуры ZFS, которые выдаются почти мгновенно.
Ну а чего не посчитать
Если допустим снапшот инкриментный
Только изменения за определенный период
Я не думаю что там в 10ки Тб
vint._.243
В чем проблема
Простенький костыль
Время зафиксировано
В названии снапшота время тоже зафиксировано
Сумма имя снапшота
done
Alexander
Как потом сопоставить штамп времени имени снэпшота и его содержимого только по имени, не очень понятно.
Alexander
Вообщем я решил штамповать вывод zfs get all, там по крайне мере есть идентификаторы.
Наверно надо добавить еще и для самого dataset и list -t snapshot
vint._.243
Дальше уже хранить где удобно
Проверять так же
Поле с названием просчитываешь сверяешь с полем суммы
На выходе результат
Alexander
Думал, насоветуете еще вариантов zdb xxx
vint._.243
Как потом сопоставить штамп времени имени снэпшота и его содержимого только по имени, не очень понятно.
Когда создаешь снапшот ставь в названии сразу date +%d-%m-%Y_%H-%M
Alexander
https://github.com/a-prokopyev-resume/utils/blob/main/supersend.sh
vint._.243
zfs send pool/name@date_time ¦ md5sum
Зафиксировал в табл
pool/name@date_time md5sum
vint._.243
В обратном порядке сверяешь
vint._.243
Инкриментный по замороченнее немного будет
Чтобы очередность снапшотов не потерять
Alexander
У меня все же остался вопрос про другие команды, можно ли получить дополнительные данные о снэпшоте?
Alexander
Какие еще есть более подробные аналоги zfs get all ? Можно ли увеличить verbosity?
vint._.243
Какие еще есть более подробные аналоги zfs get all ? Можно ли увеличить verbosity?
От туда если только creation взять как подтверждение
Alexander
Пока так:
zfs get all $DS | sort > $Dir/dataset_details.txt;
zfs get all $DS@$SnapshotName | sort > $Dir/snapshot_details.txt;
zfs list -t snapshot -r $DS > $Dir/snapshot_list.txt
/utils/sec/ts/gen_ts.sh $Dir;
vint._.243
Alexander
Суммы есть для некоторых нужных файлов персонально внутри, а снэпшоты дополнительно, если согласны считать их неподделываемыми хотя бы по содержимому.
vint._.243
Суммы есть для некоторых нужных файлов персонально внутри, а снэпшоты дополнительно, если согласны считать их неподделываемыми хотя бы по содержимому.
Как я понял вопрос стоял в том чтобы было подтверждения оригинальности самого снапшота
central
Alexander
Как я понял вопрос стоял в том чтобы было подтверждения оригинальности самого снапшота
Нужно подверждение, что снэпшот действительно был создан в определенный момент времени.
И значит файлы внутри него уже тоже существовали на такой момент времени.
vint._.243
Нужно подверждение, что снэпшот действительно был создан в определенный момент времени.
И значит файлы внутри него уже тоже существовали на такой момент времени.
ну тогда зачем вообще этот огород
можно просто в названии снапшота дату прикрутить
если запросить инфо о нем то все сходится
я подумал что нужно привести конкретно сумму целостного снапшота
и зафиксировать ее
чтобы потом когда понадобилось предоставить в качестве доказухи
что там ни кто ничего не подкрутил
vint._.243
а вообще еще вариант такой
https://www.reddit.com/r/zfs/comments/9b4ei5/i_did_a_zfs_snapshot_send_to_someone_and_wanted/
vint._.243
zfs send os/boot\@work_21-02-22 | zstreamdump
BEGIN record
hdrtype = 1
features = 4
magic = 2f5bacbac
creation_time = 6213bb30
type = 2
flags = 0xc
toguid = ad3bddd8a181ce67
fromguid = 0
toname = os/boot@work_21-02-22
payloadlen = 0
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
SUMMARY:
Total DRR_BEGIN records = 1 (0 bytes)
Total DRR_END records = 1 (0 bytes)
Total DRR_OBJECT records = 396 (68816 bytes)
Total DRR_FREEOBJECTS records = 19 (0 bytes)
Total DRR_WRITE records = 2664 (303310848 bytes)
Total DRR_WRITE_BYREF records = 0 (0 bytes)
Total DRR_WRITE_EMBEDDED records = 0 (0 bytes)
Total DRR_FREE records = 402 (0 bytes)
Total DRR_SPILL records = 0 (0 bytes)
Total records = 3483
Total payload size = 303379664 (0x121534d0)
Total header overhead = 1086696 (0x1094e8)
Total stream length = 304466360 (0x1225c9b8)
Alexander
zfs send os/boot\@work_21-02-22 | zstreamdump
BEGIN record
hdrtype = 1
features = 4
magic = 2f5bacbac
creation_time = 6213bb30
type = 2
flags = 0xc
toguid = ad3bddd8a181ce67
fromguid = 0
toname = os/boot@work_21-02-22
payloadlen = 0
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
SUMMARY:
Total DRR_BEGIN records = 1 (0 bytes)
Total DRR_END records = 1 (0 bytes)
Total DRR_OBJECT records = 396 (68816 bytes)
Total DRR_FREEOBJECTS records = 19 (0 bytes)
Total DRR_WRITE records = 2664 (303310848 bytes)
Total DRR_WRITE_BYREF records = 0 (0 bytes)
Total DRR_WRITE_EMBEDDED records = 0 (0 bytes)
Total DRR_FREE records = 402 (0 bytes)
Total DRR_SPILL records = 0 (0 bytes)
Total records = 3483
Total payload size = 303379664 (0x121534d0)
Total header overhead = 1086696 (0x1094e8)
Total stream length = 304466360 (0x1225c9b8)
Сумма содержимого zfs send вроде плавает от send-а к send-у? Если его декодировать через zstreamdump, то уже становится более постоянным, по крайне мере в каких-то полях?
vint._.243
Сумма содержимого zfs send вроде плавает от send-а к send-у? Если его декодировать через zstreamdump, то уже становится более постоянным, по крайне мере в каких-то полях?
да простят меня админы сегодня за сполинг
for i in {1..10} ; do zfs send os/boot\@work_21-02-22 | md5sum ; done
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
33fc0c5d6407eed06d0c4059888351c5 -
for i in {1..10} ; do zfs send os/boot\@work_21-02-22 | zstreamdump | grep checksum ; done
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
END checksum = 229465c580312c7/7843cea77b9e002c/ff837993fd5275ce/e5484702e8151082
#zfs #snapshot #sum
Alexander
Ну ОК, у меня такой фокус для больших снэпшотов не прокатывал.
Alexander
Хотя если сверять суммы отдельно взятых файлов, то все один в один.
vint._.243
Ну ОК, у меня такой фокус для больших снэпшотов не прокатывал.
а если брать инкримент между снапшотами
vint._.243
1й будет тяжелый
остальные явно полегче будут
vint._.243
Возможно я его и считал, не помню уже.
ну бональный тест
так же раз 10 прогнать и сверить
сойдутся цифры или нет
Alexander
ну бональный тест
так же раз 10 прогнать и сверить
сойдутся цифры или нет
Помню, прогнал пару раз, не сошлось, напугался, пошел гуглить, нагуглил, и успокоился :)
vint._.243
для пущей верности
сделать Manifest для содержимого
и так же хранить
степени мазохизма нет предела
Alexander
Все это интересно применительно к:
http://rsdn.org/forum/shareware/8302402.all
https://www.cryptopro.ru/forum2/default.aspx?g=posts&t=20958&p=3
Алексей
Ребята, всем привет. просветите, пожалуйста, когда делаю зфс сенд с пула где нет спешл, в пул со спешлом. я получу на что рассчитываю или придётся файло руками перекладывать?
vint._.243
Все это интересно применительно к:
http://rsdn.org/forum/shareware/8302402.all
https://www.cryptopro.ru/forum2/default.aspx?g=posts&t=20958&p=3
ntptime -s "0.gentoo.pool.ntp.org" 2>/dev/null | grep time
тогда уже фиксировать данную запись (чтобы time бил с тем что в снапшоте)
чтобы потом ни кто не говорил что часы остают или подкрутили
Alexander
Alexander
ntpdate xxx;
Время для штампов проставляют сервера точного времени.
Alexander
Мне ненужно знать время, если только не сверять против аварийности типа ушло на часы или даже годы в сторону.
vint._.243
Мне ненужно знать время, если только не сверять против аварийности типа ушло на часы или даже годы в сторону.
Подробностей задачи не знаю
но если есть спрос (был ли файлик в том состоянии или не был в конкретный промежуток времени)
то по мне запись с сервера бы точно не помешала
А вдруг кто то скажет у вас в rtc ни кто не проверял
вдруг там кварц по плыл и секунды не бьют
а дорогостоящей rtc приблуды не стоит (с точностью как у атомных часов)
а тут запись с сервера
не тобой сгенергина
пусть проверяют если захотят
vint._.243
Тем более даже sync делаешь
на буджетном железе все равно delay есть хоть и не большой
Alexander
Подробностей задачи не знаю
но если есть спрос (был ли файлик в том состоянии или не был в конкретный промежуток времени)
то по мне запись с сервера бы точно не помешала
А вдруг кто то скажет у вас в rtc ни кто не проверял
вдруг там кварц по плыл и секунды не бьют
а дорогостоящей rtc приблуды не стоит (с точностью как у атомных часов)
а тут запись с сервера
не тобой сгенергина
пусть проверяют если захотят
Это доверенные аккредитованные сервера времени, на них завязана вся юридически значимая криптография в РФ, ЭЦП и т.п.
Alexander
Суды РФ доверяют таким TSP серверам времени.
Alexander
Тем более даже sync делаешь
на буджетном железе все равно delay есть хоть и не большой
А на что влияет этот delay?
vint._.243
Суды РФ доверяют таким TSP серверам времени.
я об этом и говорю
что запись сервера это как оригинал, он не зависит от твоего железа
а delay это разница как я понимаю
твоего времени от времени сервера
vint._.243
В каком то чате всплывал вопрос про Дорогие дополнительные RTC девайсы
с ними да можно сказать у меня стоит такой то девайс
лютых денег стоит
по солнцу время сводит
а так любое железо можно поставить под вопрос
все зависит от желания
батарейка чуть поддохла
либо просто сделают sync
и заявят а у тебя вот такой delay
и т.д
vint._.243
где суды там и экспертизы
кто как их там проводит не известно
Fedor
Fedor
Файлы
Alexander
Подпиши файл и всё
Делаю для нужных файлов, но еще хотелось бы и снэпшот тоже для более лучшего evidence.
Fedor
Ты в ту лавку зфс чтоль протащить смог?)))
Fedor
Делаю для нужных файлов, но еще хотелось бы и снэпшот тоже для более лучшего evidence.
Только файлы. Остальное бессмысленно
Alexander
С которой ты возился лет 10
Там венда голимая была. Админил не я, так что мне пофик было.
Сервера на не ZFS я лично сам админить категорически отказываюсь кроме табличных пространств СУБД.
George