Можно сказать что разовая. Это записи видеонаблюдений. Закинули - отдали кому надо (чтение) - удалили.
наоборот, постоянная.
Александр
Александр
10 минут и покажу
George
там есть прикол что пакеты из buster-backports сильно свежее
George
buster (oldstable) (kernel):
0.7.12-2+deb10u2: all
buster-backports (kernel):
2.0.3-9~bpo10+1: all
George
если в chroot бекпорты не поставить то может быть такая как раз разница
Александр
там есть прикол что пакеты из buster-backports сильно свежее
Оттуда вроде бы и ставил. Так. Вот этот момент сейчас внимательно проверю
George
мб Pin-Priority: 990 нормально не сработал у репы бекпортов
George
в общем я это бы проверил
Nikolay
Vladislav
Vladimir
Господа, а какие минусы в использовании ZFS на железном рейде, если требуются только snapshot'ы? И насколько производительность будет ниже по сравнению с каким-нибудь xfs на том-же железе?
(речь идёт про что-нибудь типа AVAGO 3108 с 25x14Tb hdd)
Ivan
Vladislav
Господа, а какие минусы в использовании ZFS на железном рейде, если требуются только snapshot'ы? И насколько производительность будет ниже по сравнению с каким-нибудь xfs на том-же железе?
(речь идёт про что-нибудь типа AVAGO 3108 с 25x14Tb hdd)
"а какие минусы в использовании ZFS на железном рейде, если требуются только snapshot'ы"
Такие же как и в целом. Проблема не фичах, проблема в том, что ZFS не сможет гарантировать целостность данных в такой ситуации из-за кэш памяти контроллера
Artem
Батарейка/суперконденсаторы!
Vladislav
Батарейка/суперконденсаторы!
Она не поможет, потому что рейд контроллер сообщает ZFS что данные уже на дисках, а не в кэше контроллера
Artem
Она не поможет, потому что рейд контроллер сообщает ZFS что данные уже на дисках, а не в кэше контроллера
И? В кэше они не потеряются же. Технологии 100 лет.
Artem
Если только разряда батарейки не дожидаться
Vladislav
И? В кэше они не потеряются же. Технологии 100 лет.
Да, ведь если с рейд контроллером что-то произойдёт, то легко можно будет перенести этот кэш на другой точно такой же контроллер
Artem
Хард крэш тебе что угодно снесёт, речь не про отказ оборудования, а защиту от пропадания питания
Vladislav
Хард крэш тебе что угодно снесёт, речь не про отказ оборудования, а защиту от пропадания питания
Нет? ZFS как раз устойчив к этому, HBA можно заменить на какой угодно другой HBA и с пулом ничего не случится
Vladislav
А если рейд контроллер с кэшем полетит - добро пожаловать в
А) поиск точно такого же рейд контроллера
Б) аккуратное откатывание транзакций на пуле
Artem
С рейдом похуже, тут без вопросов. Нужен такой-же или совместимый контроллер. Я только с lsi игрался, и там менять можно было в больших пределах
Artem
А если рейд контроллер с кэшем полетит - добро пожаловать в
А) поиск точно такого же рейд контроллера
Б) аккуратное откатывание транзакций на пуле
Если hba на диски мусорить начнёт, тоже ничего хорошего не будет
Vladislav
Если hba на диски мусорить начнёт, тоже ничего хорошего не будет
HBA != raid0 на каждый диск
Artem
Я к тому, что глюки железа zfs не вынесет точно также, как сбой hba
Vladislav
Я к тому, что глюки железа zfs не вынесет точно также, как сбой hba
Глюки битой ecc памяти он у меня выдерживал
Vladislav
Один бит - да. Но это не zfs, это заслуга ecc
Ммм, нет, судя по kernel panic там далеко не 1 бит
Но речь сейчас не про это
Artem
Тогда где гарантии, что из памяти на hba пришли не попорченные данные?
Vladislav
Тогда где гарантии, что из памяти на hba пришли не попорченные данные?
То что на ESXi не попортилась ни одна ВМ?
Artem
У райдов есть своя куча проблем. Но это не вылет питания. И пропажа кэша
George
До поры до времени
я добивался состояния, когда данные битые в пуле и проходят чексумму)) благо дело это была сама ось, форсом переставил все пакеты. Пул жив до сих пор) баловался разгоном проца и озу (без ецц)
Artem
я добивался состояния, когда данные битые в пуле и проходят чексумму)) благо дело это была сама ось, форсом переставил все пакеты. Пул жив до сих пор) баловался разгоном проца и озу (без ецц)
Битые данные и проходящая чексумма - это сильно ))
George
Битые данные и проходящая чексумма - это сильно ))
а андервольтингом проца добивался ошибок чексумм после фриза системы
George
(только для новых данных, конечно же)
Vladimir
"а какие минусы в использовании ZFS на железном рейде, если требуются только snapshot'ы"
Такие же как и в целом. Проблема не фичах, проблема в том, что ZFS не сможет гарантировать целостность данных в такой ситуации из-за кэш памяти контроллера
Ну допустим у меня будет стоять два ящика на стойке, один с железным рейдом , второй без. И с железного рейда, на второй массив ежедневно льются снепшоты. Имеет смысл в такой схеме железный рейд, для ускорения IO?
Vladislav
Vladimir
2x10GbE
Vladimir
Но при большем желании можно 100gbe direct link сделать
Vladislav
2x10GbE
Ну тогда давайте займёмся теорией и математикой, за основу ~линейный рост скорости raid5\raidz1 при увеличении количества дисков
Теоретический лимит чтения с 25 дисков по 14ТБ в 5-м рейде - ~250МБ/с с одного диска (WD DC 14TB) или 50000 Мбит/с со всех дисков одновременно.
Но пихать 25 дисков в один рейд5 звучит как плохая идея, поэтому полагаю это 8+8+8+1HS? Тогда скорость чтения у ZFS должна быть около 42000 Мбит/c
Vladislav
А вот с Рейд контроллером чуть сложнее. Если ставить ZFS поверх рейда для чтения скорость в целом не поменяется, но вот запись скорее будет лучше, так как обработкой raid5 будет заниматься рейд контроллер, а не ZFS. Взамен мы получаем головную боль с физическим рейд контроллером
https://cdn.vanderbilt.edu/vu-wp0/wp-content/uploads/sites/157/2018/11/08204705/2_Storage_Talk.pdf
Artem
А их - в страйп ))
Vladislav
ZFS, RaidZ2 и скорость вообще несовместимые понятия
Александр
И как результаты?
Поставил, покрутил, не взлетело, поставил Root на Ext4, подтянул zfs, понял, что почему-то в /lib/modules/4.19.0-21-amd64/ zfs.ko не встал. Собрал еще раз именно туда apt install zfs-dkms и зажило. Наверное, если теперь опять пойти с начала по тому мануалу и проследить установку модуля, будет ок, но я в ЭТО больше не пойду
Eugen
Всем привет! Подскажите как отфильтровать самый новый снапшот из списка? Чет не пойму
Александр
Всем привет! Подскажите как отфильтровать самый новый снапшот из списка? Чет не пойму
zfs list -t snapshot -s creation -H | tail -1
Александр
ты как не в UNIXе работаешь
Eugen
zfs list -t snapshot -s creation -H | tail -1
Блин пока задавал вопрос сам додумался, спасибо)))
Eugen
Наш человек
zfs list -t snapshot /hdd/orig/.zfs/snapshot/ -s creation | tail -n1 | sed -e "s/^.........//;s/......................$//"
Eugen
вот такое пришлось делать что бы оно мне нужное имя без лишней фигни выдавало
Александр
вот такое пришлось делать что бы оно мне нужное имя без лишней фигни выдавало
Аааа.а..а.. а ман почитать? zfs list -o name
Eugen
Аааа.а..а.. а ман почитать? zfs list -o name
$(zfs list -t snapshot /hdd/orig/.zfs/snapshot/ -s creation -o name | tail -n1 | sed -e "s/^.........//;s/$//")
Vladislav
https://indico.fnal.gov/event/16264/contributions/36466/attachments/22610/28037/Zstd__LZ4.pdf
Vladislav
ну а что ещё ожидать. Актуальные голды стоят 20к, плюс мать для них столько же. У EPYC не лучше по ценнику, 25к мать+21к проц (2th Gen)
nikolay
коллеги, ай нид хелп( имею тонкий zvol, размер 90 Тб, внутри виртуальной машины на уровне ос занято 70 Тб, на уровне хостовой системы занято все( fstrim пишет что
nikolay
fstrim: /import/objects: the discard operation is not supported
nikolay
и как бы все, запись встает по причине того что хостовая ос считает что места на томе нет..
nikolay
а виртуалка видит свободными 20 Тб((
nikolay
zones/3256b4bb-b33e-cb00-e152-c0e3e18b33b1-disk1 written 96.2T
nikolay
zones/3256b4bb-b33e-cb00-e152-c0e3e18b33b1-disk1 logicalused 84.1T
George
fstrim: /import/objects: the discard operation is not supported
надо смотреть
- поддержку ФС в госте трима
- что из стека от гостя до ZFS не умеет в trim
George
ну да. хостовая ос joyent - она такой команды не знает))
я не помню кстати с какой версии сам zfs умеет принимать на zvol blkdiscard
nikolay
покажи конфиг вм
[root@zobj01 ~]# vmadm info a48e3fe3-036b-cf9a-9716-afcd5f17b75e
{
"status": {
"hwsetup": true,
"singlestep": false,
"running": true
},
"version": {
"qemu": {
"micro": 1,
"minor": 14,
"major": 0
},
"package": " (qemu-kvm-devel)"
},
"chardev": [
{
"filename": "unix:/tmp/vm.qmp,server",
"label": "qmp"
},
{
"filename": "unix:/tmp/vm.console,server",
"label": "serial0"
},
{
"filename": "unix:/tmp/vm.ttyb,server",
"label": "serial1"
}
],
"block": [
{
"device": "virtio0",
"locked": false,
"removable": false,
"inserted": {
"ro": false,
"drv": "raw",
"encrypted": false,
"file": "/dev/zvol/rdsk/zones/a48e3fe3-036b-cf9a-9716-afcd5f17b75e-disk0"
},
"type": "hd"
},
{
"device": "virtio1",
"locked": false,
"removable": false,
"inserted": {
"ro": false,
"drv": "raw",
"encrypted": false,
"file": "/dev/zvol/rdsk/zones/a48e3fe3-036b-cf9a-9716-afcd5f17b75e-disk1"
},
"type": "hd"
},
{
"device": "ide1-cd0",
"locked": false,
"removable": true,
"type": "cdrom"
},
{
"device": "floppy0",
"locked": false,
"removable": true,
"type": "floppy"
},
{
"device": "sd0",
"locked": false,
"removable": true,
"type": "floppy"
}
],
"blockstats": [
{
"device": "virtio0",
"parent": {
"stats": {
"wr_highest_offset": 19592183296,
"wr_bytes": 142100413952,
"wr_operations": 2579015,
"rd_bytes": 158458770432,
"rd_operations": 1446899
}
},
"stats": {
"wr_highest_offset": 19592183296,
"wr_bytes": 142100413952,
"wr_operations": 2579015,
"rd_bytes": 158458770432,
"rd_operations": 1446899
}
},
{
"device": "virtio1",
"parent": {
"stats": {
"wr_highest_offset": 105389910298112,
"wr_bytes": 102072480894976,
"wr_operations": 963474998,
"rd_bytes": 27259151516672,
"rd_operations": 1392657861
}
},
"stats": {
"wr_highest_offset": 105389910298112,
"wr_bytes": 102072480894976,
"wr_operations": 963474998,
"rd_bytes": 27259151516672,
"rd_operations": 1392657861
}
},
{
"device": "ide1-cd0",
"stats": {
"wr_highest_offset": 0,
"wr_bytes": 0,
"wr_operations": 0,
"rd_bytes": 0,
"rd_operations": 0
}
},
{
"device": "floppy0",
"stats": {
"wr_highest_offset": 0,
"wr_bytes": 0,
"wr_operations": 0,
"rd_bytes": 0,
"rd_operations": 0
}
},
{
"device": "sd0",
"stats": {
"wr_highest_offset": 0,
"wr_bytes": 0,
"wr_operations": 0,
"rd_bytes": 0,
"rd_operations": 0
}
}
],
"cpus": [
{
"current": true,
"CPU": 0,
"pc": -2095786226,
"halted": true,
"thread_id": 3
},
{
"current": false,
"CPU": 1,
"pc": -2095786226,
"halted": true,
"thread_id": 4
},
{
"current": false,
"CPU": 2,
"pc": -2095786226,
"halted": true,
"thread_id": 5
},
{
"current": false,
"CPU": 3,
"pc": -2095786226,
"halted": true,
"thread_id": 6
},
{
"current": false,
"CPU": 4,
"pc": -2095786226,
"halted": true,
"thread_id": 7
},
{
"current": false,
"CPU": 5,
"pc": -2095786226,
"halted": true,
"thread_id": 8
},
{
"current": false,
"CPU": 6,
"pc": -2100768058,
"halted": false,
"thread_id": 9
},
{
"current": false,
"CPU": 7,
"pc": -2095786226,
"halted": true,
"thread_id": 10
}
],
"pci": [
{
nikolay
покажи конфиг вм
"bus": 0,
"devices": [
{
"bus": 0,
"qdev_id": "",
"slot": 0,
"class_info": {
"class": 1536,
"desc": "Host bridge"
},
"id": {
"device": 32902,
"vendor": 4663
},
"function": 0,
"regions": []
},
{
"bus": 0,
"qdev_id": "",
"slot": 1,
"class_info": {
"class": 1537,
"desc": "ISA bridge"
},
"id": {
"device": 32902,
"vendor": 28672
},
"function": 0,
"regions": []
},
{
"bus": 0,
"qdev_id": "",
"slot": 1,
"class_info": {
"class": 257,
"desc": "IDE controller"
},
"id": {
"device": 32902,
"vendor": 28688
},
"function": 1,
"regions": [
{
"bar": 4,
"size": 16,
"address": 49152,
"type": "io"
}
]
},
{
"bus": 0,
"qdev_id": "",
"irq": 11,
"slot": 1,
"class_info": {
"class": 3075,
"desc": "USB controller"
},
"id": {
"device": 32902,
"vendor": 28704
},
"function": 2,
"regions": [
{
"bar": 4,
"size": 32,
"address": 49184,
"type": "io"
}
]
},
{
"bus": 0,
"qdev_id": "",
"irq": 9,
"slot": 1,
"class_info": {
"class": 1664,
"desc": "Bridge"
},
"id": {
"device": 32902,
"vendor": 28947
},
"function": 3,
"regions": []
},
{
"bus": 0,
"qdev_id": "",
"slot": 2,
"class_info": {
"class": 768,
"desc": "VGA controller"
},
"id": {
"device": 4660,
"vendor": 4369
},
"function": 0,
"regions": [
{
"prefetch": true,
"mem_type_64": false,
"bar": 0,
"size": 16777216,
"address": 4026531840,
"type": "memory"
},
{
"prefetch": false,
"mem_type_64": false,
"bar": 6,
"size": 65536,
"address": -1,
"type": "memory"
}
]
},
{
"bus": 0,
"qdev_id": "",
"irq": 11,
"slot": 3,
"class_info": {
"class": 512,
"desc": "Ethernet controller"
},
"id": {
"device": 6900,
"vendor": 4096
},
"function": 0,
"regions": [
{
"bar": 0,
"size": 32,
"address": 49216,
"type": "io"
},
{
"prefetch": false,
"mem_type_64": false,
"bar": 1,
"size": 4096,
"address": 4043374592,
"type": "memory"
},
{
"prefetch": false,
"mem_type_64": false,
"bar": 6,
"size": 131072,
"address": -1,
"type": "memory"
}
]
},
{
"bus": 0,
"qdev_id": "",
"irq": 11,
"slot": 4,
"class_info": {
"class": 512,
"desc": "Ethernet controller"
},
"id": {
"device": 6900,
"vendor": 4096
},
"function": 0,
"regions": [
{
"bar": 0,
"size": 32,
nikolay
покажи конфиг вм
"address": 49248,
"type": "io"
},
{
"prefetch": false,
"mem_type_64": false,
"bar": 1,
"size": 4096,
"address": 4043571200,
"type": "memory"
},
{
"prefetch": false,
"mem_type_64": false,
"bar": 6,
"size": 131072,
"address": -1,
"type": "memory"
}
]
},
{
"bus": 0,
"qdev_id": "",
"irq": 10,
"slot": 5,
"class_info": {
"class": 256,
"desc": "SCSI controller"
},
"id": {
"device": 6900,
"vendor": 4097
},
"function": 0,
"regions": [
{
"bar": 0,
"size": 64,
"address": 49280,
"type": "io"
},
{
"prefetch": false,
"mem_type_64": false,
"bar": 1,
"size": 4096,
"address": 4043833344,
"type": "memory"
}
]
},
{
"bus": 0,
"qdev_id": "",
"irq": 10,
"slot": 6,
"class_info": {
"class": 256,
"desc": "SCSI controller"
},
"id": {
"device": 6900,
"vendor": 4097
},
"function": 0,
"regions": [
{
"bar": 0,
"size": 64,
"address": 49344,
"type": "io"
},
{
"prefetch": false,
"mem_type_64": false,
"bar": 1,
"size": 4096,
"address": 4043837440,
"type": "memory"
}
]
}
]
}
],
"kvm": {
"enabled": true,
"present": true
},
"vnc": {
"host": "10.64.0.41",
"port": 47376,
"display": 41476
},
"spice": {}
}
nikolay
надо смотреть
- поддержку ФС в госте трима
- что из стека от гостя до ZFS не умеет в trim
в госте xfs, пытался перемонтировать через remount с опцией discard
nikolay
не помогло
George
в госте xfs, пытался перемонтировать через remount с опцией discard
тогда ищи по стеку что не умеет в дискарды, тот же "SCSI controller"
nikolay
без scsi как я понимаю оно работать не будет, если в госте я вижу диск /dev/vdb..
nikolay
хотя блять это поделка joyent - тут всего ожидать можно