Vladislav
Грустно такому хомячку
чудесно хомячку.
Vladislav
чудесно хомячку.
Как в одном агрессивном анекдоте? https://i.pinimg.com/736x/f5/06/44/f50644614d9701d1ca75d845c882cea3.jpg
2happy
да. достаточно хомячку его один раз убрать.
А чё, я ради дибильного скрина его выключил и теперь не включу обратно? Хотя это даже в описании есть
George
загнобили человека) а мне всё равно приятно что ссылочку кинул)
Alexandr
Всем привет ) есть такой вопрос может кто подскажет как быть , имею 3 ноды pve и схд на zfs , сделал iscsi target pool Lun пытаюсь это дело прикурить к pve , по iscsi цепляюсь вижу лун и могу его только лвм прикрутить , а хотелось бы zfs over Iscsi
Vladislav
Потому что zfs over iscsi
Vladislav
И, zfs over iscsi настраивается вообще не Вами, Ваша задача дать proxmox права на ssh до хоста с ZFS
Vladislav
https://pve.proxmox.com/wiki/Storage:_ZFS_over_ISCSI
Vladislav
Читайте
Alexandr
Читайте
Спасибо
Fedor
Игрался, правда, только на комстаре, огреб по полной, но работало, и вроде до сих пор используется
Vladislav
Что-то не могу почистить метки одного диска одного пула. # zpool labelclear -f /dev/ada5 failed to read label from /dev/ada5 # gpart show ada5 => 40 5860533088 ada5 GPT (2.7T) 40 5860471648 1 freebsd-zfs (2.7T) 5860471688 61440 - free - (30M)
Andrey
dd попробовать использовать? https://superuser.com/questions/1248905/how-to-delete-some-zfs-metadata-from-hard-drive
Ivan
А чем плоха ZFS ? для каких масштабов эта пере-фс ?
Andrey
Дешевая самообслуживаемая файлохранилка на десятки дисков в десятки и сотни терабайт.
Andrey
Ну а вообщем любые задачи где не требуется высокая скорость записи
Georg🎞️🎥
Andrey
БД например, Виртуальные машины которые активно общаются с диском
Andrey
но тоже могут быть ньюансы - ZFS умеет сжимать данные на лету - для БД это полезно
Georg🎞️🎥
БД например, Виртуальные машины которые активно общаются с диском
Ну это похоже скорее на много много случайного записи/ чтения 🤔чем на высокую скорость И что пишут БД такого ? Тестовые файлики , логи? Им нафига высокая именно скорость записи ?🙏
Georg🎞️🎥
БД например, Виртуальные машины которые активно общаются с диском
Я так понимаю , кто льет жирный поток данных линейное на массивы , тому и нужна
Andrey
ну если много insert/update идёт то ZFS будет плохо
Andrey
линейная скорость записи у неё тоже так себе
Artem
Ну это похоже скорее на много много случайного записи/ чтения 🤔чем на высокую скорость И что пишут БД такого ? Тестовые файлики , логи? Им нафига высокая именно скорость записи ?🙏
Разные бд пишут разное, от задачи зависит. Ну представь какой-нибудь офд, куда чеки со всей страны попадают... думаешь там мало запросов?
Georg🎞️🎥
Разные бд пишут разное, от задачи зависит. Ну представь какой-нибудь офд, куда чеки со всей страны попадают... думаешь там мало запросов?
Запросы и скорость записи - разные вещи. Спорт Кар имеет высокую скорость , но в час пик толку от него не особо 🤔 Наверно речь шла о хорошей многопотоковый записи 🤔
Andrey
на любой записи ZFS будет плохо
Andrey
она больше для чтения
Georg🎞️🎥
линейная скорость записи у неё тоже так себе
Ну .. я как раз на линейную не нарадуюсь
Andrey
ext4 быстрее
Georg🎞️🎥
Естественно линейно будет быстрее. А ты рандомную запись быстрой сделай ;)
Тогда мы говорим о случайно многопотоковый записи 🤷🏻‍♂️
Artem
Тогда мы говорим о случайно многопотоковый записи 🤷🏻‍♂️
Да нет там потоков как таковых. Ты напоминаешь чувака с молотком, для которого всё - гвоздь ;)
Georg🎞️🎥
Да нет там потоков как таковых. Ты напоминаешь чувака с молотком, для которого всё - гвоздь ;)
Давай без личностей, как взрослые люди лады ?👋есть что растолковать - расскажи , я восполню пробелы
Artem
Давай без личностей, как взрослые люди лады ?👋есть что растолковать - расскажи , я восполню пробелы
Да это не наезд, а цитата Марк Твена что-ли ) Бывает просто рандомная запись, без потоков вообще.
Alexandr
Потому что zfs over iscsi
Выяснил что схд не умеет zfs over iscsi
Alexandr
Vladislav
Vladislav
Vladislav
Vladislav
Вы
Vladislav
Пытались
Alexandr
Qnap под капотом freebsd
Vladislav
Поставить zfs
Alexandr
С zfs
Vladislav
С zfs
С рутовым доступом?
Alexandr
С рутовым доступом?
Ну пишут что админ и есть рут но в итоге тп ответили что рут только для девов кунапа
Vladislav
Ну пишут что админ и есть рут но в итоге тп ответили что рут только для девов кунапа
Вот и ответ, если Вы не можете создать zfs create через *админа* в консоли
Alexandr
По итогу из pve создал пул из луна
Vladislav
Как прокс должен это делать?
Alexandr
Как прокс должен это делать?
я думал pve можно так подружить
Vladislav
Пожалуйста
Vladislav
Вы же читали статью, что я кинул
Vladislav
This plugin needs a ZFS capable remote storage appliance, you cannot use it to create a ZFS Pool on a regular Storage Appliance/SAN
Vladislav
Вы это ведь читали?
Alexandr
Эх видимо проглядел
Alexandr
Буду внимательнее )
Animal
❓Вопрос знатокам Много попадалось предупреждений, что при заполнении пула более 80% начинается деградация производительность zfs, и уж 5% точно нужно держать свободными. Но недавно (в непрофильном чате, но реально использующие zfs люди) мне сказали, что это старая информация, и современные версии не теряют производительность с заполнением диска. Что скажут в профильном чате - где правда? Сценарий использования: STORJ, то есть постоянная запись большого количества мелких (большинство < 1 МБ) файлов (старые через промежуточное хранение в корзине удаляются)
смею предположить что стордж это грубо наверное распределенное хранилище с большими задержками (основываясь на статье нашего Георгия Мелихова )) ). Посему наверное в этом случае забитие пула хоть на 99% вряд ли катастрофически снизит "производительность" Стордж ноды. Другой вопрос про другие кейсы.. бдшки какие горячие или что еще.. тут уже надо смотреть или иметь статистику что бы попытаться сделать хоть какие выводы
Animal
Те в стордж по факту это децентрализованная фс или типа того. Даже не фс а хранилище скорее всего (как я выше написал) Аки cephs/gluster/ipfs/btfs... (я грубо провожу аналогии с фс) локально ноды сторджа кто во что горазд... на отдельной ноде у кого zfs, у кого ext ntfs xfs.. да хоть fat... стордж там сам оперирует избыточностью сжатием распределением че куда и тд..
Animal
Кто какой фс пользуется. Интересно сколько людей там размещает ноды на zfs? ))
Animal
хотя я смотрю ixsystem со сторджем вроде как начали сотрудничать. А там как раз zfs вроде как по дефолту.
Free
Те в стордж по факту это децентрализованная фс или типа того. Даже не фс а хранилище скорее всего (как я выше написал) Аки cephs/gluster/ipfs/btfs... (я грубо провожу аналогии с фс) локально ноды сторджа кто во что горазд... на отдельной ноде у кого zfs, у кого ext ntfs xfs.. да хоть fat... стордж там сам оперирует избыточностью сжатием распределением че куда и тд..
Да, стордж - это децентрализованное хранилище. И на этом уровне, может быть, задержки и большие. Но на уровне локальной ноды - каждая из них непрерывно взаимодействует P2P с большим количеством "клиентов", независимо размещающих в ней кусочки своих данных, и здесь важно отработать без задержек (иначе эти данные разместятся на другой ноде), так что большие задержки не желательны. А запросы от разных клиентов идут многими потоками одновременно: на одну ноду постоянно поток 2-5Мб/сек, а на одном пуле может легко быть десяток нод. Так что нагрузка на запись очень высокая.
Free
Кто какой фс пользуется. Интересно сколько людей там размещает ноды на zfs? ))
Довольно многие, но не начинающие, а уже вырастившие десятки-сотни нод
Animal
Несколько десятков точно используют
ну раз пользуются значит делают запас 5..20%. да и чем там еще помочь? Ес только кЭш. Сжатие и дедуп там практически не работают вроде тк этим уже сам стордж заведует.
Sergey
Подскажите, пожалуйста - после создания volume (командой zfs create ... -V ...), какую команду нужно еще вызвать, чтобы дождаться завершения создания волюма и его экспорта как блочного устройства по адресу /dev/zvol/<pool>/<vol>? Я вызываю zpool sync и zpool wait -t initialize, но этого все еще недостаточно. Иногда попытка открыть блочное устройство сразу после этих действий, приводит к cannot open