George
(special vdev обычно же не на hdd добавляют)
George
сам напоролся недавно)
Maverick
Я так понимаю что если скорость копирования на zfs stripe mirrored раза в три меньше чем на обычный hdd на ext4 на том же сервере. То что то не так я так понимаю... Что можно помониторит или посмотреть?
Maverick
В iostat -dx util дисков что в zvol где то 56-58%
Maverick
Кажеться увидел небольшой косяк.
Maverick
Zfs over iscsi...
Vladislav
Zfs over iscsi...
Это нормально
Vladislav
Хотя 0х12 не нормально судя по Гуглу
Maverick
Это нормально
Ну да и одно ядро занято journalctl
Maverick
Вот не понял как это лечить. Но скорее всего из за контроллера zfs и jbod
Maverick
Поэтому наверное zfs не может полностью сата утилизировать. Хотя может кто то сталкивался или подскажет куда копать
Maverick
Но наверное прийдеться от zfs отказаться 😒
Art
Но наверное прийдеться от zfs отказаться 😒
я бы от контроллера отказался) Тем более раз он JBOD - это мутный термин, всегда это говорю. Нужен нормальный HBA, они же дешёвые. Я понимаю если под супердорогой RAID-контроллер своё ПО подгонять, но ради какого-то жибода отказаться от ЗФС... Даже не думай!
Art
Нету возможности особенно сейчас. Это оборудование дали и сказали сделай
понятно, ну тогда конечно нужно плясать от наличного железа и искать рабочее решение, и оно может оказаться не ЗФС совсем. Погугли название своего контроллера +zfs или +truenas. На форуме поледнего народ составля списки рабочих вариантов, может тебе просто перепрошиться нужно
Art
Я просто хотел proxmox + shared storage zfs over iscsi. Так как снимки можно. Но видимо прийдеться lvm over iscsi грубо говоря и без снимков
https://pve.proxmox.com/wiki/Storage Вот здесь есть табличка какой сторадж что умеет Имхо без снапшотов как жить вообще? Я бы предпочёл уж тогда qcow2 over NFS )
Maverick
Тем более если это прод и там бд... То снапшоты особо не нужны
Art
Тем более если это прод и там бд... То снапшоты особо не нужны
а бэкап же делается из снапшота, это самый быстрый способ, почти моментальный. Два других это стоп и суспенд. Стоп для продовой БД понятно вообще не вариант, а суспенд я не знаю по времени не долго ли будет идти
Maverick
В 7 версии... Бекап в режиме снапшота работает и на стораджах в которых нет снимков то есть зайдя в вм снимок не даёт сделать.
Art
Qcow медленно будет в разрезе рсубд... Оракл 11
qcow конечно проиграет блочнику по всем статьям практически. Поэтому надо выруливать на ЗФС! Если нужно проапгрейдить железо, то пусть апгрейдят. Тем более если это прод, если это Оракл. Пусть покупают HBA короч. Хоть б\у. Вон Сбебрбанк скупает юзанные циски, и не кривится)
Maverick
прикольно, не знал
Ну я не понимаю правда как оно это делает вот допустим если просто lvm не тонкий бекап идёт лезу в консоль lvs снимков нет... А виртуалка уже работает ....
Maverick
валить с такой работы
Не получается ... Вот пробую в мск... Но пока жду согласования. Хотя там тоже 75-80
Maverick
С работой как то туго стало
Олег
Не получается ... Вот пробую в мск... Но пока жду согласования. Хотя там тоже 75-80
тут конечно от стека технологий зависит, но 80 для Москвы зная zfs\ceph\ansible ну крайне низкая зп
Maverick
тут конечно от стека технологий зависит, но 80 для Москвы зная zfs\ceph\ansible ну крайне низкая зп
Ну ... Я септ не знаю только теория как и ансибл... Я питон немного знаю, делфи, и всяки там крипто про вип нет и так далее. Так что эти знания особо никому не нужны.
Maverick
+
Привет братское сердце
Maverick
Прив!
Давно не виделись... Ну виртуально.
Fedor
Лучше во флуд или в личку. Но да.
Maverick
Zfs over iscsi...
Я тут подумал а может iscsi клиента попробовать поменять поставить tgt
Evgenii
Подскажите пожалуйста ZFS не научилась уменьшать размер пула? есть зеркальный пул, хотелось бы откусить немного от каждого диска для swap Возможно есть какой то алгоритм добавления, удаления девайсов в зеркало.
Evgenii
А пул у Вас как используется?
в Proxmox, загрузочный, плюс там хранятся тома виртуальных машин
Vladislav
в Proxmox, загрузочный, плюс там хранятся тома виртуальных машин
А в проксмоне вы уменьшили размер раздела?
Evgenii
Насколько я понимаю zfs щас может удалять диски из страйпа.. Наверное единственный способ уменьшить разделы на которых строится зеркало, это вынуть 1 диск из зеркала, уменьшить его партицию, и вставить обратно но уже в stripe, затем отцепить другой диск (большего размера), затем на нем тоже уменьшить раздел и добавить в зеркало.
Combot
Hello 2 has been banned! Reason: CAS ban.
Станислав
Подскажите пожалуйста ZFS не научилась уменьшать размер пула? есть зеркальный пул, хотелось бы откусить немного от каждого диска для swap Возможно есть какой то алгоритм добавления, удаления девайсов в зеркало.
У меня на 3х машинах без видимых проблем со swap разделом в самом zfs. Ладно на одной 128Гб оперативы и свободной много, а на двух по гигу оперативы, своп временами юзается, но не активно
central
не слишком ли жырно под своп ссд тем более что в идеале он вообще не должен задействоваться
Станислав
По гигу оперативы и zfs?
Почему нет?) Шифрование, снимки, репликация. А потребление ОП зависит от настроек.
Maverick
Почему нет?) Шифрование, снимки, репликация. А потребление ОП зависит от настроек.
Ммм шифрование а оно там годное? Снимки.... Ну вот репликация да... Так если мало Оп то и работать будет медленно?
Станислав
Maverick
Не везде нужна большая скорость. Работает как средний SSD.
На обычном hdd.. я видимо что то не так делают. По дефолту у меня работает немного медленнее ext4
Maverick
У меня тот же вопрос, почему не годное? Рут раздел зашифрован, своп там же
Я читал что его недавно только завезли... И что luks немного быстрее..
Δαρθ
есть мнение что через luks больше шанс утечек изза того что там XEX а не обычный ctr с IV разным каждый раз
Станислав
Я читал что его недавно только завезли... И что luks немного быстрее..
А ещё говорят, что ZFS при аварийном отключении обязательно падает
central
при аварийном отключение питания?
Egor
А ещё говорят, что ZFS при аварийном отключении обязательно падает
Вас обманули, упасть всё может, но обязательности и в помине нет
Δαρθ
оно может падать (как и любая фс) в случае если винт врёт о завершенности синхронных записей
Δαρθ
если винт не врет-- оно в принципе упасть не может )
Станислав
... чо правда?
Меня сотрудник выбесил этим утверждением. Как пристал с вопросом "Что будет, если электричество отключат? Как восстанавливать?"
Александр
Меня сотрудник выбесил этим утверждением. Как пристал с вопросом "Что будет, если электричество отключат? Как восстанавливать?"
Попросить его рассказать, как работает copy-on-write и что может произойти с COW-данными при любом внезапном ресете
Станислав
Вас обманули, упасть всё может, но обязательности и в помине нет
Я то знаю)) Но объясни это тому, кто в инете 5 лет назад читал байки))
Станислав
Попросить его рассказать, как работает copy-on-write и что может произойти с COW-данными при любом внезапном ресете
Я пытался ему наводящие вопросы задавать, но там ещё аргументы были, что оно не в ядре и оракл захочет и запретит...
Станислав
Сисадмин))
central
причем тут вообще оракл?
Александр
... а может, заменить на заведомо исправного?
Станислав
... а может, заменить на заведомо исправного?
Легко сказать. Большинство особо не думают и боятся за рамки привычного выходить. Жаль, что им это не мешает что-то утверждать))
Egor
Я бы поставил ему задачу уронить её, не справится - постоянно напоминать об этом случае )
Станислав
Я бы поставил ему задачу уронить её, не справится - постоянно напоминать об этом случае )
Ахах. Неплохая идея)) Я, на самом деле, от неожиданности не сообразил сразу, но через 5 минут напомнил, что у меня то на рабочем компе на единственном китайском ssd всё на ZFS, так ещё и планка памяти была битая) И скраб говорит, что всё ок