George
(special vdev обычно же не на hdd добавляют)
George
сам напоролся недавно)
Maverick
Я так понимаю что если скорость копирования на zfs stripe mirrored раза в три меньше чем на обычный hdd на ext4 на том же сервере. То что то не так я так понимаю... Что можно помониторит или посмотреть?
Maverick
В iostat -dx util дисков что в zvol где то 56-58%
Maverick
Кажеться увидел небольшой косяк.
Maverick
Vladislav
Хотя 0х12 не нормально судя по Гуглу
Maverick
Вот не понял как это лечить. Но скорее всего из за контроллера zfs и jbod
Maverick
Поэтому наверное zfs не может полностью сата утилизировать. Хотя может кто то сталкивался или подскажет куда копать
Maverick
Но наверное прийдеться от zfs отказаться 😒
Art
Но наверное прийдеться от zfs отказаться 😒
я бы от контроллера отказался) Тем более раз он JBOD - это мутный термин, всегда это говорю.
Нужен нормальный HBA, они же дешёвые. Я понимаю если под супердорогой RAID-контроллер своё ПО подгонять, но ради какого-то жибода отказаться от ЗФС... Даже не думай!
Maverick
я бы от контроллера отказался) Тем более раз он JBOD - это мутный термин, всегда это говорю.
Нужен нормальный HBA, они же дешёвые. Я понимаю если под супердорогой RAID-контроллер своё ПО подгонять, но ради какого-то жибода отказаться от ЗФС... Даже не думай!
Нету возможности особенно сейчас. Это оборудование дали и сказали сделай
Maverick
я бы от контроллера отказался) Тем более раз он JBOD - это мутный термин, всегда это говорю.
Нужен нормальный HBA, они же дешёвые. Я понимаю если под супердорогой RAID-контроллер своё ПО подгонять, но ради какого-то жибода отказаться от ЗФС... Даже не думай!
Мне просто виртуалки проксмоса крутить.... Я новичок в зфс так что плюшек не знаю
Maverick
я бы от контроллера отказался) Тем более раз он JBOD - это мутный термин, всегда это говорю.
Нужен нормальный HBA, они же дешёвые. Я понимаю если под супердорогой RAID-контроллер своё ПО подгонять, но ради какого-то жибода отказаться от ЗФС... Даже не думай!
Я просто хотел proxmox + shared storage zfs over iscsi. Так как снимки можно. Но видимо прийдеться lvm over iscsi грубо говоря и без снимков
Art
Нету возможности особенно сейчас. Это оборудование дали и сказали сделай
понятно, ну тогда конечно нужно плясать от наличного железа и искать рабочее решение, и оно может оказаться не ЗФС совсем.
Погугли название своего контроллера +zfs или +truenas. На форуме поледнего народ составля списки рабочих вариантов, может тебе просто перепрошиться нужно
Art
Я просто хотел proxmox + shared storage zfs over iscsi. Так как снимки можно. Но видимо прийдеться lvm over iscsi грубо говоря и без снимков
ну да, iscsi и снапшоты это раздельно, не считая варианта с zfs over iscsi
Art
Я просто хотел proxmox + shared storage zfs over iscsi. Так как снимки можно. Но видимо прийдеться lvm over iscsi грубо говоря и без снимков
https://pve.proxmox.com/wiki/Storage
Вот здесь есть табличка какой сторадж что умеет
Имхо без снапшотов как жить вообще? Я бы предпочёл уж тогда qcow2 over NFS )
Maverick
https://pve.proxmox.com/wiki/Storage
Вот здесь есть табличка какой сторадж что умеет
Имхо без снапшотов как жить вообще? Я бы предпочёл уж тогда qcow2 over NFS )
Ну можно бекап делать не такая уж проблема
Maverick
Тем более если это прод и там бд... То снапшоты особо не нужны
Maverick
https://pve.proxmox.com/wiki/Storage
Вот здесь есть табличка какой сторадж что умеет
Имхо без снапшотов как жить вообще? Я бы предпочёл уж тогда qcow2 over NFS )
Qcow медленно будет в разрезе рсубд... Оракл 11
Art
Тем более если это прод и там бд... То снапшоты особо не нужны
а бэкап же делается из снапшота, это самый быстрый способ, почти моментальный. Два других это стоп и суспенд. Стоп для продовой БД понятно вообще не вариант, а суспенд я не знаю по времени не долго ли будет идти
Maverick
а бэкап же делается из снапшота, это самый быстрый способ, почти моментальный. Два других это стоп и суспенд. Стоп для продовой БД понятно вообще не вариант, а суспенд я не знаю по времени не долго ли будет идти
Ну не совсем. Точнее да но сейчас qemu делает бекам из обычного lvm без снапшота но в режиме снапшот. Не знаю как это делаеться
Maverick
В 7 версии... Бекап в режиме снапшота работает и на стораджах в которых нет снимков то есть зайдя в вм снимок не даёт сделать.
Art
Art
Qcow медленно будет в разрезе рсубд... Оракл 11
qcow конечно проиграет блочнику по всем статьям практически. Поэтому надо выруливать на ЗФС! Если нужно проапгрейдить железо, то пусть апгрейдят. Тем более если это прод, если это Оракл.
Пусть покупают HBA короч. Хоть б\у. Вон Сбебрбанк скупает юзанные циски, и не кривится)
Maverick
прикольно, не знал
Ну я не понимаю правда как оно это делает вот допустим если просто lvm не тонкий бекап идёт лезу в консоль lvs снимков нет... А виртуалка уже работает ....
Maverick
qcow конечно проиграет блочнику по всем статьям практически. Поэтому надо выруливать на ЗФС! Если нужно проапгрейдить железо, то пусть апгрейдят. Тем более если это прод, если это Оракл.
Пусть покупают HBA короч. Хоть б\у. Вон Сбебрбанк скупает юзанные циски, и не кривится)
Не будут покупать у меня ЗП 35... Начальству проще поставить задачу и делай как хочешь будет плохо лишать премии тогда будет 20 или 15
Олег
Maverick
валить с такой работы
Не получается ... Вот пробую в мск... Но пока жду согласования. Хотя там тоже 75-80
Maverick
С работой как то туго стало
Олег
Не получается ... Вот пробую в мск... Но пока жду согласования. Хотя там тоже 75-80
тут конечно от стека технологий зависит, но 80 для Москвы зная zfs\ceph\ansible ну крайне низкая зп
Maverick
тут конечно от стека технологий зависит, но 80 для Москвы зная zfs\ceph\ansible ну крайне низкая зп
Ну ... Я септ не знаю только теория как и ансибл... Я питон немного знаю, делфи, и всяки там крипто про вип нет и так далее. Так что эти знания особо никому не нужны.
Maverick
тут конечно от стека технологий зависит, но 80 для Москвы зная zfs\ceph\ansible ну крайне низкая зп
Плюс предложений стало ооочень мало. И ЗП ниже.
Fedor
Лучше во флуд или в личку. Но да.
Evgenii
Подскажите пожалуйста ZFS не научилась уменьшать размер пула?
есть зеркальный пул, хотелось бы откусить немного от каждого диска для swap
Возможно есть какой то алгоритм добавления, удаления девайсов в зеркало.
Vladislav
Evgenii
А пул у Вас как используется?
в Proxmox, загрузочный, плюс там хранятся тома виртуальных машин
Vladislav
в Proxmox, загрузочный, плюс там хранятся тома виртуальных машин
А в проксмоне вы уменьшили размер раздела?
Evgenii
Насколько я понимаю zfs щас может удалять диски из страйпа..
Наверное единственный способ уменьшить разделы на которых строится зеркало, это вынуть 1 диск из зеркала, уменьшить его партицию, и вставить обратно но уже в stripe, затем отцепить другой диск (большего размера), затем на нем тоже уменьшить раздел и добавить в зеркало.
George
Насколько я понимаю zfs щас может удалять диски из страйпа..
Наверное единственный способ уменьшить разделы на которых строится зеркало, это вынуть 1 диск из зеркала, уменьшить его партицию, и вставить обратно но уже в stripe, затем отцепить другой диск (большего размера), затем на нем тоже уменьшить раздел и добавить в зеркало.
да, и то с оговорками что в пуле не было raidz и ashift у всех дисков одинаков
Hello 2 has been banned! Reason: CAS ban.
Станислав
Подскажите пожалуйста ZFS не научилась уменьшать размер пула?
есть зеркальный пул, хотелось бы откусить немного от каждого диска для swap
Возможно есть какой то алгоритм добавления, удаления девайсов в зеркало.
У меня на 3х машинах без видимых проблем со swap разделом в самом zfs. Ладно на одной 128Гб оперативы и свободной много, а на двух по гигу оперативы, своп временами юзается, но не активно
Maverick
Denis
Подскажите пожалуйста ZFS не научилась уменьшать размер пула?
есть зеркальный пул, хотелось бы откусить немного от каждого диска для swap
Возможно есть какой то алгоритм добавления, удаления девайсов в зеркало.
вопрос не проще и правильнее для SWAP использовать отдельную SSD или M2?
central
не слишком ли жырно под своп ссд тем более что в идеале он вообще не должен задействоваться
Denis
не слишком ли жырно под своп ссд тем более что в идеале он вообще не должен задействоваться
ну смотря какой объем массива на 30+ тб я так делал
Станислав
По гигу оперативы и zfs?
Почему нет?) Шифрование, снимки, репликация. А потребление ОП зависит от настроек.
Maverick
Почему нет?) Шифрование, снимки, репликация. А потребление ОП зависит от настроек.
Ммм шифрование а оно там годное? Снимки.... Ну вот репликация да... Так если мало Оп то и работать будет медленно?
Δαρθ
Станислав
Ммм шифрование а оно там годное? Снимки.... Ну вот репликация да... Так если мало Оп то и работать будет медленно?
Не везде нужна большая скорость. Работает как средний SSD.
Станислав
Ммм шифрование а оно там годное? Снимки.... Ну вот репликация да... Так если мало Оп то и работать будет медленно?
У меня тот же вопрос, почему не годное? Рут раздел зашифрован, своп там же
Maverick
Не везде нужна большая скорость. Работает как средний SSD.
На обычном hdd.. я видимо что то не так делают. По дефолту у меня работает немного медленнее ext4
Maverick
У меня тот же вопрос, почему не годное? Рут раздел зашифрован, своп там же
Я читал что его недавно только завезли... И что luks немного быстрее..
Δαρθ
есть мнение что через luks больше шанс утечек изза того что там XEX а не обычный ctr с IV разным каждый раз
Станислав
Я читал что его недавно только завезли... И что luks немного быстрее..
А ещё говорят, что ZFS при аварийном отключении обязательно падает
central
при аварийном отключение питания?
Egor
А ещё говорят, что ZFS при аварийном отключении обязательно падает
Вас обманули, упасть всё может, но обязательности и в помине нет
Δαρθ
оно может падать (как и любая фс) в случае если винт врёт о завершенности синхронных записей
Δαρθ
если винт не врет-- оно в принципе упасть не может )
Станислав
... чо правда?
Меня сотрудник выбесил этим утверждением. Как пристал с вопросом "Что будет, если электричество отключат? Как восстанавливать?"
Δαρθ
Меня сотрудник выбесил этим утверждением. Как пристал с вопросом "Что будет, если электричество отключат? Как восстанавливать?"
"покупать упс" правильный ответ?
Александр
Меня сотрудник выбесил этим утверждением. Как пристал с вопросом "Что будет, если электричество отключат? Как восстанавливать?"
Попросить его рассказать, как работает copy-on-write и что может произойти с COW-данными при любом внезапном ресете
Станислав
Вас обманули, упасть всё может, но обязательности и в помине нет
Я то знаю)) Но объясни это тому, кто в инете 5 лет назад читал байки))
Станислав
Попросить его рассказать, как работает copy-on-write и что может произойти с COW-данными при любом внезапном ресете
Я пытался ему наводящие вопросы задавать, но там ещё аргументы были, что оно не в ядре и оракл захочет и запретит...
Александр
Я пытался ему наводящие вопросы задавать, но там ещё аргументы были, что оно не в ядре и оракл захочет и запретит...
А, простите, кто он по должности?
Станислав
Сисадмин))
central
причем тут вообще оракл?
Александр
... а может, заменить на заведомо исправного?
Станислав
... а может, заменить на заведомо исправного?
Легко сказать. Большинство особо не думают и боятся за рамки привычного выходить. Жаль, что им это не мешает что-то утверждать))
Egor
Я бы поставил ему задачу уронить её, не справится - постоянно напоминать об этом случае )
Станислав
Я бы поставил ему задачу уронить её, не справится - постоянно напоминать об этом случае )
Ахах. Неплохая идея)) Я, на самом деле, от неожиданности не сообразил сразу, но через 5 минут напомнил, что у меня то на рабочем компе на единственном китайском ssd всё на ZFS, так ещё и планка памяти была битая) И скраб говорит, что всё ок