Т/е/ умение программы использовать мелочи решает по сути

ZFS вот интересно когда с SMR сдружат

это по сути реальность уже

По скорости у меня один сервер заменил 3 шт! Я продал два и еще в плюсе остался. Хорошо что есть люди которым еще нужен интел ))

Тут на форуме популярном мне заверили что scsi диски еще продаются)))

им далеко не для истории

А теперь посмотрите вот сюда: https://technical.city/ru/cpu/EPYC-7763 и сюда https://technical.city/ru/cpu/rating Если этот новый топовый эпик поставить в двухпроцессорный сервер с парой ТБ ОЗУ, он заменить целый кластер!

Обратите внимание на частоты и кол-во ядер.

А теперь посмотрите вот сюда: https://technical.city/ru/cpu/EPYC-7763 и сюда https://technical.city/ru/cpu/rating Если этот новый топовый эпик поставить в двухпроцессорный сервер с парой ТБ ОЗУ, он заменить целый кластер!

отказоустойчивость такого кластера смутит

а так да)

прогресс мать его

Но если разделить на два по 1 процу и 512

то вполне)

отказоустойчивость такого кластера смутит

Отказоустойчиваоть - это воторой вопрос: взять два таких сервера и они заменят датацентр ! 😊

Отказоустойчиваоть - это воторой вопрос: взять два таких сервера и они заменят датацентр ! 😊

перегнул уже)

1н сервер БД всего-то)

перегнул уже)

Это я от радости. Эх и нафлудили мы тут, админ придёт ис делает нам атата

Это я от радости. Эх и нафлудили мы тут, админ придёт ис делает нам атата

твоё сообщение привлекло админа :D

Разговоры у вас интересные. Но действительно, лучше их вести в курилке (чата proxmox) Общение|Флуд: https://t.me/joinchat/RrE0v_0cVgpi4OIy

всем привет, кто может ответить, почему такой дисбаланс между зеркалами по занятому пространству? https://s.mail.ru/7biC/Nnqd5vyPn

всем привет, кто может ответить, почему такой дисбаланс между зеркалами по занятому пространству? https://s.mail.ru/7biC/Nnqd5vyPn

а можно пальцем, где именно дисбаланс

а можно пальцем, где именно дисбаланс

по занятому пространству

самые новые зеркала меньше заполнены, наверное

всем привет, кто может ответить, почему такой дисбаланс между зеркалами по занятому пространству? https://s.mail.ru/7biC/Nnqd5vyPn

vdevs по очереди в пул добавляли?

если да, то в процессе записи выровняется потом

одновременно создавал пул

ну и в относительных цифрах разница не большая (идеально ровно быть и не должно)

ну и в относительных цифрах разница не большая (идеально ровно быть и не должно)

8-10-2 гб, это небольшая? а может быть такое, что первые 2 зеркала заполнятся?? а 3-ий будет полупустой?

8-10-2 гб, это небольшая? а может быть такое, что первые 2 зеркала заполнятся?? а 3-ий будет полупустой?

не должно, но разнице в несколько гигабайт на фоне общего объёма я не особо значения бы придал, попробуйте гигабайт 100 записать и посмотреть в динамике для спокойствия

и на другом zpool похожая ситуация.. https://s.mail.ru/gazP/v2UWApFC2

8-10-2 гб, это небольшая? а может быть такое, что первые 2 зеркала заполнятся?? а 3-ий будет полупустой?

так обьем если общий 10 ТБ то какая разница разница в гигабайты, зачем вообще zfs в данном случае тратить ресурсы на вырвнивание обьемов

мне понимать логику, может, например, проблема в том, что одно из зеркал медленнее остальных?

Для 6-го рейда делаете так: zpool create -f -o ashift=12 hdd_bak raidz2 /dev/hdd{01,02,03,04,05,06} raidz2 /dev/hdd{07,08,09,10,11,12} raidz2 /dev/hdd{13,14,15,16,17,18} raidz2 /dev/hdd{19,20,21,22,23,24} zfs create hdd_bak/bkpdata zfs set compression=lz4 xattr=sa atime=off recordsize=1M hdd_bak/bkpdata Что бы ускорить, пул на hdd, делаете зеркало из 2-х ссд, и цепляете как log zpool add -f hdd_bak log mirror /dev/ssd{00,01}

Зеркало из двух ssd под лог действительно помогает ? И какие должны быть эти ssd ? Тут попадаются с SLC кешем всего на пару гиг ...

Зеркало из двух ssd под лог действительно помогает ? И какие должны быть эти ssd ? Тут попадаются с SLC кешем всего на пару гиг ...

Зеркало что бы лог неожиданно не сдох, а сама ссд под лог для шпинделей помогает больше чем L2ARC на ссд. Все ИМХО, и на основе собственных тестов.

У меня sas ssd, но думаю любая справится хорошо, но конечно nvme всегда лучше :)

Для магнитных дисков я теперь всегда лог на ссд выношу. От L2ARC отказался совсем. Лучше оперативы докупить.

Понабежало то несмышленых ботов )

чот да

да им ZFS надо настроить))

Для магнитных дисков я теперь всегда лог на ссд выношу. От L2ARC отказался совсем. Лучше оперативы докупить.

Не спец по хранилкам, но в паре мест использую трунасы на хдд с ссд-кэшем, l2arc не выключал, при установке и настройке ограничился тем, что сделал пулы под данные так, что кэш-хит рамы ниже 70% не падает, и то так низко бывает только на инжесте свежих данных, не кэшированных. Л2арк, увы, пока самое замечательное показывал под 30% попадания, хз, как его калибровать под случайное чтение больших блоков 🤷 В основном болтается в районе 5-15, чую, что без раскуривается исходников я вообще не пойму, что с ним делать. Рама под зфс нужна просто и много, в независимости от кэшей)

Для магнитных дисков я теперь всегда лог на ссд выношу. От L2ARC отказался совсем. Лучше оперативы докупить.

Лог в зеркале на ссд классика, только так и надо

Не спец по хранилкам, но в паре мест использую трунасы на хдд с ссд-кэшем, l2arc не выключал, при установке и настройке ограничился тем, что сделал пулы под данные так, что кэш-хит рамы ниже 70% не падает, и то так низко бывает только на инжесте свежих данных, не кэшированных. Л2арк, увы, пока самое замечательное показывал под 30% попадания, хз, как его калибровать под случайное чтение больших блоков 🤷 В основном болтается в районе 5-15, чую, что без раскуривается исходников я вообще не пойму, что с ним делать. Рама под зфс нужна просто и много, в независимости от кэшей)

вот и я об этом же =)

кэш хит мизерный, проще набить памяти

а лог да, на ссд палюбэ

У меня просто были мысли в стиле «а может это и норма и главное, что не 0?», но я так-то хз, может, уважаемая команда знатоков поправит

неоднократно сталкивался с траблом - л2арк наоборот, замедлял работу, потом нашел статьи (пару лет назад) где западные спецы сталкивались с тем же, и писали что точную причину не нашли, и решали вопрос просто выпиливанием л2арк, я так и поступил. Выпилил, и добавил памяти.

неоднократно сталкивался с траблом - л2арк наоборот, замедлял работу, потом нашел статьи (пару лет назад) где западные спецы сталкивались с тем же, и писали что точную причину не нашли, и решали вопрос просто выпиливанием л2арк, я так и поступил. Выпилил, и добавил памяти.

Сук)))

могу даже ссылки поискать, были в закладках

Ну и вот зачем он? Как его готовить правильно?)

могу даже ссылки поискать, были в закладках

Да зачем, верю, 2 инсталляции, 1 на почти 40 тб, вторая на 80

Разное железо, разное поколение цп

А цифры одинаковые)

5, блин, процентов

там еще доп трабла, л2арк так же требует доппамяти на свое обслуживание, т.е. он тоже пожирает память, я вот подумал, что проще эту память сразу отдать АРК-у

Да, погуглил, частая практика

Ну... у меня проблем с рамой нет (хватает вообще на все за глаза, кроме, разумеется, дедупа, его и не включаю)

Но есть вопросы)

https://jrs-s.net/2018/08/17/zfs-tuning-cheat-sheet/

вот кое-что по тюнингу

но он там как раз и пишет о сомнительной ценности л2арк

но он там как раз и пишет о сомнительной ценности л2арк

Тюнинг это игрушка диавола ежжи (Спасибо, читаю)

Тюнинг это игрушка диавола ежжи (Спасибо, читаю)

там последний коммент по дедупу и л2арк, но я дедуп не гоняю

там последний коммент по дедупу и л2арк, но я дедуп не гоняю

https://www.solaris-cookbook.eu/solaris/solaris-10-zfs-evil-tuning-guide/ Дедуп для архивации, кмк, когда нагрузки от пользователей нет, а данные нужно архивировать много. Там же по 1 гб рам за каждый 1 тб на пуле.

Где я 80 гиг рамы размещу?)

Где я 80 гиг рамы размещу?)

ну я у себя под zfs arc отдаю 64 гига рамы =)

но это такое

я бы начисто доку от солярки к zfs on linux не применял бы

во первых платформа другая, соответсвенно и работа ядра и подсистем другие, во вторых в текущей zfs в солярке другой код, причем уже хер знает сколько лет закрыт, после того как оракл на 24 ветке похоронил доступ к исходному коду

5, блин, процентов

у меня 3 😭

так что zfs в линухе давно развивается по своему пути, так что я бы слепо тюнинг с солярки не брал в расчет (к тому что на линухе все может быть чутка похуже)

https://www.solaris-cookbook.eu/solaris/solaris-10-zfs-evil-tuning-guide/ Дедуп для архивации, кмк, когда нагрузки от пользователей нет, а данные нужно архивировать много. Там же по 1 гб рам за каждый 1 тб на пуле.

я бы для архивации тупо докупил бы винтов пачку на HBA и не парился бы, это как по мне дешевле выйдет (особенно если взять что-то типа гелиевых на 14 ТБ 3,5 дюйма 7200 оборотов) чем накручивать ЦП и память для дедупа.

Ну... у меня проблем с рамой нет (хватает вообще на все за глаза, кроме, разумеется, дедупа, его и не включаю)

если озу за глаза, то до l2arc просто не дойдёт чтение)))

Немного диплтранслейта: Использование дополнительного SSD-диска в качестве кэша второго уровня для ARC - называемого L2ARC - может ускорить ваш пул ZFS. Но если вы проанализируете, как часто используется кэш, вы обнаружите очень низкое соотношение попаданий. Чтобы понять, почему коэффициент попадания низкий, Вы должны знать, как работает L2ARC. ZFS использует первичный кэш - ARC - который занимает некоторое пространство вашей доступной оперативной памяти. Пока ARC не будет действительно полон, в L2ARC записываются данные, заслуживающие внимания. Таким образом, пока кэш ARC не станет теплым, L2ARC кэш не используется. Но даже он не используется, запрос на чтение запускает поиск в ARC, а затем в L2ARC. Потому что оба кэша холодные после перезагрузки, вы можете увидеть много промахов кэша.

l2arc по умолчанию игнорит последовательное чтение, т.е. из коробки он не для всех кейсов подходит

в общем стандартное правило - сначала доставить озу сколько получится, и только потом думать об l2arc

https://blog.chaospixel.com/linux/2016/09/zfs-why-is-l2arc-hit-ratio-so-low.html

в общем стандартное правило - сначала доставить озу сколько получится, и только потом думать об l2arc

на сегодняшний день l2arc может вызывать тормоза ? допустим 128 гигов рамы отдано под arc и для пущей скорости решил на ssd/nvme l2arc сделать. хуже не будет ?

У меня при интенсивной записи были тормоза, жёсткие совсем тупые и дико отставали

на сегодняшний день l2arc может вызывать тормоза ? допустим 128 гигов рамы отдано под arc и для пущей скорости решил на ssd/nvme l2arc сделать. хуже не будет ?

может быть хуже, уже не раз встречал такую ситуацию, но кто ж это сможет угадать?

может быть хуже, уже не раз встречал такую ситуацию, но кто ж это сможет угадать?

вдруг это давно починили ? или недавно )

в любом случае добавить/убрать л2арк можно без проблем, не нанося ушерб пулу