Коллеги, по вашему опыту, 2 NVME в ZFS mirror на сколько потеряю в производительности примерно? 20/30/50 % ??
Хочу проксмокс, не хочу mdadm городить. Планируется 1С + Postgress ну и мелочь всякая
От x5 до x10 смотря какая нагрузка
Vladislav
Vladislav
только если у вас прям супер пупер нагрузки на БД, мега хайлоад шо пипец, а в остально похер, хоть в докере запускай
А потом приходят и говорят - "а у нас приложение лагает"
Nik
От x5 до x10 смотря какая нагрузка
Провожу сейчас тесты совсем не объективный конечно(1с расчет себестоимости, делается в районе 13-17 часов на ext4) , на железе чуть слабже(проц), диск на тестовом 1735(zfs), все то же самое( по времени), что и на боевом получается. Не уверен, что пользователи(100-150 штук) увидят разницу в работе.
наверное в супер активной базе разница будет.
У проведения себы проблемаа именно в кривом коде, на диск вообще не вижу что бы была нагрузка.
Станислав
Провожу сейчас тесты совсем не объективный конечно(1с расчет себестоимости, делается в районе 13-17 часов на ext4) , на железе чуть слабже(проц), диск на тестовом 1735(zfs), все то же самое( по времени), что и на боевом получается. Не уверен, что пользователи(100-150 штук) увидят разницу в работе.
наверное в супер активной базе разница будет.
У проведения себы проблемаа именно в кривом коде, на диск вообще не вижу что бы была нагрузка.
Так нужно определить где узкое горлышко. Скорее всего ЦП
Nik
я это к тому, что в базе на 40-100 пользователей не будет разницы зфс или ext4
Vika был(а) забанен(а)! Причина: CAS-бан.
Hennadii
Но вообще я бы не использовал гражданские диски для серверных задач, единственное что я себе позволяю — топовые гражданские самсунги под root+swap
А серверным trim не нужен, они сами могут в уборку мусора
они могут, если будут знать, какие именно блоки являются мусором.
сообщить об этом накопителю можно с помощью команды TRIM.
Dmitry
они могут, если будут знать, какие именно блоки являются мусором.
сообщить об этом накопителю можно с помощью команды TRIM.
Глянул, как trim не является "сборкой мусора" так и механизм работы серверных ssd не включает в себя "сборку мусора" хотя в обоих случаях механизм так называется
Серверным просто все равно на то что в него пишется, хоть случайные блоки пиши-читай по 10 раз в цикле, он готов из-за большой резервной области и механизма записи данных с учетом резервной области, Серверные(чистокровные) предназначены для насильственной записи без TRIM любого количества данных
Благодарю за лекбез
Dmitry
Но вопрос у меня остался, работает ли trim на zraid ?
(хотя это уже извращение)
Ivan
Но вопрос у меня остался, работает ли trim на zraid ?
(хотя это уже извращение)
trim работает на всех типах zfs рейдов
Ivan
главное чтоб диски были через hba отданы.
Dmitry
trim работает на всех типах zfs рейдов
Понял, благодарю, впервые встречаю работу trim на raid
Vladislav
Я вот недавно познакомился с одной отечественной схд, где Трим отсутствует как понятие
В итоге LUN становится writeonce, даже если со стороны ФС ты удалил файлик, то со стороны схд - место осталось занято и ты можешь спокойно забить LUN на схд и она уйдёт в RO, а со стороны гостя все будет свободно
Dmitry
Я вот недавно познакомился с одной отечественной схд, где Трим отсутствует как понятие
В итоге LUN становится writeonce, даже если со стороны ФС ты удалил файлик, то со стороны схд - место осталось занято и ты можешь спокойно забить LUN на схд и она уйдёт в RO, а со стороны гостя все будет свободно
Это не TRIM, это бага
TRIM нужен только для оптимизации, но никак не для освобождения места
Ivan
Это не TRIM, это бага
TRIM нужен только для оптимизации, но никак не для освобождения места
смотря на каком уровне абстракции трим делается (или не делается)
Dmitry
смотря на каком уровне абстракции трим делается (или не делается)
Ну если только СХД напрямую не пишет напрямую в NAND
Vladislav
Это не TRIM, это бага
TRIM нужен только для оптимизации, но никак не для освобождения места
Так СХД не понимает, что надо освободить занятое пространство на LUN
Vladislav
Этим как раз и должен заниматься трим
Vladislav
Который скажет, что блоки с 0x100000 по 0x500000 больше не нужны и их можно занулить
Dmitry
Который скажет, что блоки с 0x100000 по 0x500000 больше не нужны и их можно занулить
Да, кажется понял что имеется в виду, тогда да, весело
Игорь Муравьёв был(а) забанен(а)! Причина: CAS-бан.
Станислав
Я вот недавно познакомился с одной отечественной схд, где Трим отсутствует как понятие
В итоге LUN становится writeonce, даже если со стороны ФС ты удалил файлик, то со стороны схд - место осталось занято и ты можешь спокойно забить LUN на схд и она уйдёт в RO, а со стороны гостя все будет свободно
Название СХД в студию!) Заранее благодарю!
Ivan
неудаление данных - это может быть одним из требований безопасности. денег на схд конечно уйдет вагон.
Vladislav
неудаление данных - это может быть одним из требований безопасности. денег на схд конечно уйдет вагон.
Рофл в том, что эти данные невозможно достать
Vladislav
Даже если бы это было *фичей*
Ангелина был(а) забанен(а)! Причина: CAS-бан.
𝚜𝚎𝚗𝚜𝚎𝚖𝚊𝚍
Нас подслушивают :)
https://t.me/srv_admin/4450
Artem
Я вот недавно познакомился с одной отечественной схд, где Трим отсутствует как понятие
В итоге LUN становится writeonce, даже если со стороны ФС ты удалил файлик, то со стороны схд - место осталось занято и ты можешь спокойно забить LUN на схд и она уйдёт в RO, а со стороны гостя все будет свободно
Так лун же блочный? То есть, если оверпровижена нет, но всё работает?
Vladislav
Так лун же блочный? То есть, если оверпровижена нет, но всё работает?
?
Оверпровижена нет в любом случае, баум сам его осуществляет, ибо со стороны клиента файлов уже нет, а на схд место всё ещё выделено
Vladislav
Записал ты 100Г. Удалил их на клиенте. А на схд они остались
Artem
?
Оверпровижена нет в любом случае, баум сам его осуществляет, ибо со стороны клиента файлов уже нет, а на схд место всё ещё выделено
Я к тому, что взял ты эту схд на условно 10Т, сделал 10 виртуалок на 1Т, и всё шуршит? И пох на трим
Vladislav
Я к тому, что взял ты эту схд на условно 10Т, сделал 10 виртуалок на 1Т, и всё шуршит? И пох на трим
Если ты никогда ничего не пишешь - то да
Vladislav
Логи, временные файлы и т.д.
Artem
^
Да и пох. Зачем мне на СХД увидеть эти 100Г фри? Она щитает, что у ней 10 терабайтников и все щастливы.
Vladislav
Vladislav
И на них по мнению схд есть данные
Vladislav
И ты не можешь записать поверх них ничего
Artem
И ты не можешь записать поверх них ничего
Но та виртуалка, чьи данные там были - разве тоже ничего не сможет туда записать?
Vladislav
Но та виртуалка, чьи данные там были - разве тоже ничего не сможет туда записать?
Она попытается и Баум повиснет намертво
Vladislav
Весь лун уйдет в RO и в логах будет 100% заполненность и лун не удалить (если у тебя всё размечено)
Artem
Она попытается и Баум повиснет намертво
А схуяли? Она же просто перезаписывает свои данные поверх старого какого-то мусора.
Vladislav
А схуяли? Она же просто перезаписывает свои данные поверх старого какого-то мусора.
В том и дело, этого мусора нет
Vladislav
Схд просто не понимает что такое мусор (Трим)
Vladislav
Для неё это реальные данные, поверх которых нельзя писать
А на клиенте всё удалено
Artem
Схд щитает, что блоки 10-20 на этом луне заняты. Ос виртуалки щитает что свободны. И пишет туда что-то другое. Схд-то почему поверх переписать не может?
Vladislav
Схд щитает, что блоки 10-20 на этом луне заняты. Ос виртуалки щитает что свободны. И пишет туда что-то другое. Схд-то почему поверх переписать не может?
Потому что она пытается писать это в новые блоки
Vladislav
У тебя адресация не 1 к 1
Vladislav
И на дисках самой схд тоже
Artem
Потому что она пытается писать это в новые блоки
А почему она это делает? Там снапшоты сверху висят или еще что?
Vladislav
А почему она это делает? Там снапшоты сверху висят или еще что?
Ты меня спрашиваешь? Спроси разработчиков
Vladislav
Почему их схд падает в RO при попытках записи даже если на госте всё чисто
Artem
Ты меня спрашиваешь? Спроси разработчиков
То есть ты хочешь сказать, что если я десять раз перезапишу что-то в блоки 10-20, то на схд будет занято 100 блоков?
Vladislav
Artem
Э-э. Но ведь при простой перезаписи в файл никто (коров не считаем, считаем ext4) предварительно никакой трим не делает.
Fedor
Лучше в сдс флуд с такими темами.
Богданa Васильевa был(а) забанен(а)! Причина: CAS-бан.
Юлия был(а) забанен(а)! Причина: CAS-бан.
𝓐𝓭𝓮𝓵𝓲𝓷𝓪 был(а) забанен(а)! Причина: CAS-бан.
Александр Кузнецов был(а) забанен(а)! Причина: CAS-бан.
Nikita
Добрый вечер!
В чем может быть проблема с правами, если при отправке снапшота получаю:
"cannot send <snapshot_name>: Permission denied"?
на весь пул стоят права:
Local+Descendent permissions:
user backup send
Соседние датасеты отправляются без проблем, и старые, и новые снапшоты. Пробовал напрямую на этот датасет права дублировать, не помогает...
zfs-2.2.6-FreeBSD
zfs-kmod-2.2.6-FreeBSD
В данный момент свёл эксперименты к отправке снапшота в соседний датасет командой:
zfs send tank/dataset@snapname | zfs recv -F tank/temp
Станислав
ага
Отправляете всё ещё в соседний датасет? Если да, то у юзера есть права на создание/монтирование датасета?
Nikita
Отправляете всё ещё в соседний датасет? Если да, то у юзера есть права на создание/монтирование датасета?
да, снапшоты с других датасетов в целевой успешно отправляются.
Станислав
да, снапшоты с других датасетов в целевой успешно отправляются.
Покажите права конкретно на датасет, который пытаетесь сендом отправить
Nikita
Покажите права конкретно на датасет, который пытаетесь сендом отправить
---- Permissions on tank/dataset ------------------
Local+Descendent permissions:
user backup hold
---- Permissions on tank --------------------------
Local+Descendent permissions:
user backup send
Nikita
Покажите права конкретно на датасет, который пытаетесь сендом отправить
а из под рута отправляется. сейчас только протестировал.
Станислав
да, снапшоты с других датасетов в целевой успешно отправляются.
А какая права у других датасетов, которые отправляются?
Nikita
А какая права у других датасетов, которые отправляются?
Такие же, но без "hold", который по вашему совету сюда добавил. Т.е только "send" для этого пользователя, унаследованный от пула.