Из доков трунас - на 1 гиг arc выходит 50 гиг l2🤔 Можно оптан докинуть на 300, пожертвовать 6гигами рамы 🤔

Из доков трунас - на 1 гиг arc выходит 50 гиг l2🤔 Можно оптан докинуть на 300, пожертвовать 6гигами рамы 🤔

где там ? пруф кинь почитать

где там ? пруф кинь почитать

где там ? пруф кинь почитать

https://www.truenas.com/docs/core/gettingstarted/corehardwareguide/#storage-solutions

доброго дня всем. Подскажите, собрал корневой пул на by-id, но после перезагрузки он снова стал на разделах. Как приучить пул всегда собираться по айдишникам?

доброго дня всем. Подскажите, собрал корневой пул на by-id, но после перезагрузки он снова стал на разделах. Как приучить пул всегда собираться по айдишникам?

Примечание: линуксовый ЗФС в любом случае не использует целый диск, и таки бьёт на разделы, независимо от того, что там ему подсунуть, by-id или /dev/sd* Хотя при этом в zpool status показывает просто диски, не разделы Но по существу вопроса: ну, странное🤔 А как создавал пул? Покажи команду

Примечание: линуксовый ЗФС в любом случае не использует целый диск, и таки бьёт на разделы, независимо от того, что там ему подсунуть, by-id или /dev/sd* Хотя при этом в zpool status показывает просто диски, не разделы Но по существу вопроса: ну, странное🤔 А как создавал пул? Покажи команду

zpool create -f -o ashift=12 -o autotrim=on -O compression=lz4 -O normalization=formD -O acltype=posixacl -O xattr=sa -O dnodesize=auto -O atime=off -O canmount=noauto -O mountpoint=/ -R /mnt ${POOL} /dev/disk/by-id/ata-VBOX_HARDDISK_VBc133fc66-02b754f2-part3

затем делаю zpool attach $pool /dev/disk/by-id/ata-VBOX_HARDDISK_VBc133fc66-02b754f2-part3 ... к нему второй раздел тоже по id

и zpool status отображает оба vdev по id до первой перезагрузки, после неё становятся sda3 и sdb3

Может инфа о пуле сидит на самих дисках, а как уж они отображаются - дело десятое?

Тоже склоняюсь к этому, просто на FreeBSD всегда отображается так как собрано, а здесь не так

и zpool status отображает оба vdev по id до первой перезагрузки, после неё становятся sda3 и sdb3

если что - для зфс не важен порядок и имя дисков

доброго дня всем. Подскажите, собрал корневой пул на by-id, но после перезагрузки он снова стал на разделах. Как приучить пул всегда собираться по айдишникам?

если речь про linux - то после первого ребута из live-cd система сделает zpool import, и тут оно по дефолту может юзать те самые дефолтные пути. если это домашняя система, то можно просто забить

есть NAS, внутри ZFS - надо мигрировать с одного пула на другой по сети. Но есть сложность - инфы много и работают люди. Пробовал мигрировать снепшотами инкрементно. Вродебы все прошло без ошибок - но на след день обнаружил что есть проблемы - некоторые папки и файлы стали недоступны. Такой вопрос - как правильно поступить при миграции, мож чего упустил ?

есть NAS, внутри ZFS - надо мигрировать с одного пула на другой по сети. Но есть сложность - инфы много и работают люди. Пробовал мигрировать снепшотами инкрементно. Вродебы все прошло без ошибок - но на след день обнаружил что есть проблемы - некоторые папки и файлы стали недоступны. Такой вопрос - как правильно поступить при миграции, мож чего упустил ?

ты бы хоть показал как делал)

делал так На боевом сервере: делал рекурсивный снэпшот пула с дочерними файловыми системами. zfs snapshot -r main-pool@snapshot далее На новом сервере: создал пул с таким же названием На боевом сервере: zfs send -R main-pool@snap | ssh 172.20.10.11 zfs receive -vFd main-pool копировалось сутки далее на боевом отключил все пользователей сделал снепшот zfs snapshot -r main-pool@snap1 zfs send -R -i main-pool@snap main-pool@snap1 | ssh 172.20.10.11 zfs receive -vFd main-pool

после того как пропали некоторые файлы - полез в консоль - из консоли эти файлы видно. Попробовал переместить эти файлы в другую папку и новый сервер тупо умер, все повесилось. принудительно ребутнул - при загрузке висит Load NOP GEOM class. Попробовал откинуть диск - загрузился в вебморду nas очистил конфиг. выключил снова подкинул диск. Загрузился - попробовал из вебморды "импорт конфигурации из zfs дисков". Пул подтянулся - но проблемы те же. Я так понимаю что этот пул уже корявый и надо делать все заново. Был ли у кого опыт такой миграции ?

есть NAS, внутри ZFS - надо мигрировать с одного пула на другой по сети. Но есть сложность - инфы много и работают люди. Пробовал мигрировать снепшотами инкрементно. Вродебы все прошло без ошибок - но на след день обнаружил что есть проблемы - некоторые папки и файлы стали недоступны. Такой вопрос - как правильно поступить при миграции, мож чего упустил ?

Сервис останавливать который использует передаваемый снапшотом датасет

Чтоб не было открытых файлов

самбу ?

Видимо да, если больше ничего нет

была самба открыта и работали люди во время передачи

только самба

🤨 А так чтоб не останавливать не работает ? у меня люди воркают нон стоп

есть NAS, внутри ZFS - надо мигрировать с одного пула на другой по сети. Но есть сложность - инфы много и работают люди. Пробовал мигрировать снепшотами инкрементно. Вродебы все прошло без ошибок - но на след день обнаружил что есть проблемы - некоторые папки и файлы стали недоступны. Такой вопрос - как правильно поступить при миграции, мож чего упустил ?

Работают круглосуточно?

ну да

удаленщики по миру раскиданы

удаленщики по миру раскиданы

И даже в латинской и просто Америке?

разные часовые пояса - кто спит кто работает

И даже в латинской и просто Америке?

если это каким то образом влияет то расскажите каким ?

если это каким то образом влияет то расскажите каким ?

Если у вас сотрудники только в евразии то должно быть часов 5 (или больше) когда никто не работают

есть сотрудники и в Штатах

вопрос не в этом

можно ли не останавливая сервис - мигрировать ?

Закажите простой на 5 минут хотя бы

Перед началом работ передайте снапшот, и сразу после остановки самбы ещё раз

можно ли не останавливая сервис - мигрировать ?

можно, ведь реплицируется снапшот просто данные с момента снапшота понятное дело пропадают. мне кажется что репликацию ты верно выполнил и проблема возникла не на уровне зфс, а на уровне выше, то есть приложения, что-то с правами что ли. Они как организованы? ACL?

Перед началом работ передайте снапшот, и сразу после остановки самбы ещё раз

снапшот делать с отключенной самбой ?

снапшот делать с отключенной самбой ?

Да

Первый не важно по идее как. а вот второй -- да

Первый типа чтоб передать основной массив данных паралельно с работающей самбой, а второй передаст только изменения за время от первого

Первый не важно по идее как. а вот второй -- да

Второй делал с работающей самбой

Наверное в этом и дело

Второй делал с работающей самбой

Тогда он может быть неконсистентным с т.з. самбы или ее клиентов

Век живи, век учись

Спасибо!

Кстати возможно это идея для девелоперов OpenZFS -- онлайн слать снапшот-like данные на другой конец. Чтоб время миграции было наиминимальнейшым.

А самба не позволяет переводить данные в RO?

Тогда он может быть неконсистентным с т.з. самбы или ее клиентов

Попробую еще раз с отключенными службами, по результату напишу

Кстати возможно это идея для девелоперов OpenZFS -- онлайн слать снапшот-like данные на другой конец. Чтоб время миграции было наиминимальнейшым.

Это как с живой миграцией виртуалок получится, но если хранилище активно используют - никогда не закончится

Это как с живой миграцией виртуалок получится, но если хранилище активно используют - никогда не закончится

ну раз опензфс еще и само шарит нфс или самбу -- то и переехать наверное сможет с одного хоста на другой атомарно )

а если серьезно -- это снизит даунтайм на порядок-два

Ага, а айпишник само поменяет ;)

Ага, а айпишник само поменяет ;)

vrrp

тоже не проблема на самом деле

Про сисколлы не забывайте

Встанет так, что не отлипнет до ребута в ряде случаев

И не только

vrrp

Оно тут причём? Вот подцепился я к шаре по ip, и что при переезде произойти должно?

Оно тут причём? Вот подцепился я к шаре по ip, и что при переезде произойти должно?

безшовно это не произойдёт точно, так как даже в случае vrrp разрыв конекта будет

Так о чем и речь - даунтайм неизбежен в такой постановке задачи

но в случае если софт умеет сам переподключиться, то всё норм

Так о чем и речь - даунтайм неизбежен в такой постановке задачи

опять же всё зависит от желания

но в случае если софт умеет сам переподключиться, то всё норм

На старый айпи? Удачи с данными

На старый айпи? Удачи с данными

конечно на старый, vrrp читай что это

ip переезжает после переезда данных

Владимир, это не сайтики, тут другие процессы. Пока не будет нормальных транзакций между всеми хостами, будешь терять консистентность

я не занимался такими вещами с синолоджи конкретно, но откровенно не понимаю в чём тут проблема

что называется была бы необходимость

ip переезжает после переезда данных

Когда данные с одного nas на другой переезжают? Ну...

nvme-only сервер: Data prefetch efficiency: 3.2 % 476.9M сервер для бекапов с крутящимися дисками: Data prefetch efficiency: 14.6 % 2.3M Я правильно понимаю что префетч при такой картине надо просто выключить и не тратить на него ресурсы?

nvme-only сервер: Data prefetch efficiency: 3.2 % 476.9M сервер для бекапов с крутящимися дисками: Data prefetch efficiency: 14.6 % 2.3M Я правильно понимаю что префетч при такой картине надо просто выключить и не тратить на него ресурсы?

Как можно увидеть эту статистику?

Как можно увидеть эту статистику?

arc_summary

Про сисколлы не забывайте

там в целом непонятый мной кейс: самба-шара данных с зфс-датасета, судя по всему не сильно жирного. Всё просто-понятно. Но по итогу миграция завершилась жесткими траблами, потеряны данные🙀, всё повисло и пул отвалился. Как так умудриться можно)

Если миграция наживую снапшотами, то это ожидаемо, увы

Если миграция наживую снапшотами, то это ожидаемо, увы

так а почему?.. Я делал что-то подобное, всё ровно прошло подобрал время когда нагрузка минимальна потушил приложение релицировал данные поднял приложение профит

Если миграция наживую снапшотами, то это ожидаемо, увы

не пойму просто где в таком сценарии можно огрести

Например, дисковый кеш на любом из этапов

Надо смотреть

Эту штуку возможно пронести только на руках, я думаю. И то, кажется, не все продукты на пути готовы дать для этого ручки