кмк, репликация тут лишняя с одним-то снапшотом, и просто стрим прилетит без проблем

с -R, вы тянете всё что выше тоже

само собой

но там 1 снапшот всего

само собой

а перед снапшотом? вы же и основной zvol тоже заберёте

нет

само собой

у вас и там и там raidz?

zvol при реплике не тащится

перепутал, zpool status покажите ещё

и там и там mirror

и там и там mirror

zpool/pve/vm-1510-disk-0 used 227G -

а перед снапшотом? вы же и основной zvol тоже заберёте

реплика весь zvol/dataset тянет со снапшотами и параметры все, но к сожалению даже origin она не осилит

и там и там mirror

source # zpool status zpool pool: zpool state: ONLINE scan: scrub repaired 0B in 17h5m with 0 errors on Sun Apr 12 17:29:46 2020 config: NAME STATE READ WRITE CKSUM zpool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 sdg ONLINE 0 0 0 sdh ONLINE 0 0 0 errors: No known data errors

target # zpool status zpool pool: zpool state: ONLINE scan: scrub repaired 0B in 0h14m with 0 errors on Sun Apr 12 00:38:29 2020 config: NAME STATE READ WRITE CKSUM zpool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 sdc ONLINE 0 0 0 sdd ONLINE 0 0 0 errors: No known data errors

target # zpool status zpool pool: zpool state: ONLINE scan: scrub repaired 0B in 0h14m with 0 errors on Sun Apr 12 00:38:29 2020 config: NAME STATE READ WRITE CKSUM zpool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 sdc ONLINE 0 0 0 sdd ONLINE 0 0 0 errors: No known data errors

в общем ищите чем занято, на том zpool/pve/vm-1510-disk-0 used больше чем вы сказали

это snapshot такой почему-то

# zfs get all zpool/pve/vm-1510-disk-0@move NAME PROPERTY VALUE SOURCE zpool/pve/vm-1510-disk-0@move type snapshot - zpool/pve/vm-1510-disk-0@move creation Wed Apr 22 21:16 2020 - zpool/pve/vm-1510-disk-0@move used 0B - zpool/pve/vm-1510-disk-0@move referenced 107G - zpool/pve/vm-1510-disk-0@move compressratio 1.00x - zpool/pve/vm-1510-disk-0@move volsize 113G local zpool/pve/vm-1510-disk-0@move createtxg 25379644 - zpool/pve/vm-1510-disk-0@move guid 16906856019853911839 - zpool/pve/vm-1510-disk-0@move primarycache all default zpool/pve/vm-1510-disk-0@move secondarycache all default zpool/pve/vm-1510-disk-0@move defer_destroy off - zpool/pve/vm-1510-disk-0@move userrefs 0 - zpool/pve/vm-1510-disk-0@move mlslabel none default zpool/pve/vm-1510-disk-0@move refcompressratio 1.00x - zpool/pve/vm-1510-disk-0@move written 107G - zpool/pve/vm-1510-disk-0@move clones - zpool/pve/vm-1510-disk-0@move logicalreferenced 106G - zpool/pve/vm-1510-disk-0@move context none default zpool/pve/vm-1510-disk-0@move fscontext none default zpool/pve/vm-1510-disk-0@move defcontext none default zpool/pve/vm-1510-disk-0@move rootcontext none default

written 107G

а если отправить только снапшот без -R, то ошибка тоже проявляется?

запустил уже, часов через 4-5 узнаем =)

без -R нормально прилетело. спасибо

День добрый всем) у zfs есть планы по черепичной записи?

Что ты имеешь ввиду

Что ты имеешь ввиду

видимо вот это: https://habr.com/ru/post/497900/

Это понятно, а причем тут зфс

это физика записи жёстких дисков.

если уж опускаться на такой уровень - так как ZFS надо знать, что именно было записано и когда - она не любит NCQ.

Это понятно, а причем тут зфс

есть сведения о падении скорости серьезной, и тут вопрос - как выявить что у диска такая запись - как ускориться в этом случае

у дисков есть линейная скорость записи и время случайного доступа на чтение-запись. скорость работы зфс на медленных дисках, если отбросить кеши и журнал, зависит только от этого.

У меня хранилка на тошибах и как бы думал ее на ZFS перевести, теперь вот думаю...

у SMR вопрос скорее в надёжности.

у дисков есть линейная скорость записи и время случайного доступа на чтение-запись. скорость работы зфс на медленных дисках, если отбросить кеши и журнал, зависит только от этого.

Там кеши большие, деградация не сразу видна будет

случайным доступом проявится.

весь диск в кеш не положишь

а вообще странно всё это.

а вообще странно всё это.

более чем

есть сведения о падении скорости серьезной, и тут вопрос - как выявить что у диска такая запись - как ускориться в этом случае

выявлять сейчас только вручную, просадкой скорости после гигабайт 100-200 записи без остановки. Ещё у них может быть trim - явный показатель. А так боль)

День добрый всем) у zfs есть планы по черепичной записи?

Явных планов никто не называл, плюс недорогие smr не дадут собой управлять, никак не учтёшь это нормально сейчас

в общем не зависимо от ФС - smr лучше обходить стороной. А так smr работать то будут в zfs и сейчас)

вот так неприятно от таких их трюков стало, вот честно.

вот так неприятно от таких их трюков стало, вот честно.

переходить на ссд?)

зависит от задач :D

кстати, кто сколько иопс выживал из систем?

у меня всего лишь 0.25М получалось с ссд.

переходить на ссд?)

Если бы SATA SSD 2Tb были хотя бы по 100$ наверное бы взял вместо HDD )

переходить на ссд?)

у них тоже не всё так однозначно :) как ни странно, классические hdd самые предсказуемые

Если бы SATA SSD 2Tb были хотя бы по 100$ наверное бы взял вместо HDD )

через пару лет может так и окажется

но тогда и данных будет больше.

через пару лет может так и окажется

Да вот тоже думаю. Тогда вместо дисков дома и поставлю их) Потише хоть будет)

но тогда и данных будет больше.

Ну у меня плюс минус держится на одном значении

Еще вопрос, какие бесплатные или недорогие хранилки есть на zfs? freenes, nexenta что еще?

Debian)

у меня хранилки на проксмоксе, много проблем. Хочу уходить на nexenta и проксмокс.

Debian)

Все таки оптимизации нужны

И никто не сталкивался что при отвале диска зависает весь сервер? На 2х серверах так. У обоих adaptec правда, но мало ли в чем еще причина. Логи только смарт посрал и все дальше зависон и кнопкой

у меня хранилки на проксмоксе, много проблем. Хочу уходить на nexenta и проксмокс.

лол

лол

лол в текущей реализации или планах?

мне нужны мысли

за этим и пришел)

Все таки оптимизации нужны

какие оптимизации? код примерно одинаков везде, ZoL сейчас апстрим у openzfs , посмотрите просто как настраивать датасеты под нагрузку нужную и всё

хранилки - на 99% только веб интерфейс к zfs (которые на нём)

мне нужны мысли

проблема скорее всего с железом

проблема скорее всего с железом

независимое

единственное сходство adaptec raid и там HBA как настройка

замена на чистый hba уже в плане

какие оптимизации? код примерно одинаков везде, ZoL сейчас апстрим у openzfs , посмотрите просто как настраивать датасеты под нагрузку нужную и всё

что за датасет, где искать и почитать?

что за датасет, где искать и почитать?

Для начала - я тут немного вводных давал https://habr.com/ru/post/314506/ Не плохая дока тут http://open-zfs.org/wiki/System_Administration тюнинг тут http://open-zfs.org/wiki/Performance_tuning

Для начала - я тут немного вводных давал https://habr.com/ru/post/314506/ Не плохая дока тут http://open-zfs.org/wiki/System_Administration тюнинг тут http://open-zfs.org/wiki/Performance_tuning

может это в шапку закрепить ?

может это в шапку закрепить ?

Я не против :)

хранилки - на 99% только веб интерфейс к zfs (которые на нём)

Вопрос же в параметрах ядра, патчах, в преднастройках параметров (не только zfs, но и других сервисов аля nfs, настроек системы и т/д/)

Message from Олег Б deleted. Reason: external link (?)

удаляете линки

У меня в чем проблема-то сейчас? на прксмоксе ZFS+NFS переодически крашится fs у виртуалок в т/ч на локал диске. Никак не найду причину, отсюда и желание сделать отдельную хранилку и вопрос на чем ее делать. SSD уже есть. Платформа на подходе, вопрос что ставить

У меня в чем проблема-то сейчас? на прксмоксе ZFS+NFS переодически крашится fs у виртуалок в т/ч на локал диске. Никак не найду причину, отсюда и желание сделать отдельную хранилку и вопрос на чем ее делать. SSD уже есть. Платформа на подходе, вопрос что ставить

как крешится?

У меня в чем проблема-то сейчас? на прксмоксе ZFS+NFS переодически крашится fs у виртуалок в т/ч на локал диске. Никак не найду причину, отсюда и желание сделать отдельную хранилку и вопрос на чем ее делать. SSD уже есть. Платформа на подходе, вопрос что ставить

креш фс обычно говорит о том, что данные на запись где-то оседают и не сразу пишутся на диск.

как крешится?

1й симптом потеря разметки диска 2й симптом система в RO с необходимостью FSCK с фиксами

У меня в чем проблема-то сейчас? на прксмоксе ZFS+NFS переодически крашится fs у виртуалок в т/ч на локал диске. Никак не найду причину, отсюда и желание сделать отдельную хранилку и вопрос на чем ее делать. SSD уже есть. Платформа на подходе, вопрос что ставить

первоначально вы писали что крашится на тех ВМ, которые по nfs подключены. Теперь и локально хранимые на zfs тоже?

первоначально вы писали что крашится на тех ВМ, которые по nfs подключены. Теперь и локально хранимые на zfs тоже?

Обнаружено на одной локальной

1й симптом потеря разметки диска 2й симптом система в RO с необходимостью FSCK с фиксами

а вы случайно ничего себе не "тюнили"?)

например где-то write-back включали :)