это не перенос с датасета (контейнер) в zvol(виртуалка)? или я где-то ошибся?

я же уточнял, где находится датасет и zvol, если на одной машине то зачем rsync? просто cp -R /путь_к_датасету/файло_нужное_перенести /путь_к_примонтированному_разделу_изнутри_zvol/куда_положить_нужное_файло, хотя можно и рсинком локально сделать

Rsync умеет: Возобновлять процесс Показывать прогресс Повторять отправку перед фейлом И т.д.

cp подходит когда у Вас 2-5 файлов

Но не сотни

я же уточнял, где находится датасет и zvol, если на одной машине то зачем rsync? просто cp -R /путь_к_датасету/файло_нужное_перенести /путь_к_примонтированному_разделу_изнутри_zvol/куда_положить_нужное_файло, хотя можно и рсинком локально сделать

Но у меня по разным гипервизорам ) Про монтирование zvol и cp -R я бы и сам догадался, хотя опять же делал бы через rsync, так надежнее )

cp подходит когда у Вас 2-5 файлов

это все ньюансы, rsync такой же инструмент как cp, можно еще найти таких же инструментов, я описал простейший способ, но если вам имея локальный датасет и zvol нравится долбиться в сеть, то ну удачи

это все ньюансы, rsync такой же инструмент как cp, можно еще найти таких же инструментов, я описал простейший способ, но если вам имея локальный датасет и zvol нравится долбиться в сеть, то ну удачи

Вы описали два одинаковых варианта с точки зрения используемых инструментов

Но у меня по разным гипервизорам ) Про монтирование zvol и cp -R я бы и сам догадался, хотя опять же делал бы через rsync, так надежнее )

поэтому я Вам там написал - если по сети - rsync, если локально то вот такой вот способ, Вы же не написали точные условия задачи, но при этом ишак почему то я

это все ньюансы, rsync такой же инструмент как cp, можно еще найти таких же инструментов, я описал простейший способ, но если вам имея локальный датасет и zvol нравится долбиться в сеть, то ну удачи

Опять не понял, чтобы создать локальный zvol куда будут скопированы имеющиеся данные dataset-а, это во-первых нужно чтобы было еще столько же места сколько сейчас занятом dataset-om во-вторых, нужно чтобы zvol располагался на разных с dataset-om дисках, иначе это будет тормозить жестче чем по сети ))

Вы описали два одинаковых варианта с точки зрения используемых инструментов

Повторю коллега, Вы вольны выбрать инструмент копирования сами, но использования инструмента будет разным, ибо копировать rsync-ом по сети из контейнера в виртуалку это одно, а гнать через ОЗУ с одного примонтированного раздела в другой это разные суть вещи, пусть даже вы будете и то и другое делать rsync-ом. Но инструменты то бывают разные. Если я возьму не rsync то что? Способ резко поменялся?

Повторю коллега, Вы вольны выбрать инструмент копирования сами, но использования инструмента будет разным, ибо копировать rsync-ом по сети из контейнера в виртуалку это одно, а гнать через ОЗУ с одного примонтированного раздела в другой это разные суть вещи, пусть даже вы будете и то и другое делать rsync-ом. Но инструменты то бывают разные. Если я возьму не rsync то что? Способ резко поменялся?

........ Пожалуйста, ознакомьтесь с маном по cp и rsync

Более того, Вы начали отвечать на вопрос, который не спрашивали

Вы отвечаете на вопрос "Как оптимально перегнать данные через утилиту файлового копирования с zfs на zvol?"

Что имеет примерно никакого отношения к тому, что спрашивал топик стартер

Опять не понял, чтобы создать локальный zvol куда будут скопированы имеющиеся данные dataset-а, это во-первых нужно чтобы было еще столько же места сколько сейчас занятом dataset-om во-вторых, нужно чтобы zvol располагался на разных с dataset-om дисках, иначе это будет тормозить жестче чем по сети ))

Для Вас цитирую исходное сообщение: "Смотря где у вас физически "лежат" zvol и dataset и что понаделано внутри zvol. Если это разные узлы связанные по сети - то rsync, если все локально и знаете что внутри zvol, монтируете разделы и сливаете данные прямо в датасет." Ключевые фразы: "смотря где лежат", "если разные узлы ... по сети", "если все локально". Читаете до просветления.

........ Пожалуйста, ознакомьтесь с маном по cp и rsync

спасибо, хорошего вечера ...

Для Вас цитирую исходное сообщение: "Смотря где у вас физически "лежат" zvol и dataset и что понаделано внутри zvol. Если это разные узлы связанные по сети - то rsync, если все локально и знаете что внутри zvol, монтируете разделы и сливаете данные прямо в датасет." Ключевые фразы: "смотря где лежат", "если разные узлы ... по сети", "если все локально". Читаете до просветления.

Так у меня в вопросе написано, что отдаётся по NFS.

спасибо, хорошего вечера ...

У меня нет других реакций. Закончили клоунаду

Так у меня в вопросе написано, что отдаётся по NFS.

это у вас не в вопросе, а в вариантах выбора которые Вы сами себе напридумывали, вы написали что вы думаете сделать "внутри самой виртуалки предварительно отдав ей zvol при этом подключив dataset по nfs", я ж не эстрасенс угадывать подключен ли ваш датасет изначально так или вы пытаясь решить проблему и вешаете его по nfs зачем то, а учитывая что Вы изначально предлагали отправить снапшот датасета в zvol, то ну я хз как этот вариант расценивать

У меня нет других реакций. Закончили клоунаду

У меня увы тоже, Вы меня искренне удивили коллега ...

У меня увы тоже, Вы меня искренне удивили коллега ...

Вот и славно, если Вы закончили паясничать

это у вас не в вопросе, а в вариантах выбора которые Вы сами себе напридумывали, вы написали что вы думаете сделать "внутри самой виртуалки предварительно отдав ей zvol при этом подключив dataset по nfs", я ж не эстрасенс угадывать подключен ли ваш датасет изначально так или вы пытаясь решить проблему и вешаете его по nfs зачем то, а учитывая что Вы изначально предлагали отправить снапшот датасета в zvol, то ну я хз как этот вариант расценивать

ну вот чтобы вы сами себе не напридумывали (Я вам дал два рабочих способа. Что Вам еще надо?), что вы действительно якобы дали мне ответ, прежде чем его давать, нужно было задать уточняющие вопросы, хотя вот народ меня понял.., а вы посчитали, что дали аж два рабочих способа и даже скинули гифку, где вы или кто-то там долбиться об стенку. Действительно надо заканчивать этот цирк.

Контроллер перегревпется или отвал чипа или ещё что-то с контролоером. У меня вылечилось заменой сервера :-)

Все это пробовали, к сожалению. Я уже писал в посте. У нас стоит prom, мы пишем метрики влючая температуру hba. Она рержится до 68 градусов, это для таких hba - норма. Даже разнесли полки на разные hba. Сервер меняли. Самый простой способ уронить, это find -ls на том, и сразу через пару минут начинают отваливаться диски. Файлов там много мелких(несколько сотен млн), find никогда до конца не доходит. После ребута, или tank clear если в degraded, снова online и все работает. Scrub кстати завершается без ошибок. Если в этот момент нет рабочей нагрузки.

Конечно, задуман эксперимент. Собрать новый пул без зеркал, и сделать туда экспорт тома. И посмотреть, как будет там. Но такое поведение zfs вижу впервые. Судя по данным, на 2.1.4 такого не было, а как перешли на 2.1.5 начались проблемы.

Внимание, вопрос ;) Есть небольшой массив из 36 дисков WUH721818AL5204 SAS. Пробег дисков 5 тыс часов в среднем. Ubuntu 22.04, zfs 2.1.5 . Подключено через 2 полки 3par по sas3 одним линком параллельно к HBA LSI 9400. Регулярно отваливаются рандомные диски при нагрузке на чтение. Вылетает от 1 до 5 дисков. Вплоть до состояния suspend. Есть идеи, что может быть ? * Кабель меняли. * HBA меняли. * HBA не перегревается. * Ошибки на дисках не растут. * Полку меняли. * Вылетают в обех полках. * В линию не упирается ( подключали макс 4 диска в полку), не помогло. * Диски меняли.

Тогда просто обновитесь

На 2.1.13

https://openzfs.github.io/openzfs-docs/Developer%20Resources/Custom%20Packages.html#dkms-1

Ну, хотелось-бы точно понять, что проблема у 2.1.5, она такая вот, и нужно вообще везде обновляться. У нас везде одинаковая версия, и обычно просто так ее не меняем. Мы пока 2.1.5 приняли как стабильную

А так, можно попробовать на этом инстансе обновиться после всех остальных экспериментов , да.

Я все ещё сказал, что проблема аппаратная, но стоит исключить софт в первую очередь

Как правило, диски в dmesg c такой ошибкой "[151623.965756] zio pool=tank1079 vdev=/dev/sdj error=5 type=1 offset=1986761621504 size=135168 flags=40080c80 [151623.966462] sd 1:0:9:0: attempting task abort!scmd(0x00000000893097c2), outstanding for 31884 ms & timeout 30000 ms [151623.966467] sd 1:0:9:0: [sdj] tag#6022 CDB: Read(16) 88 00 00 00 00 06 87 e7 a1 68 00 00 02 58 00 00 [151623.966470] scsi target1:0:9: handle(0x0013), sas_address(0x5000cca2b677f5e1), phy(10) [151623.966476] scsi target1:0:9: enclosure logical id(0x50030480018a1b3f), slot(10) [151623.966480] scsi target1:0:9: enclosure level(0x0001), connector name( ) [151623.970690] sd 1:0:9:0: task abort: SUCCESS scmd(0x00000000893097c2) [151623.970705] sd 1:0:9:0: [sdj] tag#6022 FAILED Result: hostbyte=DID_TIME_OUT driverbyte=DRIVER_OK cmd_age=31s [151623.970710] sd 1:0:9:0: [sdj] tag#6022 CDB: Read(16) 88 00 00 00 00 06 87 e7 a1 68 00 00 02 58 00 00 [151623.970712] blk_update_request: I/O error, dev sdj, sector 28049908072 op 0x0:(READ) flags 0x700 phys_seg 25 prio class 0 [151623.970807] zio pool=tank1079 vdev=/dev/sdj error=5 type=1 offset=14361552932864 size=307200 flags=40080c80 "

Проблема однозначно аппаратная. Ровно такую картину наблюдал на сервере Dell с прошитым деловским контроллером в hba (кажется 710 mini название), решилось только заменой контролера на 310. Могу ошибаться в точных названиях контроллеров.

Подскажите, а можно в zfs в raidz включить игнорирование ошибок чтения? На время слития данных?

failmode=continue ?

Приветствую, отказ двух дисков в RAIDZ2 это понятное дело, а что если в массиве куча битых секторов по разным дискам начнёт появляться, может получится так что, дисков отказавших не будет, но какие то данные потеряются?

история скорее не про отказ дисков, а отказ копий данных. если битые сектора затронут соответствующее количество копий, эти данные будут потеряны.

история скорее не про отказ дисков, а отказ копий данных. если битые сектора затронут соответствующее количество копий, эти данные будут потеряны.

Там же не копии, там хэши блоков.

история скорее не про отказ дисков, а отказ копий данных. если битые сектора затронут соответствующее количество копий, эти данные будут потеряны.

Т.е. сугубо надеется на скруб, и на везение?

Там же не копии, там хэши блоков.

Если у Вас в raidz2 блок данных разбитый на 7 дисков умрёт на 3 из них - да, Вы потеряете эти данные

Как и в абсолютно любой реализации рейда

Потому что рейд НЕ бэкап

Если у Вас в raidz2 блок данных разбитый на 7 дисков умрёт на 3 из них - да, Вы потеряете эти данные

Т.е. по факту смерть блока на более двухтносителях равно потеря, а бэды скабом вычисляются и нормально обрабатываются?

Скажем так, у меня вот тока что пул raidz с дисками бу, проживших 65000 часов, буквально через 2 недели, сказал афидарзейн. Изза большого количества ошибок записи и чтения, но я уверен что даже в этом случае не было выпадания секторов более чем на одном диске.

Приветствую, отказ двух дисков в RAIDZ2 это понятное дело, а что если в массиве куча битых секторов по разным дискам начнёт появляться, может получится так что, дисков отказавших не будет, но какие то данные потеряются?

Куча битых секторов дадут i/o ерроры - звс начнет вопить что ей плохо. Скраб - хорошо, но бэкапицо надо)

Скажем так, у меня вот тока что пул raidz с дисками бу, проживших 65000 часов, буквально через 2 недели, сказал афидарзейн. Изза большого количества ошибок записи и чтения, но я уверен что даже в этом случае не было выпадания секторов более чем на одном диске.

Откуда ошибки то? Там бэды?

Куча битых секторов дадут i/o ерроры - звс начнет вопить что ей плохо. Скраб - хорошо, но бэкапицо надо)

Это и так файлопомойка для бэкапов.

Откуда ошибки то? Там бэды?

не совсем: ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x000f 081 063 044 Pre-fail Always - 124131516 3 Spin_Up_Time 0x0003 090 090 000 Pre-fail Always - 0 4 Start_Stop_Count 0x0032 100 100 020 Old_age Always - 66 5 Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 0 7 Seek_Error_Rate 0x000f 082 060 030 Pre-fail Always - 188913461 9 Power_On_Hours 0x0032 028 028 000 Old_age Always - 63706 10 Spin_Retry_Count 0x0013 100 100 097 Pre-fail Always - 0 12 Power_Cycle_Count 0x0032 100 100 020 Old_age Always - 66 184 End-to-End_Error 0x0032 100 100 099 Old_age Always - 0 187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0 188 Command_Timeout 0x0032 100 100 000 Old_age Always - 0 189 High_Fly_Writes 0x003a 100 100 000 Old_age Always - 0 190 Airflow_Temperature_Cel 0x0022 072 054 045 Old_age Always - 28 (Min/Max 26/34) 191 G-Sense_Error_Rate 0x0032 100 100 000 Old_age Always - 0 192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 64 193 Load_Cycle_Count 0x0032 099 099 000 Old_age Always - 2692 194 Temperature_Celsius 0x0022 028 046 000 Old_age Always - 28 (0 17 0 0 0) 195 Hardware_ECC_Recovered 0x001a 063 012 000 Old_age Always - 124131516 197 Current_Pending_Sector 0x0012 100 100 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0010 100 100 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0

Я бы советовал этот диск уже ближе к помойке

ну вот, а я не смотрел долго в смарт, работает ж в рейде, теперь то они в помойке

некоторые

/report

Это и так файлопомойка для бэкапов.

Файлопомойка и бэкап в одном предложении многое говорят о нужности тех бэкапов. :)

ну вот, а я не смотрел долго в смарт, работает ж в рейде, теперь то они в помойке

смартд умеет оповещать о траблах мылом. А если чутка расстараться — то и в мессенджера какого. Или триггер спускать в мониторинге.

если диск выпадает то прекрасно долетает и из проксмокса письмо. Но тут другой случай, даже lsi не замечает подвоха

пусть это будет чудесный опыт как делать не надо. но можно

Файлопомойка и бэкап в одном предложении многое говорят о нужности тех бэкапов. :)

В бэкап сторадж обычно уходят старые диски с большим пробегом.

если диск выпадает то прекрасно долетает и из проксмокса письмо. Но тут другой случай, даже lsi не замечает подвоха

А зфс замечает? Или просто смартктл? Там скриптования — даже под пивом нефиг делать. :)

В бэкап сторадж обычно уходят старые диски с большим пробегом.

Почему сразу на магнитики не разобрать?.. 😄

А зфс замечает? Или просто смартктл? Там скриптования — даже под пивом нефиг делать. :)

а zfs поработало недельку, а потом развалилось в хлам

Почему сразу на магнитики не разобрать?.. 😄

Дорого нынче на магнитики диски по 30К разбирать...

а zfs поработало недельку, а потом развалилось в хлам

А как же хваленая верификация записанного?

ну вот она и сработала.

ну вот она и сработала.

Что массив развалился?

да, ZFS не смогла выдержать свой же SLA и пометила пулл как деградет

да, ZFS не смогла выдержать свой же SLA и пометила пулл как деградет

Дак она должна проверять сразу же что записала в блок?

в пуле в послелдний раз на диске было 411 ошибок записи

Будем исходить из того что ZFS не будет работать на всяком треше что её подсовываешь. гипотетически может, фактически нет

Заказал значит дешевые диски на озоне, а приехали Б/У с 37К часов и поверхностью не ахти, чет теперь сыкотно делать бекап сторадж на таком)

вместо ленты норм

Будем исходить из того что ZFS не будет работать на всяком треше что её подсовываешь. гипотетически может, фактически нет

Многие как раз решают спихнуть свои страхи за рейд/лвм/смарт/и-т-п на волшебную зфс, не пытаясь разобраться, как это всё кушать и где стрельнет. :)

Многие как раз решают спихнуть свои страхи за рейд/лвм/смарт/и-т-п на волшебную зфс, не пытаясь разобраться, как это всё кушать и где стрельнет. :)

Да это везде в ИТ: хочешь стильно модно молодежно x3 ресурсов или дорого. То что бесплатно обычно работает как бесплатно

/report

тому же куберу чтобы красиво работать надо красивую инфраструктуру.

Да это везде в ИТ: хочешь стильно модно молодежно x3 ресурсов или дорого. То что бесплатно обычно работает как бесплатно

Я древний, ветхий, старикашный. Мне не угнаться. Но новое-годное всегда с энтузиазмом осваиваю. :)

Я древний, ветхий, старикашный. Мне не угнаться. Но новое-годное всегда с энтузиазмом осваиваю. :)

... но всегда можно наткнуться на "...зумеры изобрели рейд1"

... но всегда можно наткнуться на "...зумеры изобрели рейд1"

Лишь бы не рейд5, против которого ещё наши бумеры придумали "ааргх" или типа того — "движ против любого воплощения 5-го рейда". :) Я даже прочувствовал эту хрень на себе, когда в новой конторе восстанавливал рассыпавшийся пятый рейд... Бр-р-р!..

Вспомнил: A(ssotiation) A(gainst) A(ny) R(AID) 5 F(jundation) — A-A-ARGF! 😆

Лишь бы не рейд5, против которого ещё наши бумеры придумали "ааргх" или типа того — "движ против любого воплощения 5-го рейда". :) Я даже прочувствовал эту хрень на себе, когда в новой конторе восстанавливал рассыпавшийся пятый рейд... Бр-р-р!..

ну вот: а что выбирать: рейд6 медленно, рейд1 жалко.... буквально вчера метался на PBS

выбрал рейд1

Рейд10 во все времена рулит — отчётливый баланс меж скоростью и надёжностью.

Рейд10 во все времена рулит — отчётливый баланс меж скоростью и надёжностью.

Надёжность в 1 диск ?🤔