Александр
Что вполне хватает
И гарантирует от того, что БАХ и нету файловой системы вообще
Бу...
И гарантирует от того, что БАХ и нету файловой системы вообще
Скорее уменьшает вероятность. Гарантий нет.
George
Ну хотя бы дерево каталогов не развалится.
эт да, просто именно данные вообще запросто привести к состоянию каши.
George
* если у вас не zfs)
George
* или не включено журналирование данных, но это минимум х2 просадка на запись
Бу...
эт да, просто именно данные вообще запросто привести к состоянию каши.
Записываемые в данный момент. Это важный нюанс.
Ivan
Доброй ночи. Подскажите hba контроллер pci e. Мать asrock ep2c612d8. Корзина на 8 винтов.
Александр🇷🇺
Либо допишите пожалуйста ваш вопрос
Ivan
Либо допишите пожалуйста ваш вопрос
Извиняюсь. Хочу поднять proxmox под ВМ. "Железный" контроллер не рассматриваю. Кэш не нужен, полку тоже не собираюсь цеплять. Будет крутиться ВМ с sql базой основная задача, и несколько мелких сервисов. Т.е. будет 6-8 ссд сата. По ТТХ iops не указан но думаю вполне хватит h240. Смотрю на Lsi, но не знаю какой, в основном с hp работал. Сервер уровня hp g9, главное стабильность...
Fedor
Адаптеки ругали, помнится.
Ivan
если материнка бифуркацию поддерживает, то вообще красота
Ivan
не дешевле взять 4 нормальных nvme ?
Думаю об этом. 🤔 Возможно даже не 4
Vladislav
Мне тоже стало интересно
Vladislav
Учитывая, что чипы ASMedia 1061\1064 и JMB585 это треш
Ivan
а бывают норм hba только под sata ?
Да вот хз, h240 всегда всё ок было, доставались за счёт заказчика. А щас экономят все. Тоже склоняюсь к nvme. На матери 2 pcie x16 и 1 x8
Vladislav
Вы бы лучше почитали повнительней
Vladislav
спеку
Maxim
А что не так?
total x32 (2x x16 / 2x x8 + x16) x16 per CPU
Vladislav
А что не так?
я даже не знаю как Вам сказать
Vladislav
Начните пожалуй с основ https://www.google.com/search?q=%D1%87%D1%82%D0%BE+%D1%82%D0%B0%D0%BA%D0%BE%D0%B5+pcie+%D0%BB%D0%B8%D0%BD%D0%B8%D0%B8&oq=%D1%87%D1%82%D0%BE+%D1%82%D0%B0%D0%BA%D0%BE%D0%B5+pcie+%D0%BB%D0%B8%D0%BD%D0%B8%D0%B8&aqs=chrome..69i57j0i22i30.4040j0j7&sourceid=chrome&ie=UTF-8&bshm=rime/1
Vladislav
спеку
своей матери и проца
Ivan
Русским по белому написано - один из слотов переключается на х8 если cpu0 установлен
Ivan
Я вас услышал. Спасибо 👍
Maxim
Русским по белому написано - один из слотов переключается на х8 если cpu0 установлен
*если другой занят cpu1 не будет работать, если cpu0 не установлен если cpu1 нет, то доступны только 1 x16 или 2 x8
chess
Всех приветствую!  Подскажите есть законченный man по восстановлению удалённого файла из zfs (Linux) ? Есть txg, образ.
Free
последний раз я делал вот так: zpool replace -s poolf wwn-0x5000c500db3a5a67 wwn-0x5000c500c9764682
Решил все-таки заменить подозрительный диск, посколькуо после clear он еще пару раз ушел в FAULTED. Вставил дополнительный диск, определил его id, выдал команду (дополнительно -f потребовалось, поскольку новый диск ext4): root@docker09:~# zpool replace -s -f my ata-ST3000VM002-1ET166_W6A065XY ata-WDC_WD30EFRX-68EUZN0_WD-WCC4NKHE11YX Однако получил cannot replace ata-ST3000VM002-1ET166_W6A065XY with ata-WDC_WD30EFRX-68EUZN0_WD-WCC4NKHE11YX: only mirror and dRAID vdevs support sequential reconstruction Это что - для замены диска в raidz2 не replace, а другая команда нужна?
Free
Или это значит, что -s неприменимо?
Алексей
Но он пишет про draid. Это относительно новая фича. Я ее еще не юзал.
Алексей
Free
В общем, запустил replace без всяких ключей. Пошел заменять replacing-2 ONLINE 0 0 0 ata-ST3000VM002-1ET166_W6A065XY ONLINE 0 0 0 ata-WDC_WD30EFRX-68EUZN0_WD-WCC4NKHE11YX ONLINE 0 0 0
Александр
Zfs rpool replace vdev vdev
Александр
Нужно указать в каком пуле, какое устройство на какое устройство заменить.
Александр
Даже если пул один
Ivan
Ребята, есть вопрос. Пока не пойму насколько это норм, или не норм. Я сейчас переношу данные с одного сервака на другой. В каждом серваке по 24 SAS диска объединенных в 3 x 8 disk RaidZ2. На обоих серваках ZFS. Фактически я щас бэкаплю данные с одного сервака на другой. Оба сервака в локальной сети, соединены по 100Gbit оптике. Локалка более ничем не нагружена. 855 Гигабайт копировались 200 минут, т.е. около 75мб/с. Собственно вопрос. Как по вашим оценкам, это норм скорость для такого варианта? Мне кажется, что это катастрофически медленно. Но поскольку это пока мои наблюдения, то я пытаюсь понять, вообще это норм такая скорость, или что-то не так скорее всего и нужно искать, что снижает скорость.
Ivan
SAS диски 7200 rpm, Seagate Exos
Вадим «Дым» Илларионов ☭
Ребята, есть вопрос. Пока не пойму насколько это норм, или не норм. Я сейчас переношу данные с одного сервака на другой. В каждом серваке по 24 SAS диска объединенных в 3 x 8 disk RaidZ2. На обоих серваках ZFS. Фактически я щас бэкаплю данные с одного сервака на другой. Оба сервака в локальной сети, соединены по 100Gbit оптике. Локалка более ничем не нагружена. 855 Гигабайт копировались 200 минут, т.е. около 75мб/с. Собственно вопрос. Как по вашим оценкам, это норм скорость для такого варианта? Мне кажется, что это катастрофически медленно. Но поскольку это пока мои наблюдения, то я пытаюсь понять, вообще это норм такая скорость, или что-то не так скорее всего и нужно искать, что снижает скорость.
Мне иное любопытно. Например, будь это узел проксмокса, я бы просто раскидал виртейнеры по другим узлам и тупо переставил ПВЕ с нуля, забыкапив каталог /etc/ssh. С тем уровнем рейда, какой надо.
Ivan
Мне иное любопытно. Например, будь это узел проксмокса, я бы просто раскидал виртейнеры по другим узлам и тупо переставил ПВЕ с нуля, забыкапив каталог /etc/ssh. С тем уровнем рейда, какой надо.
Честно, нихрена не понял из этого. Вопрос не в том, как я бэкаплю, или просто копирую большой объем данных. Вопрос не в этом. А в том, это в целом норм скорость для такого варианта, или по идее должна быть побольше.
Ivan
Просто мне нужно щас понять, это скорость нормальная плюс минус, или что-то ее тормозит? Это как если у вас иногда комп подвисает, но вы не знаете почему, и в итоге начинаете по симптомам искать проблему. Вот и тут, я пытаюсь понять данная скорость это симптом того, что что-то не так, или нет скорость плюс минус такая и должна быть.
Ivan
Ребята, есть вопрос. Пока не пойму насколько это норм, или не норм. Я сейчас переношу данные с одного сервака на другой. В каждом серваке по 24 SAS диска объединенных в 3 x 8 disk RaidZ2. На обоих серваках ZFS. Фактически я щас бэкаплю данные с одного сервака на другой. Оба сервака в локальной сети, соединены по 100Gbit оптике. Локалка более ничем не нагружена. 855 Гигабайт копировались 200 минут, т.е. около 75мб/с. Собственно вопрос. Как по вашим оценкам, это норм скорость для такого варианта? Мне кажется, что это катастрофически медленно. Но поскольку это пока мои наблюдения, то я пытаюсь понять, вообще это норм такая скорость, или что-то не так скорее всего и нужно искать, что снижает скорость.
1. это не сас диски, а дорогая бесполезная пародия. 2. непонятно как делается бэкап. 3. непонятно что за данные бэкапятся - много мелких файлов или большие. 4. с какими опциями пул создан тоже хотелось бы знать. 5. iperf для успокоения прогнать тоже неплохо.
Ivan
1. это не сас диски, а дорогая бесполезная пародия. 2. непонятно как делается бэкап. 3. непонятно что за данные бэкапятся - много мелких файлов или большие. 4. с какими опциями пул создан тоже хотелось бы знать. 5. iperf для успокоения прогнать тоже неплохо.
Вот это уже ближе к теме. 1) Да понимаю, что это пародия. Можем даже считать, что это просто обычные диски 7200 rpm. 2) Бэкап делается так. На таргет серваке смонтирована удаленная папка с сорц-сервака и далее rsync -av source destination
Ivan
3) бэкапятся в основном видео, крупные картинки по 10-100 мб в большом количестве.
Aleks
а нагрузка на диски мониторится? может 1 помирающий всю картину портит
Ivan
4) Пул создан фактически вот так zpool create -f -o ashift=12 -m /mnt/data bigdata raidz2 диски raidz2 диски raidz2 диски
Ivan
а нагрузка на диски мониторится? может 1 помирающий всю картину портит
Нет не мониторил. Система собрана на чистом Linux. И тут мне нужно понять, если мониторить, то как это через командную строку сделать. А по вашему это скорость низкая?
Aleks
думаю, с 24-х дисков катастрофически низкая, если другой нагрузки нет. и вообще там есть zfs send, которым я никогда не пользовался, но теоретически он должен работать без рандомных чтений и гораздо быстрее обычного копирования файлов
Ivan
Для меня не менее важно, чтобы скорость была нормальная не только с использованием zfs send, а если простые пользователи копируют на сервер. Они же не юзают для обычного копирования zfs send
Ivan
С рандомными.
Все диски одинаковые
Ivan
И новые
Алексей
Все диски одинаковые
Я про чтение при сенде. Оно рандомное
Алексей
И новые
А рекорд сайз у вас стало быть дефолтный 128к?
Ivan
Какой рекорд сайз должен быть?
Алексей
Запустите iostat -dx 10. Посмотрите что показывает
Алексей
Какой рекорд сайз должен быть?
Если файлы крупные то целесообразно поставить побольше, например 1мб
Ivan
Пока к сожалению не у компа. Смогу через пару часов посмотреть. Обязательно напишу.
Алексей
zfs set recordsize=1M pool/dataset
Ivan
Пока я подозреваю, что проблема кроется в отдающем серваке. Почему? Дело в том, что раньше у нас был сервак на 8 обычных дисках, которые подключались напрямую в 8 Sata портов материнки, на серваке был поднят mdadm на Raid6 и был обычный ext4. Далее мы собрали новый сервак на 12ти Sas дисках которые уже подключали через HBA, где собрали обычную зеркалку на ZFS. Так вот 24тб данных со старого сервак на новый закачались где-то за сутки насколько я помню, может даже чуть быстрее. Потом мы собрали аналогичный сервак и все то же самое скопировали на такой же сервак на 12ти дисках на ZFS. Но что я сразу заметил, что тот же объем копировался значительно дольше.
Ivan
Да
емнип у zfs+nfs с производительностью печаль без тюнинга. быстрее будет сервис rsync поднять.
Ivan
Что за сервис rsync ?
Ivan
Мне же не просто нужно скопировать папку, мне нужно чтобы и скорость записи данных от обычных пользователей была нормальная
Вадим «Дым» Илларионов ☭