Бу...
Александр
Что вполне хватает
И гарантирует от того, что БАХ и нету файловой системы вообще
Бу...
George
* если у вас не zfs)
George
* или не включено журналирование данных, но это минимум х2 просадка на запись
Бу...
Ivan
Доброй ночи. Подскажите hba контроллер pci e. Мать asrock ep2c612d8. Корзина на 8 винтов.
Александр🇷🇺
Александр🇷🇺
Либо допишите пожалуйста ваш вопрос
Ivan
Ivan
Либо допишите пожалуйста ваш вопрос
Извиняюсь.
Хочу поднять proxmox под ВМ. "Железный" контроллер не рассматриваю. Кэш не нужен, полку тоже не собираюсь цеплять. Будет крутиться ВМ с sql базой основная задача, и несколько мелких сервисов. Т.е. будет 6-8 ссд сата.
По ТТХ iops не указан но думаю вполне хватит h240. Смотрю на Lsi, но не знаю какой, в основном с hp работал. Сервер уровня hp g9, главное стабильность...
Fedor
Адаптеки ругали, помнится.
Ivan
Ivan
если материнка бифуркацию поддерживает, то вообще красота
Maxim
Ivan
Vladislav
Мне тоже стало интересно
Vladislav
Учитывая, что чипы ASMedia 1061\1064 и JMB585 это треш
Ivan
а бывают норм hba только под sata ?
Да вот хз, h240 всегда всё ок было, доставались за счёт заказчика. А щас экономят все. Тоже склоняюсь к nvme. На матери 2 pcie x16 и 1 x8
Vladislav
Vladislav
Вы бы лучше почитали повнительней
Vladislav
спеку
Ivan
Vladislav
Начните пожалуй с основ
https://www.google.com/search?q=%D1%87%D1%82%D0%BE+%D1%82%D0%B0%D0%BA%D0%BE%D0%B5+pcie+%D0%BB%D0%B8%D0%BD%D0%B8%D0%B8&oq=%D1%87%D1%82%D0%BE+%D1%82%D0%B0%D0%BA%D0%BE%D0%B5+pcie+%D0%BB%D0%B8%D0%BD%D0%B8%D0%B8&aqs=chrome..69i57j0i22i30.4040j0j7&sourceid=chrome&ie=UTF-8&bshm=rime/1
Vladislav
спеку
своей матери и проца
Ivan
Русским по белому написано - один из слотов переключается на х8 если cpu0 установлен
Ivan
Vladislav
Vladislav
Ivan
Я вас услышал. Спасибо 👍
chess
Всех приветствую!  Подскажите есть законченный man по восстановлению удалённого файла из zfs (Linux) ? Есть txg, образ.
Free
последний раз я делал вот так: zpool replace -s poolf wwn-0x5000c500db3a5a67 wwn-0x5000c500c9764682
Решил все-таки заменить подозрительный диск, посколькуо после clear он еще пару раз ушел в FAULTED.
Вставил дополнительный диск, определил его id, выдал команду (дополнительно -f потребовалось, поскольку новый диск ext4):
root@docker09:~# zpool replace -s -f my ata-ST3000VM002-1ET166_W6A065XY ata-WDC_WD30EFRX-68EUZN0_WD-WCC4NKHE11YX
Однако получил
cannot replace ata-ST3000VM002-1ET166_W6A065XY with ata-WDC_WD30EFRX-68EUZN0_WD-WCC4NKHE11YX: only mirror and dRAID vdevs support sequential reconstruction
Это что - для замены диска в raidz2 не replace, а другая команда нужна?
Free
Или это значит, что -s неприменимо?
Алексей
Алексей
Но он пишет про draid. Это относительно новая фича. Я ее еще не юзал.
Алексей
Free
В общем, запустил replace без всяких ключей.
Пошел заменять
replacing-2 ONLINE 0 0 0
ata-ST3000VM002-1ET166_W6A065XY ONLINE 0 0 0
ata-WDC_WD30EFRX-68EUZN0_WD-WCC4NKHE11YX ONLINE 0 0 0
Александр
Zfs rpool replace vdev vdev
Александр
Нужно указать в каком пуле, какое устройство на какое устройство заменить.
Александр
Даже если пул один
Ivan
Ребята, есть вопрос. Пока не пойму насколько это норм, или не норм.
Я сейчас переношу данные с одного сервака на другой. В каждом серваке по 24 SAS диска объединенных в 3 x 8 disk RaidZ2. На обоих серваках ZFS. Фактически я щас бэкаплю данные с одного сервака на другой. Оба сервака в локальной сети, соединены по 100Gbit оптике. Локалка более ничем не нагружена. 855 Гигабайт копировались 200 минут, т.е. около 75мб/с. Собственно вопрос. Как по вашим оценкам, это норм скорость для такого варианта? Мне кажется, что это катастрофически медленно. Но поскольку это пока мои наблюдения, то я пытаюсь понять, вообще это норм такая скорость, или что-то не так скорее всего и нужно искать, что снижает скорость.
Ivan
SAS диски 7200 rpm, Seagate Exos
Вадим «Дым» Илларионов ☭
Ребята, есть вопрос. Пока не пойму насколько это норм, или не норм.
Я сейчас переношу данные с одного сервака на другой. В каждом серваке по 24 SAS диска объединенных в 3 x 8 disk RaidZ2. На обоих серваках ZFS. Фактически я щас бэкаплю данные с одного сервака на другой. Оба сервака в локальной сети, соединены по 100Gbit оптике. Локалка более ничем не нагружена. 855 Гигабайт копировались 200 минут, т.е. около 75мб/с. Собственно вопрос. Как по вашим оценкам, это норм скорость для такого варианта? Мне кажется, что это катастрофически медленно. Но поскольку это пока мои наблюдения, то я пытаюсь понять, вообще это норм такая скорость, или что-то не так скорее всего и нужно искать, что снижает скорость.
Мне иное любопытно.
Например, будь это узел проксмокса, я бы просто раскидал виртейнеры по другим узлам и тупо переставил ПВЕ с нуля, забыкапив каталог /etc/ssh. С тем уровнем рейда, какой надо.
Ivan
Просто мне нужно щас понять, это скорость нормальная плюс минус, или что-то ее тормозит? Это как если у вас иногда комп подвисает, но вы не знаете почему, и в итоге начинаете по симптомам искать проблему. Вот и тут, я пытаюсь понять данная скорость это симптом того, что что-то не так, или нет скорость плюс минус такая и должна быть.
Ivan
Ребята, есть вопрос. Пока не пойму насколько это норм, или не норм.
Я сейчас переношу данные с одного сервака на другой. В каждом серваке по 24 SAS диска объединенных в 3 x 8 disk RaidZ2. На обоих серваках ZFS. Фактически я щас бэкаплю данные с одного сервака на другой. Оба сервака в локальной сети, соединены по 100Gbit оптике. Локалка более ничем не нагружена. 855 Гигабайт копировались 200 минут, т.е. около 75мб/с. Собственно вопрос. Как по вашим оценкам, это норм скорость для такого варианта? Мне кажется, что это катастрофически медленно. Но поскольку это пока мои наблюдения, то я пытаюсь понять, вообще это норм такая скорость, или что-то не так скорее всего и нужно искать, что снижает скорость.
1. это не сас диски, а дорогая бесполезная пародия.
2. непонятно как делается бэкап.
3. непонятно что за данные бэкапятся - много мелких файлов или большие.
4. с какими опциями пул создан тоже хотелось бы знать.
5. iperf для успокоения прогнать тоже неплохо.
Ivan
Ivan
3) бэкапятся в основном видео, крупные картинки по 10-100 мб в большом количестве.
Aleks
а нагрузка на диски мониторится? может 1 помирающий всю картину портит
Ivan
4) Пул создан фактически вот так
zpool create -f -o ashift=12 -m /mnt/data bigdata raidz2 диски raidz2 диски raidz2 диски
Aleks
думаю, с 24-х дисков катастрофически низкая, если другой нагрузки нет. и вообще там есть zfs send, которым я никогда не пользовался, но теоретически он должен работать без рандомных чтений и гораздо быстрее обычного копирования файлов
Ivan
Ivan
Для меня не менее важно, чтобы скорость была нормальная не только с использованием zfs send, а если простые пользователи копируют на сервер. Они же не юзают для обычного копирования zfs send
Vladislav
Алексей
Ivan
И новые
Алексей
И новые
А рекорд сайз у вас стало быть дефолтный 128к?
Ivan
Ivan
Какой рекорд сайз должен быть?
Алексей
Запустите iostat -dx 10. Посмотрите что показывает
Ivan
Пока к сожалению не у компа. Смогу через пару часов посмотреть. Обязательно напишу.
Ivan
Алексей
zfs set recordsize=1M pool/dataset
Ivan
Ivan
Пока я подозреваю, что проблема кроется в отдающем серваке. Почему? Дело в том, что раньше у нас был сервак на 8 обычных дисках, которые подключались напрямую в 8 Sata портов материнки, на серваке был поднят mdadm на Raid6 и был обычный ext4. Далее мы собрали новый сервак на 12ти Sas дисках которые уже подключали через HBA, где собрали обычную зеркалку на ZFS. Так вот 24тб данных со старого сервак на новый закачались где-то за сутки насколько я помню, может даже чуть быстрее.
Потом мы собрали аналогичный сервак и все то же самое скопировали на такой же сервак на 12ти дисках на ZFS. Но что я сразу заметил, что тот же объем копировался значительно дольше.
Ivan
Ivan
Да
емнип у zfs+nfs с производительностью печаль без тюнинга. быстрее будет сервис rsync поднять.
Ivan
Что за сервис rsync ?
Ivan
Мне же не просто нужно скопировать папку, мне нужно чтобы и скорость записи данных от обычных пользователей была нормальная
Ivan
Вадим «Дым» Илларионов ☭