Y
а 10 гига это всего 1200 и то в идеале
Y
Y
https://www.servethehome.com/highpoint-ssd7540-8x-m-2-nvme-ssd-card-review-sabrent/
Y
можно подороже купить - у кого 400 гигабит сетка или локально надо быстро
Y
я же про "для дома, для души"
Artem
Оно же пару лет назад почти ничего не стоило
Y
Оно же пару лет назад почти ничего не стоило
Оно и счас дешево, особенно если близко... Но в большинстве случаев избыточно
Shaker
40 стоит дешевле чем 10 :))))
Но не так все там радужно, особенно если про mellanox connectx 3 или 3 pro
Vladislav
Но не так все там радужно, особенно если про mellanox connectx 3 или 3 pro
RDMA с ISER довольно радужно по скорости себя вёл с NVMe и VMware (с HCIbench)
Shaker
Фактически 20-25Gbit если очень хороший cpu ( высокая частота )
Shaker
RDMA с ISER довольно радужно по скорости себя вёл с NVMe и VMware (с HCIbench)
Да, тестировали rdma, как раз iser. На mellanox connectx5 намного лучше показатели.
Shaker
Они тоже есть 40g qsfp+, но цена уже совсем другая.
Vladislav
Да, тестировали rdma, как раз iser. На mellanox connectx5 намного лучше показатели.
ConnectX 5 проще уже 100Г брать, они стоят 23к
Vladislav
Поэтому p2p
Shaker
Для дома 40g норм, но чудес не ждите. Будет, считай, 20 гбит.
Shaker
на 40Г дешёвых я тоже не видел с поддержкой RDMA
Обычно берут DCS-7050QX-32S-R, но DCS-7050QX-32S-F еще дешевле.
Vladislav
Для дома 40g норм, но чудес не ждите. Будет, считай, 20 гбит.
На 7551 8853.86 МБайта/c на 1М блоке 60 чтения и 50 рандома
Vladislav
Или около 35412 Мбита/с на 5 виртуалок с одного хоста, вру. С двух
Shaker
Гбит, ты хотел сказать ?
Shaker
А карточки ?
Shaker
ConnectX-3 Pro (HPe через flexbom переходник)
Наредкость быстро. Но это явно не "домашний" конфиг, я надеюсь)
Shaker
Вообще неплохо. Мы использовали раньше ConnectX-3 Pro для синхронизации ZIL , но отказались впользу connectx5 т к на тех-же процах, была большая разница.
Y
Причем всего 800 баксов
Vladislav
Наредкость быстро. Но это явно не "домашний" конфиг, я надеюсь)
У меня домашний :)))))
Я потом для работы (для лабы) повторил его
Vladislav
Там с длинными кабелями засада по цене
Нууу, мне они 3м обошлись в 2.6к за штуку примерно. 6к за 10м
Y
У меня домашний :)))))
Я потом для работы (для лабы) повторил его
Дожили. Дамашняя лаба мощьнее рабочей, у меня тоже на 10 гига на работе года на 2 позже меня домашнего перешли
Vladislav
Y
Vladislav
А... Слышал про такое... И что Про намного быстрее обычного 3?
Это тот же ConnectX 3, просто RDMAv2 поддерживает
Vladislav
40Г не станет магически быстрее 40Г :))))
Другое дело, что от 2х портов 80Г не будет, будет 60
Vladislav
Через крышу кинуть, их же не протянешь через трубку в стене
У меня спокойно 3м до соседней стойки дотягивалось через низ
Y
Vladislav
Обычно берут DCS-7050QX-32S-R, но DCS-7050QX-32S-F еще дешевле.
Спасибо за наводку. Я вот смотрю на 4 порта 100Г микротик, но да, там нет контроля буфера
Vladislav
Обычно берут DCS-7050QX-32S-R, но DCS-7050QX-32S-F еще дешевле.
Shaker
Y
Vladislav
https://www.linuxadictos.com/en/dent-a-network-operating-system-for-switches.html
Ivan
Vladislav
излишняя буфферизация не есть хорошо
Про память я написал ибо надо же держать пакеты в памяти для контроля потока
А про скорость - пока не проверю не узнаю :)
Было куда проще, когда можно было с Ebay заказывать, но увы
Denis
@scar83 собрал короче )
root@pbs:~# zpool list -v
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
zfsbackup 15.5T 1.66M 15.5T - - 0% 0% 1.00x ONLINE -
draid1:5d:6c:0s-0 10.9T 237K 10.9T - - 0% 0.00% - ONLINE
scsi-35000cca01b48b574 1.82T - - - - - - - ONLINE
scsi-35000cca01b48aa40 1.82T - - - - - - - ONLINE
scsi-35000cca01b47155c 1.82T - - - - - - - ONLINE
scsi-35000cca01b47f0a0 1.82T - - - - - - - ONLINE
scsi-35000cca01be17180 1.82T - - - - - - - ONLINE
scsi-35000cca01bdf190c 1.82T - - - - - - - ONLINE
draid1:4d:5c:0s-1 4.55T 1.43M 4.55T - - 0% 0.00% - ONLINE
ata-ST1000NM0018-2F2130_ZFA0BBMX 932G - - - - - - - ONLINE
ata-WDC_WD10EZEX-08WN4A0_WD-WCC6Y2LEVN2C 932G - - - - - - - ONLINE
ata-WDC_WD1002F9YZ-09H1JL1_WD-WMC5K0D4XVUH 932G - - - - - - - ONLINE
ata-WDC_WD1002F9YZ-09H1JL1_WD-WMC5K0D9N10R 932G - - - - - - - ONLINE
ata-ST1000DM003-1CH162_S1DGX9V8 932G - - - - - - - ONLINE
root@pbs:~#
Y
доброго времени суток. чем чревато собирать пул из разных диско. есть 6 сата дисков по 2тб тошибы нормальные и есть 4 диска скази по 932гб тоже нормальные (достались нулевыми вообще)
хочу собрать пул из 10 дисков, а не 2 пула по 6 и 4 диска.
чем чревато и тд и тп. Подскажите если не сложно.
если максимизировать объем и надежность (если нет бэкапа на весь масив)
я бы склеил два двутера из 4х теровых и сделал был 6+2 RAIDZ2
Denis
если максимизировать объем и надежность (если нет бэкапа на весь масив)
я бы склеил два двутера из 4х теровых и сделал был 6+2 RAIDZ2
уже поздняк переделывать ( запустил бекап на него делаться. а то без фул бекапа чувствую себя с голой жопой
Denis
а чем сей вариант плох ? я к тому что страйп из райдз1
Denis
умирание 1 диска в страйпе допускается скажем так.
Denis
здесь просто ранее задавал вопрос как и что лучше собрать ) порекомендовали как раз такой вариант.
Denis
а так эта старая херабора на мониторинге. диск начнет сыпаться сразу под замену его, а не ждать второго пришествия
Y
а чем сей вариант плох ? я к тому что страйп из райдз1
Надежность ниже, выход из строя второго диска убивает масив с вероятностью 50% 😳
Denis
Ну если продуплить выход из строя диска, то развалить можно что угодно. А так есть мониторинг Смарта дисков.
Y
Но если это бэкап... То смотря на чём оригиналы хранятся... У меня оригиналы на raidz2, а вот бэкапы как раз на raidz1
Denis
Но если это бэкап... То смотря на чём оригиналы хранятся... У меня оригиналы на raidz2, а вот бэкапы как раз на raidz1
Оригиналы тоже на z1. Но там есть ещё и репликации на такой z1
Y
Ну если продуплить выход из строя диска, то развалить можно что угодно. А так есть мониторинг Смарта дисков.
Ну если у тебя на полке запаска лежит, а так мало не продуплить, надо успеть купить
Denis
То есть помимо бекапа есть репликация. Ну и внутри гостей есть вим местами.
Denis
Наркомания короче)
Y
Когда есть много бэкапов, то слабое звено сам одмин 😳
Denis
Вим для эникея. Чтобы они со своей самбой и удаленным файшиком не ели мой мозг. А так он сам зашёл и восстановил этот файлик
Denis
Это проще чем мне дергать его из PBS бекапа. Но реально )
Y
Сила не в бэкапах а в их проверках:
Мы делали бэкапы которые не работали, угадай как мы это узнали (с) башорг
Denis
Это тоже важно, но у ПБС есть верефикация, и как показала практика оно работает. А про проверку это не баш, я сталкивался с реальностью что они не работали. поэтому нужна регулярная проверка хотя бы раз в месяц на предмет возможности восстановиться.
Denis
я тут класте пересобирал целиком, и прекрасно восстановился с бекапа. 4тб виртуалок