Михаил
ну погугли cache tiering + bluestore
Mike
Bcache используй тогда.
Mark ☢️
когда полтора нода — не до кешестроительства. так что я на блюстор не перееду, хоть и хочу очень (ибо вот это говно с фс).
Mike
Вроде ceph-disk уже может деплоить osd с bcache
Mark ☢️
оу. а есть инфа в виде ссылки?
Dimonyga
http://7xweck.com1.z0.glb.clouddn.com/cephdaybeijing201608/04-SPDK%E5%8A%A0%E9%80%9FCeph-XSKY%20Bluestore%E6%A1%88%E4%BE%8B%E5%88%86%E4%BA%AB-%E6%89%AC%E5%AD%90%E5%A4%9C-%E7%8E%8B%E8%B1%AA%E8%BF%88.pdf
Dimonyga
Охренеть
Dimonyga
Они туда SPDK и DPDK впиливают ..... готовимся выкладывать денежки на сетевушки по килобаксу за порт.
Dimonyga
и NVMe
Mark ☢️
Они туда SPDK и DPDK впиливают ..... готовимся выкладывать денежки на сетевушки по килобаксу за порт.
китайские интелы столько не стоят. они китайские лишь потому что без наклеечки.
Mark ☢️
сетевки всмысле
Mark ☢️
прямо с алишечки
Mark ☢️
да она такая же точно как и вендорская. прям плата та же
Mark ☢️
просто кто-то левачит на тех же заводах, видимо
Dimonyga
просто кто-то левачит на тех же заводах, видимо
скинь ссылку. гляну, мож закажу. А то есть сервак, у него сетевухи отлетели. Ремонтировать смысла нет, ибо старье, а говнореалтэки втыкать - понту то.
Михаил
Михаил
http://7xweck.com1.z0.glb.clouddn.com/cephdaybeijing201608/04-SPDK%E5%8A%A0%E9%80%9FCeph-XSKY%20Bluestore%E6%A1%88%E4%BE%8B%E5%88%86%E4%BA%AB-%E6%89%AC%E5%AD%90%E5%A4%9C-%E7%8E%8B%E8%B1%AA%E8%BF%88.pdf
а, это я читал) если руки дойдут попробую DPDK запустить
Dimonyga
там вроде есть дешевле)
Скажу так, DPDK нормально работает только с определенными интелами. остальное - поделки. Честно, тестил я BNX карточки под DPDK - жесть
Михаил
ну нам приехали норм карты) из HCL
коллега уже OVS + DPDK пилит
Михаил
для опенстека
Dimonyga
ну нам приехали норм карты) из HCL
коллега уже OVS + DPDK пилит
оно же готовое есть, бери да пользуйся
Михаил
готовое что?
Mike
Они туда SPDK и DPDK впиливают ..... готовимся выкладывать денежки на сетевушки по килобаксу за порт.
Не стоит столько сетевушка
Mark ☢️
Михаил
я не лезу
Mark ☢️
https://ru.aliexpress.com/item/10G-Fiber-LC-Ethernet-Server-Adapter-for-Intel-82599-Chipset-E10G41BTDA-X520-DA1/32791217668.html?spm=2114.03010208.3.33.4NNC8K&ws_ab_test=searchweb0_0,searchweb201602_4_10065_10068_433_434_10136_10137_10138_10060_10062_10141_10056_10055_10054_10059_201_10531_10099_10530_10103_10102_10096_120_10052_10144_10053_10050_10107_10142_10051_10106_10143_10526_10529_10528_10523_10084_10117_10083_10080_10082_10081_10110_10111_10112_10113_10114_10037_10078_10079_10077_10073_10070_10122_10123_10127_10124_10125,searchweb201603_3,afswitch_1,ppcSwitch_5,single_sort_0_price_asc&btsid=eeeca7b2-b030-43ec-a751-dc8a0a88b993&algo_expid=4aaf9bf9-0a7a-46df-a826-ca77b950b71b-4&algo_pvid=4aaf9bf9-0a7a-46df-a826-ca77b950b71b
Mark ☢️
самая дешмань
Mark ☢️
X520
Mark ☢️
но на нём же будет DPDK переть. оффлоадинга нет. но какой оффлоадинг на дпдк ?
Dimonyga
Не стоит столько сетевушка
я образно. http://shop.nag.ru/catalog/02273.Setevye-karty/20414.Setevye-karty-10G/15343.PE210G2SPi9A-XR
Mark ☢️
хммм. с трансиверами и 2 портами. окей. щас поищем
Mark ☢️
https://ru.aliexpress.com/item/For-Intel-82599ES-10G-Dual-Port-PCIe-Ethernet-Server-Adapter-X520-DA2-E10G42BTDA/32794183771.html?spm=2114.03010208.3.57.4NNC8K&ws_ab_test=searchweb0_0,searchweb201602_4_10065_10068_433_434_10136_10137_10138_10060_10062_10141_10056_10055_10054_10059_201_10531_10099_10530_10103_10102_10096_120_10052_10144_10053_10050_10107_10142_10051_10106_10143_10526_10529_10528_10523_10084_10117_10083_10080_10082_10081_10110_10111_10112_10113_10114_10037_10078_10079_10077_10073_10070_10122_10123_10127_10124_10125,searchweb201603_3,afswitch_1,ppcSwitch_5,single_sort_0_price_asc&btsid=eeeca7b2-b030-43ec-a751-dc8a0a88b993&algo_expid=4aaf9bf9-0a7a-46df-a826-ca77b950b71b-7&algo_pvid=4aaf9bf9-0a7a-46df-a826-ca77b950b71b
Mark ☢️
но без трансиверов. транисиверы наверно SNR-ные подойдут. по 2.5 т.р.
Mark ☢️
ну или https://ru.aliexpress.com/item/Free-Shipping-E10GSFPSR-FTLX8571D3BCV-IT-10G-SFP-850nm-300M-Gigabit-Multimode-Fiber-Modules-for-Intel-Original/32255870872.html?spm=2114.03010208.3.1.4NNC8K&ws_ab_test=searchweb0_0,searchweb201602_4_10065_10068_433_434_10136_10137_10138_10060_10062_10141_10056_10055_10054_10059_201_10531_10099_10530_10103_10102_10096_120_10052_10144_10053_10050_10107_10142_10051_10106_10143_10526_10529_10528_10523_10084_10117_10083_10080_10082_10081_10110_10111_10112_10113_10114_10037_10078_10079_10077_10073_10070_10122_10123_10127_10124_10125,searchweb201603_3,afswitch_1,ppcSwitch_5,single_sort_0_price_asc&btsid=eeeca7b2-b030-43ec-a751-dc8a0a88b993&algo_expid=4aaf9bf9-0a7a-46df-a826-ca77b950b71b-0&algo_pvid=4aaf9bf9-0a7a-46df-a826-ca77b950b71b
Dimonyga
Трансиверы фтопку. лучше DAC
Dimonyga
На али в 2 раза дешевле. надо брать =)
Mark ☢️
согласен, так и юзаю у себя. ладно. не цефотема
Mike
но на нём же будет DPDK переть. оффлоадинга нет. но какой оффлоадинг на дпдк ?
Vxlan offload очень хочется.
Mike
а можно про это подробнее? я недостаточно шарю
А что тут подробнее? Сигнал при передаче по физике кодируется. При использовании 8/10, карте нужно передать на 20% больше информации по физике.
Mike
На всех современных картах уже кодирование 64/66
Mark ☢️
А что тут подробнее? Сигнал при передаче по физике кодируется. При использовании 8/10, карте нужно передать на 20% больше информации по физике.
где это в ethtool можно посмотреть?
Mike
Нет, это надо читать характеристики чипа и трансиверов.
Mark ☢️
А что тут подробнее? Сигнал при передаче по физике кодируется. При использовании 8/10, карте нужно передать на 20% больше информации по физике.
тоесть, 10 гигабит (с точки зрения линукса, а не провода) на ней недостижимо никак ?
Mike
Тут сложно.
Mark ☢️
а это, случаем, не трансивера ли задача ?
Mark ☢️
я про 8/10
Dimonyga
тоесть, 10 гигабит (с точки зрения линукса, а не провода) на ней недостижимо никак ?
Не существует pure 10G всегда есть оверхэд. среднестатистическая гигабитная карточка интел (не HW Acceleretad) выдает не больше 600 мегабит.
Mark ☢️
Не существует pure 10G всегда есть оверхэд. среднестатистическая гигабитная карточка интел (не HW Acceleretad) выдает не больше 600 мегабит.
да ну уж ладно, это то точно гонево
Mark ☢️
я ж тестил
Mark ☢️
1.2 млн ППС
Mark ☢️
1 гигабит чотенько
Mark ☢️
с выключенным всем что можно в етхтуле
Mike
При старом кодировании времени на передачу пакета тратиться больше, т.к. данных передать надо больше
Mark ☢️
Mark ☢️
wikipedia
Mark ☢️
дак у нас тот самый except. не так ли?
Mark ☢️
napi вывозит нормально
Mark ☢️
а вот с 10Г ж0па
Dimonyga
1.2 млн ппс — это 64-байтными
не сходится моя математика. 1000 мегабит = 1000*1000 килобит = 1000*1000*1000 бит / 64*8 = 1953125
Dimonyga
1.2 это как раз чуть больше 600 мегабит =)
Mark ☢️
дак да. минутку. щас кину ссылкой. там прекол про минимально допустимые паузы между пакетами преамбулы и т.д. короче, мелкими пакетами гигабит не получить никак
Mark ☢️
минутку
Dimonyga
Это я знаю. я работаю у провайдера, из за реестра запрещенных сайтов и и нищебродства провайдера - много трафика гоняем через сервера. поэтому много натестил и начитался всего.
Mike
Просто почитайте стандарты
Mark ☢️
http://wiki.networksecuritytoolkit.org/index.php/LAN_Ethernet_Maximum_Rates,_Generation,_Capturing_%26_Monitoring#Ethernet_Maximum_Rates
Mark ☢️
во. вот тут годнота
Mark ☢️
1.2 кстати это я по памяти сказал. надо ещё раз затестить
Mark ☢️
Dimonyga
Я сейчас про реальную ситуацию говорю. ВОт картинка с реальной железки по размерам пакетов
Dimonyga
64 : 4867807931
65-127 : 14746102236
128-255 : 2851735263
256-511 : 1763524069
512-1023 : 2454343031
1024-1518 : 71828102801