Kirill
Mark ☢️
да
Mark ☢️
сменил сетёвку. ВНЕЗАПНО
Logan
у меня ВНЕЗАПНО оказалось что на клиенте шёл трафик через Dlink DGE-828-T
у д-линка хорошими БЫЛИ только тупые устройства. Чем тупее - тем лучше. как только в дело вступает софт - туши свет
Logan
у нас была полка медиаконверторов от d-link (у них есть вариант 2U шасси под разные медиа) - сказка. Их ничто не брало
Mark ☢️
у д-линка хорошими БЫЛИ только тупые устройства. Чем тупее - тем лучше. как только в дело вступает софт - туши свет
мде. а сетёвка (такая) это же не софт.
Logan
не сами же они зарождаются
Logan
их собственные ОС для коммутаторов, маршрутизаторов и DSLAM - это вообще ад
Logan
у нас DSLAM-ы больше лежали, чем работали
Mark ☢️
http://www.dlink.ru/ru/products/7/365_b.html
Mark ☢️
ну ээээ обрати внимание на вид PCI-разъёма
Mark ☢️
Logan
а что не так с pci?
Logan
старый добрый обычный pci
Mark ☢️
именно. сечёшь почему у меня не было гигабита?
Mark ☢️
и, наверно, транзакций в секунду тоже
Roman
не будет у тебя никогда гигабита на обычном pci
Roman
будет на pci-x
Mark ☢️
дак да. но с чего мне вдруг в системник смотреть надо было бы ?
Logan
я такое видел у того же длинка
Logan
по сути карта была коммутатором на 4 порта
Mark ☢️
https://github.com/ketor/ceph-dokan/issues/5
Mark ☢️
Это цеффс под маздай. Внезапно!
Кирилл Луконин
Он же падает, говорят
Александр
Ну эт макс
Александр
Получается
Mark ☢️
Судя по педивикии -- должно быть 533
Mark ☢️
А. Стоп. Там мегабайт в секунуд
Mark ☢️
Тоесть. Какого болта, получается у меня гигабита не было ?! Может дело в транзакциях в секунду ? Впрочем. Похер. Уже наверно ни у кого нет гигабитных сетевок посаженных на обычный писиай. Разве что впаянные в материнку на десктопных матерях. На том и рахговору конец
Vladimir
Тоесть. Какого болта, получается у меня гигабита не было ?! Может дело в транзакциях в секунду ? Впрочем. Похер. Уже наверно ни у кого нет гигабитных сетевок посаженных на обычный писиай. Разве что впаянные в материнку на десктопных матерях. На том и рахговору конец
У нас стенд собран из таких карточек, просадок по скорости нету.
Vladimir
Они именно под кластерный трафф
Vladimir
Под юзерский идут встроенные в мамку
Mark ☢️
Под юзерский идут встроенные в мамку
Надобыло наоборот. Ибо под кластерную сеть надо наиболее быстрые
Vladimir
Надобыло наоборот. Ибо под кластерную сеть надо наиболее быстрые
Не, на обе сети по гигабиту, диски медленные и их мало
Mark ☢️
Не, на обе сети по гигабиту, диски медленные и их мало
Если в ноде более одного диска то гигабита не хватит
Mark ☢️
Считай гигабит это сто метров в секунду
Mark ☢️
А это лишь один диск прокормит нормальный
Vladimir
Диски 7200, да, перфоманса там нет, однако другие тесты прогнать можно легко.
Mark ☢️
Mark ☢️
ceph tell osd.X bench что пишет?
Mark ☢️
mmarkk@mmwork:~$ for i in seq 0 9; do ceph tell osd.$i bench 2>&1 | awk '/bytes_per_sec/ { print $2/(1024*1024) }'; done
88.1536
72.5045
99.9248
129.35
85.6223
86.9348
100.581
103.983
91.1507
98.0721
Mark ☢️
Сечёшь ?
Mark ☢️
http://www.orangefs.org
Logan
Logan
чип сляпан на живую нитку, вот и работает как умеет
Дмитрий
кто-нибуть глядел http://www.beegfs.com ?
Евгений
Давно пробовал ? В чём лажовость ?
Русский язык не понимает, но это поправимо (одну функцию переписать), а главное - ни весов, ни ребаланса в ней нету.
И глобальной блокировки нет.
Mark ☢️
ЕЕЕЕЕЕЕЕЕЕЕЕ
Mark ☢️
нашёл багу в цеффс. щас зарепорчу
Mark ☢️
Mark ☢️
По ходу, кто-то репортит нулевой размер блока
Mark ☢️
а нет. бага в тулзе
Евгений
а нет. бага в тулзе
Марк, вы пробовали через xattr менять stripe-count у файлов на cephfs? Это должно влиять на производительность
Mark ☢️
нет, ничего не пробовал
Mark ☢️
меня в принципе устраивает — упирается в гигабит же
G72K
меня в принципе устраивает — упирается в гигабит же
Помню точно,так же репу чесал почему хадуп нода мало мегабайт в секунду читает. Оказалось контроллер умеет 6 Gbps, а на нем 16 дисков :))
Mark ☢️
http://tracker.ceph.com/issues/19819
Mark ☢️
Кто-нибудь может мне пояснить почему оно так ?
Mark ☢️
И мёртвые с косами стоятъ
Михаил
Alex
Mark ☢️
Так в трекере ответили. Пока это нереально, как я понял.
Спасибо, Капитан, что вы сегодня с нами. Но мне интересно почему это нереально. Что такого сложного я попросил что в цеффс нереализуемо.
Pavel
rbd create POOL/VOLUME —image-feature striping —object-size 4194304 —stripe-unit 4194304 —stripe-count 1 —size 1000
stripe unit is not a factor of the object size
Pavel
кто-нибудь сталкивался?
Pavel
причем через опенстак с такими же параметрами создаются вольюмы
Pavel
(cinder rbd driver)
Mark ☢️
Найди этот мессадж в сырцах да посмотри чо он там делит на што
Pavel
да уже нашел, но че то не вкурю