Mark ☢️
а так — заколосилось
Mark ☢️
ждите годных вбросов от меня
Anonymous
ну какой никакой движ
Alex
Уже лучше чем ничего
Mark ☢️
Mark ☢️
Заливка пары образов в цеффс. почему ограничено 600 мегабитами ?
Alex
Заливка пары образов в цеффс. почему ограничено 600 мегабитами ?
Сколько оsd в пуле данных файлухи?
Mark ☢️
10
Alex
На них другая нагрузка есть?
Mark ☢️
нет
Alex
Тогда может быть клиент не тянет больше?
Mark ☢️
да врядли.
Mark ☢️
как проверить?
Mark ☢️
клиент — едро
Mark ☢️
а всё, в диски упёрлось
Mark ☢️
:(
Mark ☢️
печалька
Alex
А что за диски?
Mark ☢️
погоди
Mark ☢️
есть такой финт — как адски ускорить цеф — сделать пул размером один.
Mark ☢️
так вот тут он не прокатывает
Mark ☢️
под журналы — ссд
Mark ☢️
диски магнитные, по 200 иопсов примерно каждый
Mark ☢️
есть такой финт — как адски ускорить цеф — сделать пул размером один.
так и вот. скорость не поменялась ни на сколечко. да и число ровное. как-будто где-то лимит стоит
Mark ☢️
и да, у меня крякен
Mark ☢️
когда в диски упирается, так ровно график не выглядит ( на рбд тоесть)
Mark ☢️
и да, на клиенте цпу не загружен
Mark ☢️
https://forum.proxmox.com/threads/recommendations-for-ceph-on-gigabit.20611/
Mark ☢️
Mark ☢️
не я один!
Mark ☢️
что это за нах
Alex
Хм. У меня на хамере до 900Mbit на больших файлах качало, на 4 osd с галимого реалтека на клиенте. Правда на нодах ceph 2*10Gbit LACP
Mark ☢️
у меня в кластерной сети 10 гбит
Mark ☢️
а от цефа до клиента 1 гигабит
kiosaku
а как понять, что журнал маловат?
Mark ☢️
Там где-то есть формула для вычисления размера журнала
Roman
а зачем вам cephfs?
Mark ☢️
Ну 1500. А какая разница ?
Mark ☢️
Ой да ну уж ладно
Mark ☢️
Даже самые говенные реалтеки дают гигабит.
Mark ☢️
Вот когда пакеты мелкие и много -- тут да. Но у нас не этот случай.
Mark ☢️
Кароче. По фтп или хттп вобще вопросв нет гигабит легко
Mark ☢️
Но с цефом ровно 600 мегабит
Mark ☢️
Цпу не уперлось нигде
Mark ☢️
Ставил пул размером один, так что ртт на свиче тоже не в счет
Mark ☢️
И да, на рбд гигабит в легкую
Mark ☢️
А в цеффс -- 600 мегабит
Sn00part
а если сверху cepfs вкрутить глустер, будет 100 максимум xD
Roman
Даже самые говенные реалтеки дают гигабит.
вот только печаль с числом очередей и вот этими оффлоадами. ну и виснут, да.
Pavel
Подкрутить то цеффс пробовал?
Pavel
попробовал у себя - 500 мбит на 10G LACP. Однако, RBD на том же кластере выдает не многим больше - 600 мбит. Но тут я думаю, что просто в кластер упираюсь, на самом деле - диски не очень и мало
Alex
а зачем вам cephfs?
Потому что у гластера проблемы со скоростью на мелких файлах. А масштабируемая файлуха нужна
kiosaku
хм, а для каких целей конкретно? есть те же hdfs, mogilefs
Alex
хм, а для каких целей конкретно? есть те же hdfs, mogilefs
Выше писал наши цели - почта и web. Возможно потом перетянем файловую шару. MogileFS - не слышал о такой, есть у неё комьюнити и когда она последний раз обновлялась? HDFS - ну я даже не знаю с какой стороны к ней подойти. Сколько слышал - народ в основном для бигдаты ее гоняет.
kiosaku
ну, насколько я в курсе, livejournal живёт на mogilefs, т.е. web
Pavel
GPFS еще неплоха
Pavel
по крайней мере из всего что мы пробовали она лучше всего себя показала, помимо cephfs
Mark ☢️
ceph tell osd.X bench что пишет?
mmarkk@mmwork:~$ for i in seq 0 9; do ceph tell osd.$i bench 2>&1 | awk '/bytes_per_sec/ { print $2/(1024*1024) }'; done
88.1536
72.5045
99.9248
129.35
85.6223
86.9348
100.581
103.983
91.1507
98.0721
Евгений
Mark ☢️
но у меня НЕ блюстор
Александр
😁
Mark ☢️
да
Mark ☢️
журналы на ссд
Александр
Xfs?
Александр
А маунт опции какие?
Mark ☢️
окей, но помогите мне с cephfs + 600 мегабит. куда копать?
Mark ☢️
даже пулы размером один ставил — один фиг. 600 мегабит
Александр
А он точно именно мегабит?
Mark ☢️
кто он
Александр
Ну скорость
Александр
Она