Anonymous
нигде не могу найти доков, только всякие обещания
Anonymous
а без LIO есть рецепты? тупое open-iscsi на rbd?
Anonymous
я просто вижу в ceph-ansible уже есть роль iscsigw
Anonymous
tgtd
Михаил
или как его там
Михаил
да
Михаил
@socketpair
Михаил
я находил)
Anonymous
хм, да пофигу
Anonymous
мне гипервизоры грузить с gpxe
Михаил
если есть время пересобрать, то было бы збс
Михаил
ну тогда и тгтд хватит
Anonymous
кроилово и попадалово
Anonymous
то, как у нас решили сделать)
Anonymous
но впрочем сейчас вообще главное запустить пруф
Sven
У кого нибудь в продакшене есть?
Sven
планирую хранилку на первое время на 30тб собрать
Sven
ceph
Sven
хочу попробывать в своем проекте
Logan
много у кого есть. Вы бы задавали вопросы по сути дела :)
Sven
на чем строили интересуют сеть сервера
Sven
как раскидывали pg и ssd кэш
Sven
планируется для дц под хранение медиа контента + live migration
Евгений
планируется для дц под хранение медиа контента + live migration
Как получать доступ будете RGW? RBD? CephFS?
Sven
rbd
Sven
в дальнейшем возможен rgw
Евгений
и виртуалки сверху?
Sven
хранение отдельно под виртуалки отдельный кластер
Евгений
а отдельный пул чем не угодил?
Sven
хранилище одно и разные пулы?
Евгений
ага. Оно какбы так и задумано
Евгений
Вы берете N мониторов (N%2!=0), M хостов с дисками, цепляете это все дело, а потом настраиваете CRUSHMAP (куда что пихать) и делаете на его основе нужные пулы
Евгений
потому что с одного хоста в разные кластеры цефа смотреть, это уже вот эта картинка
Евгений
Sven
)
Sven
понял
Sven
по железу какие коммутоторы юзаете?
Евгений
у меня два прода (рызные ДЦ), один на гигабите (там бекапы), на cisco 4507R+, второй на 10G cisco SG550XG
Mike
Такие, которые дают наименьшую латенси
Sven
netgear в продакшене ?
Sven
NETGEAR ProSAFE XS728T цена вкусная если + 2 сделать
Mike
А по латенси что с ним?
Mike
Можно взять white box и поставить на него кумулус
Sven
3.7 1.8
Sven
3.7 copper
Sven
1.8 sfp+
Sven
Ну это в даташите
Sven
микросекунд
Mike
На каком размере пакета?
Sven
в даташитах такого обычно не пишут
Pavel
кто-то крутил квоты в CephFS? Как я понял, квоты через setfattr работают только с userspace клиентом, а osd pool set quota нормально с CephFS не работает
Dmitry
Коллеги, привет. Ломаю копья об latency параметр для блочных устройств. У уважаемое стораджевика с хабра amarao есть некий скрипт, который в том числе считает латенцию для блочных устройств. он использует параметры из https://www.kernel.org/doc/Documentation/block/stat.txt . в знаменатель он подсовывает сумму операций на чтение + запись. а в числитель летят данные - read ticks milliseconds total wait time for read requests, write ticks milliseconds total wait time for write requests и time_in_queue milliseconds total wait time for all requests - так вот я не понимаю значение добавления последнего пункта - time in queue - если по идее мы это уже суммировали. спасибо
Dmitry
ссылка на скрипт - https://github.com/amarao/blktop
G72K
с момента как приложение захотело, до того как оно случилось
Dmitry
с time in queue замеряется end to end latency
Спасибо за комменатрий! Можете немного расширить понимание end-to-end latency - если у меня за минуту было 20+20 операций на чтение и на запись, со среднем временем выполнения каждой - 2 msec, то у меня получается 80 ms на 40 операций. Time in queue, соответственно, тоже будет 80 msec. я не могу понять, зачем мне умножать на два одно и тоже значение в числителе?
Dmitry
Или получается , read/write ticks - это время выполнения самих операций, а time in queue - это время только ожидания выполнения ? Тогда сумма этих величин выглядит логичной
Dmitry
Но немного не бьется с описание этих величин на kernel org
G72K
Или получается , read/write ticks - это время выполнения самих операций, а time in queue - это время только ожидания выполнения ? Тогда сумма этих величин выглядит логичной
Можно в коде посмотреть, но вроде все сходится - time in queue это очередь на выполнение, read/write ticks это само выполнение
G72K
Гораздо более детальные данные можно извлечь вот тут https://github.com/brendangregg/perf-tools
G72K
Там по IO latency есть много чего
Dmitry
Logan
Гораздо более детальные данные можно извлечь вот тут https://github.com/brendangregg/perf-tools
Грега надо читать целиком, он даже книги пишет. Вполне годные, кстати
G72K
Помню у него было видео, где он на диски кричал и они медленнее работали :)
Sven
)))) Господин HDD
G72K
так это был он?! 😀
я тоже не сразу узнал :) но солярка, dtrace на экранахх и знакомое лицо, хоть и сильно-сильно моложе, не оставляют других версий :)
Anonymous
ага у нас на той неделе такая фигня была, по мониторингу заметили. В серванте развалился вентелятор, вызывал вибрацию возле винта. И отлично видно было, как чем дальше винт, тем лучше работает
Anton
Что такое сервант?