Mark ☢️
https://tracker.openattic.org/browse/OP-2184
Mark ☢️
Почему-то в очень многих проекта принято не тестировать. Ну и как результат искаропки очень часто не работает
Михаил
Давайте оставаться в рамках тематики канала.
Михаил
Flood B @cloud_flood
Dmitry
Через rest api список пулов можно получить? что-то не нахожу там
Mark ☢️
рест-апи от чего ?
✠ FLASh ✠
ceph osd lspools не?
Pavel
rados lspools —format json =))
✠ FLASh ✠
kak listanut' pools v ceph?
Михаил
Что значит листануть?
✠ FLASh ✠
list
Dmitry
꧁Александр
Коллеги - помогите выбрать интересные доклады на DevOps - DevConf'17 https://devconf.ru/ru/offers/DevOps
Igor
почему на логотипе это конференции кто-то раздвигает задницу, простите?
Alexey
Dmitry
ceph-rest-api на 5000 порту который http://docs.ceph.com/docs/master/man/8/ceph-rest-api/
Dmitry
По умолчанию
bandys
Приветствую всех. Подскажите пожалуйста какой скорости записи реально добиться на 4 нодах на гигабитных сетях с 4 OSD на SATA дисками? Количество копий 2. Запись предполагается через RADOSGW, но если это не хорошо, то возможно изменение данного параметра. Спасибо
Mark ☢️
Приветствую всех. Подскажите пожалуйста какой скорости записи реально добиться на 4 нодах на гигабитных сетях с 4 OSD на SATA дисками? Количество копий 2. Запись предполагается через RADOSGW, но если это не хорошо, то возможно изменение данного параметра. Спасибо
6000 иопсов предельно на одну писалку (в виду RTT в сети)
Mark ☢️
при параллельном писани — больше
Mark ☢️
тоесть упрёшься в сеть при наличии правильных дисков
Mark ☢️
у мну как раз маленький кластер, я всё уже изъездил, но исльно таки не оптимизировал
Mark ☢️
без SSD под журналы лучше вобще даж не начинать
Mark ☢️
большие ссд не нужны для этой задачи
Mark ☢️
бэк сеть таки 10 гигабит надо. она реально сатуратится при бэкфиллинге
Mark ☢️
впрочем, зависит от количества дисков на каждой ноде
bandys
Тоесть журналы если перенести на ssd то сеть 1Гигабит вполне приемлемая система выйдет?
Евгений
Тоесть журналы если перенести на ssd то сеть 1Гигабит вполне приемлемая система выйдет?
а объемы у вас большие? таскать при бакфиллинге три терабайта в течение полутора суток - удовольствие так себе
bandys
а объемы у вас большие? таскать при бакфиллинге три терабайта в течение полутора суток - удовольствие так себе
Подразумевается пока до 1Tb. На старте 250Gb где та
Михаил
4 ноды по 4 диска в каждой итого 16 OSD. хуй с ним пусть будет чудо и 120 иопсов и диска
все равно максимум 2к
bandys
4 ноды по 1 диску в каждом
Александр
hdd io*qt osd
Александр
Но это всё равно грубый подсчёт
bandys
спасибо всем за ответы. Под журналы какой объем диска необходим. Есть какие та предпочтения? Я так понимаю они вообще могут быть минимальными. Надо просто быстрые
Александр
спасибо всем за ответы. Под журналы какой объем диска необходим. Есть какие та предпочтения? Я так понимаю они вообще могут быть минимальными. Надо просто быстрые
25гб ssd на 1 hdd где-то хватит, точнее не могу сказать.
Александр
Я взял ssd по 256гб
Александр
хватает на 4 диска
bandys
а принципиально если пишется один большой файл или куча мелких?
citius
вот на днях только поднял Ceph FS, 15 сата дисков в 3х серверах, сеть 10Г, журнал на SSD, по 10 гигов на OSD.
citius
fio с такими параметрами:
fio —randrepeat=1 —ioengine=libaio —direct=1 —gtod_reduce=1 —name=test —filename=test —bs=4k —iodepth=64 —size=4G —readwrite=randrw —rwmixread=75
citius
выхлоп получился примерно такой:
read : io=3071.7MB, bw=15986KB/s, iops=3996, runt=196754msec
write: io=1024.4MB, bw=5331.2KB/s, iops=1332, runt=196754msec
citius
RBD на этом же кластере чуть лучше показывает:
read : io=3071.7MB, bw=20148KB/s, iops=5036, runt=156115msec
write: io=1024.4MB, bw=6718.9KB/s, iops=1679, runt=156115msec
Alex
25гб ssd на 1 hdd где-то хватит, точнее не могу сказать.
Откуда такая цифра? Почему 25G на один osd, а не 5, 10 или вообще 30? Как делался расчёт размера журнала?
Михаил
Alex
вообще формулой)
Я читал документацию ))) думал подробности по конкретному размеру услышать. В стоковой настройке думаю этого объема излишне много.
Mike
Откуда такая цифра? Почему 25G на один osd, а не 5, 10 или вообще 30? Как делался расчёт размера журнала?
Да можно хоть двадцать мегабайт сделать. Вопрос, в том, сколько будет влетать на запись в osd за время между синками данных
bandys
по дефолту из руководства режет по 5Gb от террабайта под журналы
bandys
25 хорошо. много не мало :)
Mike
25 хорошо. много не мало :)
С такой логикой можно покупать 2-4тб ssd и отдавать под журналы, для 12 дисков
Alex
С такой логикой можно покупать 2-4тб ssd и отдавать под журналы, для 12 дисков
++ главное чтоб не со своего кармана оплачивать ssd )))
Mark ☢️
4 ноды по 4 диска в каждой итого 16 OSD. хуй с ним пусть будет чудо и 120 иопсов и диска
все равно максимум 2к
никакого чуда. в районе 200 иопсов на нормальном саташном диске.
Александр
никакого чуда. в районе 200 иопсов на нормальном саташном диске.
от 100 до 160) Ты о каком-то чуде рассказываешь
Mark ☢️
от 100 до 160) Ты о каком-то чуде рассказываешь
окей, давай замеряю на своих дисках. пиши как именно нужно мерять
Mark ☢️
да, у меня по 5Гб-ный кусок ссд под журнал на каждый магнитный диск.
Mark ☢️
@xolseg я жду. у меня свербит
Александр
Я тут вроде кидал свои проверки sata или не тут
Александр
Не помню..
Александр
Искать надо(
Александр
Кароч рандом чтение и запись
Александр
А, помнишь ты тестил запись ссд?
Александр
питон скрипт сделал
Александр
Я настройки оттуда утянул
Mark ☢️
не к чату упомянуто, прям как хрыч (слив когда дело доходит до конкретики)
Александр
и у тебя диски дали по 200 iops?
Mark ☢️
даже больше
Mark ☢️
чутьчуть
Mark ☢️
но ток крутые WD-шки с жёлтой наклейкой
Александр
А что за диски? Мы про sata же говорим, верно?
Александр
Ааа, у меня сегейтовские
Александр
кароч они дно ебаное
Mark ☢️
да уж