« Rev
@ceph_ru   153
Fwd »


Михаил
мм, а что значит слово RAID в пулах?)
Dmitry
EC в проде? круто
Dimonyga
Dimonyga
Старый кластер, тут всё подряд, в процессе разборки
Dimonyga
EC в проде отлично показал себя. используется jewel на базе ценоси
Dimonyga
Это одначает что OSD запущено на аппаратный райдах
Александр
Т.е. это не означает то что они в рейде, а просто работают через рейд? Или как
Александр
Не оч понял
Dimonyga
Нет, под OSD выделен диск который физически аппаратный RAID из SAS
Александр
Зачем? O_o
Александр
Смысл какой
VVSina
Скорость?
Dimonyga
! - скорость. 2 - бизнес критичные данные, резервирование адское будет. Еще недособрано, там будет больше дисков
VVSina
или что-бы в панику не улетало при отвале винта?
Dimonyga
В панику ниразу не улетало, даже на старых кластерах
Dimonyga
По поводу EC - могу сказать что оно работает, работает отлично, но крааааайне медленно
VVSina
так это у меня одного проблема, что если отваливается винт на котором висит osd - ось ултает в панику.?
Dimonyga
Насколько - видно из первого скрина
Dimonyga
при квоте 95 гигов - юзается 130+
Dimonyga
Пока да, будет 3
Dimonyga
Хост еще пока не освободили
Dimonyga
насколько?
если сейчас RAID пул выдает 1000+ IOPS, то EC пут на тех же дисках - максимум 100
Sergei
и на чтение есть ли такая же деградация?
Dimonyga
По чтению не скажу, почти всё в кэше. Профиль нагрузки базы данных больше на запись
Sergei
у вас RBD over EC?
Mike
Интересует соотношение K+M и какой алгоритм. У нас тоже был EC - на тестах показал себя отлично.
Dimonyga
one-raid и one-EC-raid находятся в дереве raid
Sergei
насколько отлично, какой был K/M, алгоритм и профиль использования.
Sergei
а то меня очень манит EC
Dimonyga
у вас RBD over EC?
Непонял немного вопроса.
Mike
Тестили ISA, jerasure 3+2. Оказалось offload на Intel CPU - не даёт ощутимого преимущества. Тестили так же SHEC в 3+1+1.
Mike
спрашивается видимо
Sergei
Тестили ISA, jerasure 3+2. Оказалось offload на Intel CPU - не даёт ощутимого преимущества. Тестили так же SHEC в 3+1+1.
на CPU нет просадок из-за оффлоада, ок. а iops'ы насколько просели от номинала?
Mike
2+1 bloom
bloom это фильтр для cachetier, спрашиваю про EC profile
Mike
на CPU нет просадок из-за оффлоада, ок. а iops'ы насколько просели от номинала?
Наш EC был для хранения данных с CCTV, последовательная запись, большие блоки, редкое чтение. Упор на пропускную способность.
Mike
внизу OSD на btrfs
Sergei
полоса по идее не должна просесть вообще, если действительно потоков мало.
Mike
просядет, т.к. данных по сети надо пересылать больше, чем в replicated
Mike
упираешься с backend сеть
Mike
ну и в cpu тоже
Dimonyga
[root@compute-13 scripts]# ceph osd erasure-code-profile get EC-2-1 jerasure-per-chunk-alignment=false k=2 m=1 plugin=jerasure ruleset-failure-domain=host ruleset-root=default technique=reed_sol_van w=8 [root@compute-13 scripts]# ceph osd erasure-code-profile get EC-profile jerasure-per-chunk-alignment=false k=3 m=2 plugin=jerasure ruleset-failure-domain=host ruleset-root=default rulesetfailure-domain=osd technique=reed_sol_van w=8
Dimonyga
внизу OSD на btrfs
И как себя brtfs показывает ? у меня полный dmesg ошибок был на Centos 7
Mike
И как себя brtfs показывает ? у меня полный dmesg ошибок был на Centos 7
ядро надо новое и btrfsprogs тоже. Живёт, проблем не даёт.
Dimonyga
Ну нафиг ядро ковырять/заменять. использую стандартное.
Dimonyga
Последнее время вообще пришел к выводу что менять заранее заложенное поведение - трудозатратно
Михаил
из реп
Dimonyga
elrepo-kernel ?? не, подводило пару раз, больше не юзаю
Mike
да, есть такое, надо больше движений для работы с btrfs. Зато оно проверяет при чтении crc блока и сразу выдаст наверх ошибку чтения, что даст ceph сигнал на востановление данных.
Mikhail
ядро надо новое и btrfsprogs тоже. Живёт, проблем не даёт.
а с какой версии ядра и btrfsprogs можно попробовать поюзать?
Mike
когда bluestore будет сталильный - на btrfs можно забить
Dimonyga
когда bluestore будет сталильный - на btrfs можно забить
Вот я тоже жду. тестили его, оно еще слишком сыро
Dimonyga
подробности?
Сейчас не вспомню. давно было. у меня epel и elrepo в ЧС. epel в очень крайних случаях подключаю, если без него совсем никак.
Mike
а с какой версии ядра и btrfsprogs можно попробовать поюзать?
у меня сейчас 4.8.6-1.el7.elrepo.x86_64 и btrfs-progs-4.4.1-1.el7. Хотя надо btrfs-progs собрать поновее.
Mike
им в плотную не занимаюсь сейчас, слежу и поддерживаю
Mike
вообще смотрим сюда: https://btrfs.wiki.kernel.org/index.php/Main_Page
Mike
Читаем. В частности это: https://btrfs.wiki.kernel.org/index.php/Changelog#By_feature
Dimonyga
А, во, вспомнил почему у меня epel в черном списке на ceph. Дело было давно, цепх стоял из epel 6, и при минорном обновлении у меня пропали все данные. просто чистый кластер. Было очень больно, потомучто часть данных он реально стер. Откатились - достали то что осталось, и поставили черную метку в документации
Dimonyga
но он же хочет какие-то пакеты из epel
yum install centos-ceph-jewel; yum install ceph - ничего не хочет
Михаил
хм, ну ладно
Mike
это я понимаю и ты понимаешь, но рядом с такими вещами надо писать "НЕ СУЙТЕ ТАКОЙ КОНФИГ В ПРОД!!!1111"
С двумя репликами жить можно, если подсчитаны риски. В комментарии ты описал основной риск. НО не описал ситуацию с "моргающими/прыгающими дисками".
Михаил
еще и в карму насрали)
Dimonyga
Прыгающие диски - это когда во время восстановления диски начинают тупо вываливаться и подниматься ?
Михаил
типо того
Михаил
а есть еще ООМ )
Dimonyga
о! кстати
Dimonyga
https://habrahabr.ru/post/324020/
Dimonyga
Что скажете ? может я дурак и считаю это хренью ? или оно реально требуется ?
« Rev
@ceph_ru   153
Fwd »