« Rev
@ceph_ru   46
Fwd »


Mark ☢️
Сейчас будет серия вопросв про цеф :)
Mark ☢️
Первый: допустим мы юзаем рбд и у нас пул размером три. Верно ли что, что все операции чтения и записи первого сектора этого рбд девайса всегда идут к некому примари осд ?
Ильдар
отстал я... )
Mark ☢️
Но оно там плохо работает и глючит. Не надо.
Ильдар
а то мдадм да мдадм
Mark ☢️
Мдадм тоже имеет проблемы. Большие.
Ильдар
в чатике потихоньку читаю хайп по бтрфс и пока не планирую её использовать
Ильдар
у мдадм знаю проблему в 10 рейде
Ильдар
разваливался он
Mark ☢️
Какую
Ильдар
возможно уже пофикшено, багу года 4 точно
Mark ☢️
Пфффф. Самая жесть - это O_direct на рэйде. Приводит к рассогласованию копий. Типа фича а не баг. Лично триггерил
Anonymous
btrfs raid 10 прекрасно работает на 20 дисках ещё с 2013 года с однйо конторе
Mark ☢️
Если не включать. Или если писать пол байта в год
Ильдар
Какую
не могу найти, был какой-то баг с рассинхроном в raid10 на высоких IOPSах, из-за этого советовали юзать вложенный 1+0
Mark ☢️
Наверно O_DIRECT включенный в виртуалках поверх него
Mark ☢️
Я даже в деталях могу рассказать какого болта он происходит.
Ильдар
btrfs raid 10 прекрасно работает на 20 дисках ещё с 2013 года с однйо конторе
вот у меня сейчас стоит выбор сторейджа для докера, или использовать родной DM+xfs в centos7 или btrfs... Дело в том, что на 2xsata mdadm 1 все очень медленно работает...
Mark ☢️
Если центос 7 то не бтрфс
Ильдар
на SSD + DM+xfs работает более менее
Mark ☢️
Бтрфс надо на раснаиспоследнейшем ядре
Mark ☢️
И бтрфс официально заявляют, что рэйдовая функциональность имеет глюки
Anonymous
Если центос 7 то не бтрфс
почему? подключаешь rep и получаешь свежий драйвер btrfs
Mark ☢️
К слову, говорят cephfs штабильный стал
Ильдар
вообще послушав доклады бадушников есть смысл посмотреть в сторону overlay, но тут опять для centos7 штатно не ставится.
Mark ☢️
почему? подключаешь rep и получаешь свежий драйвер btrfs
Что подключаешь (стыдливо спрашиваю) ?
Anonymous
на SSD + DM+xfs работает более менее
если будешь смотреть btrfs, то бери fedora server
Ильдар
я то убунту не хочу, а ты мне федору предлагаешь)
Anonymous
я то убунту не хочу, а ты мне федору предлагаешь)
fedora стабильнее и более оттестирована чем убунта
Mark ☢️
Вотэто поворот!
Anonymous
я fedora юзаю и rhel/centos, сейчас rhel очень много людей на тестирование fedora выделил
Anonymous
стабильный релиз fedora сейчас более стабильный и отттестированный чем убунта lts
Mark ☢️
Чем докажешь ?
Ильдар
а жизненый цикл у неё длинный?
Anonymous
а жизненый цикл у неё длинный?
3 года при желании и обновление на следующий стабильный релиз без проблем
Ильдар
все федоры которые мне попадались, давно висели без обнов
Mark ☢️
Вместо дистросрача, скажите, есть кто в цеф знает ?
Anonymous
Вместо дистросрача, скажите, есть кто в цеф знает ?
шихоид но он пьёт пиво сегодня, жди понедельника
Mark ☢️
Напиши ник его
Anonymous
винда, рабочий федора
вот его ник
Anonymous
Но зачем
пробы проще менять диски было
Mark ☢️
Типа чтобы единичный осд быстрый был ?
Mark ☢️
Так гаси целый осд и все.
Anonymous
а так и гасить не надо
Mark ☢️
Временно запаузив ребалансинг
Anonymous
вынул, вставил
Mark ☢️
Зато дорого. И геморнее
Anonymous
чем геморнее?
Anonymous
система думает, что у тебя 1 диск
Mark ☢️
Я понимаю
Anonymous
а там 5-6 хардвардный рейд
Mark ☢️
Теряешь в дисках. Имхо лучше каждый диск к своему осд подцепить
Mark ☢️
И настроить размер пула
Anonymous
Теряешь в дисках. Имхо лучше каждый диск к своему осд подцепить
если нужно работать 364/7/24 то проще, чтобы смерть 1-2 дисков была незаметна
Anonymous
как и их замена
Pavel
Но зачем
Дропнулся диск ¬ идешь меняешь диск без перестройки массива
Mark ☢️
если нужно работать 364/7/24 то проще, чтобы смерть 1-2 дисков была незаметна
Ну цеф же искаропки это дает. По определению.
Anonymous
Ну цеф же искаропки это дает. По определению.
вообщет только при избыточности и не малой
Mark ☢️
Дропнулся диск ¬ идешь меняешь диск без перестройки массива
Перестройку можно временно приостановить в цефе до вставления диска.
Pavel
Ну цеф же искаропки это дает. По определению.
Ну как. Если диски медленные, то будет просадка
Ильдар
Я лично стараюсь по минимуму использовать железный рейд, проще диски видеть в системе да и своп сделать не сложно. Хотя многие контроллеры уже не дают в систему чистые диски, только с абстракцией
Pavel
Чудес то не бывает
Anonymous
это реалии
Mark ☢️
Чудес то не бывает
В чем проблема. Цеф с пулом в размере два эт тоде самое что все диски со своим зеркалом
Pavel
Перестройку можно временно приостановить в цефе до вставления диска.
А потом у тебя дропается второй диск в другом сервере и приплыли
Anonymous
В чем проблема. Цеф с пулом в размере два эт тоде самое что все диски со своим зеркалом
не совсем, просадка по записи будет видна сразу, особенно, если пишет много устройств
Mark ☢️
А потом у тебя дропается второй диск в другом сервере и приплыли
А если ты меняешь диск в рейде и его второе зеркало навернулось ?
Ильдар
если аппаратный рейд дешевле 500 баксов, он хуже чем программный
спорить не буду, т.к. не работал с такими железками)
Pavel
А если ты меняешь диск в рейде и его второе зеркало навернулось ?
Тогда просто осд недоступна. А в случае двух дисках в двух серверах у тебя две реплики пропадают
Pavel
man min_size
Pavel
Две потерянные реплики в тройном пуле - это остановка IO
Mark ☢️
Я не успеваю отвечать :)
« Rev
@ceph_ru   46
Fwd »