@pro_openstack
Марк ☢05.11.2016
10:53:33
10:53:33
Сейчас будет серия вопросв про цеф :)
Первый: допустим мы юзаем рбд и у нас пул размером три. Верно ли что, что все операции чтения и записи первого сектора этого рбд девайса всегда идут к некому примари осд ?
Ильдар06.11.2016
18:45:04
18:45:04
хм, в XFS тоже 5 и 6 рейд не работают.
а еще в ней не работает 1-й рейд. его в ней тупо нет.
я думаю, что этим (соотношением количества работающих фич к количеству неработающих) она нещадно рвет btrfs.
тут недавно писали о рейде на xfs? это как? Рейд средствами файлухи?GoogleМарк ☢06.11.2016
18:45:38
18:45:38
Ильдар06.11.2016
18:45:51
18:45:51
отстал я... )
Марк ☢06.11.2016
18:46:04
18:46:04
Но оно там плохо работает и глючит. Не надо.
Ильдар06.11.2016
18:46:06
18:46:06
а то мдадм да мдадм
Марк ☢06.11.2016
18:46:45
18:46:45
Мдадм тоже имеет проблемы. Большие.
Ильдар06.11.2016
18:46:49
18:46:49
в чатике потихоньку читаю хайп по бтрфс и пока не планирую её использовать
у мдадм знаю проблему в 10 рейде
разваливался он
Марк ☢06.11.2016
18:47:06
18:47:06
Какую
Ильдар06.11.2016
18:47:32
18:47:32
возможно уже пофикшено, багу года 4 точно
Марк ☢06.11.2016
18:47:48
18:47:48
Пфффф. Самая жесть - это O_direct на рэйде. Приводит к рассогласованию копий. Типа фича а не баг. Лично триггерил
Старый06.11.2016
18:49:24
18:49:24
btrfs raid 10 прекрасно работает на 20 дисках ещё с 2013 года с однйо конторе
Марк ☢06.11.2016
18:50:25
18:50:25
Если не включать. Или если писать пол байта в год
GoogleИльдар06.11.2016
18:58:24
18:58:24
Какую
не могу найти, был какой-то баг с рассинхроном в raid10 на высоких IOPSах, из-за этого советовали юзать вложенный 1+0Марк ☢06.11.2016
19:00:20
19:00:20
Наверно O_DIRECT включенный в виртуалках поверх него
Я даже в деталях могу рассказать какого болта он происходит.
Ильдар06.11.2016
19:01:36
19:01:36
btrfs raid 10 прекрасно работает на 20 дисках ещё с 2013 года с однйо конторе
вот у меня сейчас стоит выбор сторейджа для докера, или использовать родной DM+xfs в centos7 или btrfs...
Дело в том, что на 2xsata mdadm 1 все очень медленно работает...Марк ☢06.11.2016
19:01:56
19:01:56
Если центос 7 то не бтрфс
Ильдар06.11.2016
19:02:04
19:02:04
на SSD + DM+xfs работает более менее
Марк ☢06.11.2016
19:02:10
19:02:10
Бтрфс надо на раснаиспоследнейшем ядре
Старый06.11.2016
19:02:16
19:02:16
вот у меня сейчас стоит выбор сторейджа для докера, или использовать родной DM+xfs в centos7 или btrfs...
Дело в том, что на 2xsata mdadm 1 все очень медленно работает...
https://docs.docker.com/engine/userguide/storagedriver/btrfs-driver/Марк ☢06.11.2016
19:02:44
19:02:44
И бтрфс официально заявляют, что рэйдовая функциональность имеет глюки
Старый06.11.2016
19:03:03
19:03:03
Марк ☢06.11.2016
19:03:21
19:03:21
К слову, говорят cephfs штабильный стал
Ильдар06.11.2016
19:03:36
19:03:36
вообще послушав доклады бадушников есть смысл посмотреть в сторону overlay, но тут опять для centos7 штатно не ставится.
Марк ☢06.11.2016
19:03:41
19:03:41
Старый06.11.2016
19:03:47
19:03:47
Ильдар06.11.2016
19:04:07
19:04:07
я то убунту не хочу, а ты мне федору предлагаешь)
Старый06.11.2016
19:04:31
19:04:31
Марк ☢06.11.2016
19:04:43
19:04:43
Вотэто поворот!
Старый06.11.2016
19:05:07
19:05:07
я fedora юзаю и rhel/centos, сейчас rhel очень много людей на тестирование fedora выделил
стабильный релиз fedora сейчас более стабильный и отттестированный чем убунта lts
Марк ☢06.11.2016
19:05:53
19:05:53
Чем докажешь ?
GoogleИльдар06.11.2016
19:06:03
19:06:03
а жизненый цикл у неё длинный?
Старый06.11.2016
19:06:25
19:06:25
а жизненый цикл у неё длинный?
3 года при желании и обновление на следующий стабильный релиз без проблемИльдар06.11.2016
19:06:30
19:06:30
все федоры которые мне попадались, давно висели без обнов
Марк ☢06.11.2016
19:07:04
19:07:04
Вместо дистросрача, скажите, есть кто в цеф знает ?
Старый06.11.2016
19:07:28
19:07:28
Марк ☢06.11.2016
19:07:41
19:07:41
Напиши ник его
Pavel06.11.2016
19:08:28
19:08:28
тут недавно писали о рейде на xfs? это как? Рейд средствами файлухи?
Ну некоторые юзают железный рейд под осдСтарый06.11.2016
19:09:15
19:09:15
а так и гасить не надо
Марк ☢06.11.2016
19:09:18
19:09:18
Временно запаузив ребалансинг
Старый06.11.2016
19:09:19
19:09:19
вынул, вставил
Марк ☢06.11.2016
19:09:32
19:09:32
Зато дорого. И геморнее
Марк ☢06.11.2016
19:09:59
19:09:59
Я понимаю
Старый06.11.2016
19:10:01
19:10:01
а там 5-6 хардвардный рейд
GoogleМарк ☢06.11.2016
19:10:25
19:10:25
Теряешь в дисках. Имхо лучше каждый диск к своему осд подцепить
И настроить размер пула
Старый06.11.2016
19:11:09
19:11:09
Теряешь в дисках. Имхо лучше каждый диск к своему осд подцепить
если нужно работать 364/7/24 то проще, чтобы смерть 1-2 дисков была незаметнакак и их замена
Марк ☢06.11.2016
19:12:21
19:12:21
если нужно работать 364/7/24 то проще, чтобы смерть 1-2 дисков была незаметна
Ну цеф же искаропки это дает. По определению.Старый06.11.2016
19:12:43
19:12:43
Марк ☢06.11.2016
19:12:53
19:12:53
Дропнулся диск ¬ идешь меняешь диск без перестройки массива
Перестройку можно временно приостановить в цефе до вставления диска.Pavel06.11.2016
19:13:01
19:13:01
Ильдар06.11.2016
19:13:10
19:13:10
Я лично стараюсь по минимуму использовать железный рейд, проще диски видеть в системе да и своп сделать не сложно. Хотя многие контроллеры уже не дают в систему чистые диски, только с абстракцией
Pavel06.11.2016
19:13:10
19:13:10
Чудес то не бывает
Старый06.11.2016
19:13:47
19:13:47
Я лично стараюсь по минимуму использовать железный рейд, проще диски видеть в системе да и своп сделать не сложно. Хотя многие контроллеры уже не дают в систему чистые диски, только с абстракцией
если аппаратный рейд дешевле 500 баксов, он хуже чем программныйэто реалии
Марк ☢06.11.2016
19:13:53
19:13:53
Чудес то не бывает
В чем проблема. Цеф с пулом в размере два эт тоде самое что все диски со своим зеркаломPavel06.11.2016
19:13:54
19:13:54
Перестройку можно временно приостановить в цефе до вставления диска.
А потом у тебя дропается второй диск в другом сервере и приплылиСтарый06.11.2016
19:14:23
19:14:23
В чем проблема. Цеф с пулом в размере два эт тоде самое что все диски со своим зеркалом
не совсем, просадка по записи будет видна сразу, особенно, если пишет много устройствМарк ☢06.11.2016
19:14:24
19:14:24
А потом у тебя дропается второй диск в другом сервере и приплыли
А если ты меняешь диск в рейде и его второе зеркало навернулось ?Ильдар06.11.2016
19:14:45
19:14:45
если аппаратный рейд дешевле 500 баксов, он хуже чем программный
спорить не буду, т.к. не работал с такими железками)Марк ☢06.11.2016
19:14:54
19:14:54
не совсем, просадка по записи будет видна сразу, особенно, если пишет много устройств
Зависит от приоритета синканья в цефеPavel06.11.2016
19:15:11
19:15:11
А если ты меняешь диск в рейде и его второе зеркало навернулось ?
Тогда просто осд недоступна. А в случае двух дисках в двух серверах у тебя две реплики пропадаютGoogleМарк ☢06.11.2016
19:15:39
19:15:39
Марк ☢06.11.2016
19:16:25
19:16:25
Я не успеваю отвечать :)
Кароч. Просадка по записи будет в обоих случаях. В конце концов, должен же апп рейд откудато читать копию при восстановлении
Либо если он это будет делать неактивно то все висит на волоске
Старый06.11.2016
19:17:56
19:17:56
Кароч. Просадка по записи будет в обоих случаях. В конце концов, должен же апп рейд откудато читать копию при восстановлении
если у тебя 10-15 машин в которых 5 raid, это лучше чем если у тебя 10-15 машин по 3 osdМарк ☢06.11.2016
19:18:16
19:18:16
Пока не понял чем это лучше
Старый06.11.2016
19:18:26
19:18:26
замена проще
Марк ☢06.11.2016
19:18:37
19:18:37
Да ёмоё
Pavel06.11.2016
19:18:47
19:18:47
Тут логика в том, что переставить диск - это команда филд инженеру. А перестройка кластера это все таки чуть сложнее
Т.е. Сопровождение по идее легче
Старый06.11.2016
19:19:24
19:19:24
Тут логика в том, что переставить диск - это команда филд инженеру. А перестройка кластера это все таки чуть сложнее
? у меня 2 эникея вообще кластер будут делать используя то, что я писалМарк ☢06.11.2016
19:19:41
19:19:41
Зато когда 30-45 осд параллелится клево. Можно одни пулы размером три делать а другие один.
Гибчее кагбе
Старый06.11.2016
19:20:18
19:20:18
Зато когда 30-45 осд параллелится клево. Можно одни пулы размером три делать а другие один.
а поддерживать это как? вот завтра ты уволился, доку написать не успел, кто поймёт это сразу?Pavel06.11.2016
19:20:41
19:20:41
В целом то я тоже против рейда на осд
Марк ☢06.11.2016
19:20:47
19:20:47
Пфффф. Ровно также как и с рэйдами. Только проще. Не нужно доку на рэйды :)
Pavel06.11.2016
19:20:48
19:20:48
Но логика мне понятна
Марк ☢06.11.2016
19:21:57
19:21:57
И еще. Можно произвольное колво винтов на одном компе. Тож удобство
Без перестройки рэйда.
Старый06.11.2016
19:22:18
19:22:18
Пфффф. Ровно также как и с рэйдами. Только проще. Не нужно доку на рэйды :)
у большей части аппаратных рейдов уже всё проще некуда
Открыть в Telegram