« Rev
@ceph_ru   187
Fwd »


Anonymous
исошка RHSCON может у кого есть? )
Михаил
Я подозреваю, что там не всё, но и то что есть мне понравилось
Radik
О, Ленар :)
Radik
Привет :)
Lenar
Привет!)
Logan
Есть русский переведенный вариант)
Книги на английском меня пугают меньше, чем корявые переводы ;)
Михаил
Книги на английском меня пугают меньше, чем корявые переводы ;)
я к тому, что можно ознакомиться с тем, что примерно будет в книге)
Dimonyga
Привет Уважаемое сообщество. Никто в продакшене не интегрировал самбу с цефом ? Нужен кейс, корпоративная хранилка с shadow copy. Человек на 15.
Dimonyga
Кхм .... https://www.mankier.com/8/vfs_ceph
Евгений
Кхм .... https://www.mankier.com/8/vfs_ceph
у cephfs в рекомендациях о годности в прод написано, что использовать снимки не стоит и для нее нет fsck
Dimonyga
у cephfs в рекомендациях о годности в прод написано, что использовать снимки не стоит и для нее нет fsck
Не внушает мне доверие этот shadow copy, но думаю попробую. Тем более заводить MDS сервера очень не хочется.
Евгений
Не внушает мне доверие этот shadow copy, но думаю попробую. Тем более заводить MDS сервера очень не хочется.
ну, закрытые файлы он слопает, а уж с открытыми - как повезет. Мы ушли от теневых шары и сопутствующих вещей в owncloud
Евгений
Агент + синхронизация ?
да. Плюс занятия с персоналом на тему того, что все версии ваших файликов вы можете выудить через веб-морду
Dimonyga
да. Плюс занятия с персоналом на тему того, что все версии ваших файликов вы можете выудить через веб-морду
Эххх ... вангуется мне что ниасилю. проще уж тогда поднять виндосервер + выкинуть ему большой диск по RBD
Dimonyga
да. Плюс занятия с персоналом на тему того, что все версии ваших файликов вы можете выудить через веб-морду
Занятия с персоналом - непосильная задача. в jira до сих пор загоняю людей.
Евгений
Эххх ... вангуется мне что ниасилю. проще уж тогда поднять виндосервер + выкинуть ему большой диск по RBD
С технической точки зрения. ставить owc - на так уж и сложно. Тем более, оно в виде докера есть.
Dimonyga
С технической точки зрения. ставить owc - на так уж и сложно. Тем более, оно в виде докера есть.
Не в этом дело. у меня с людьми плохо. Через 5 минут хочется убивать.
Artem
Я никак не могу понять как данные реплицируются, вот есть у меня есть osd.0 osd.1 osd.2 При реплике в 2, это означает, что на каждой osd есть какая то часть информации?
Artem
Просто будь osd.0 и osd.1 я бы сказал что они полностью дублируют друг друга, но нифига же не так?
Евгений
то есть, данные пилятся на pg pg по правилам crushmap рассовываются по osd
Artem
Зачем тогда объдиняют через crush несколько osd к одному хосту, проще же тогда все osd держать по одиночке
Artem
Так устойчивость у нас не по osd, а по хостам
А типа если упал хост == упала 1 osd. А сколько нужно целого кластера чтобы ничего не потерялось?
Artem
Так устойчивость у нас не по osd, а по хостам
А то есть crush картой мы только pg расскидываем, причем на уровне хостов?
Евгений
А то есть crush картой мы только pg расскидываем, причем на уровне хостов?
мы раскидываем так, как написано в карте. Там можно, например, задать, чтобы определенный пул (my_smart_ass_ssd) писался только на определенные osd
G72K
чтобы сначала писалось на тот, что по-быстрее :)
Grisha
https://www.sebastien-han.fr/blog/2015/12/21/ceph-crush-rule-1-copy-ssd-and-1-copy-sata/
Grisha
http://docs.ceph.com/docs/master/rados/operations/crush-map/
Grisha
rule ssd-primary
Artem
Всем привет! Из такого состояния он сможет восстановить себя? lth HEALTH_WARN 92 pgs backfill_wait 240 pgs degraded 1 pgs recovering 147 pgs recovery_wait 240 pgs stuck degraded 240 pgs stuck unclean 92 pgs stuck undersized 92 pgs undersized 4 requests are blocked > 32 sec recovery 22350/63100 objects degraded (35.420%) recovery 13161/63100 objects misplaced (20.857%) recovery 1623/31550 unfound (5.144%)
Artem
Таким образом его запускать - ceph osd lost 1?
Евгений
Таким образом его запускать - ceph osd lost 1?
А что у вас, диск сдох?
Artem
Ага, у меня сдох один из osd. Процесс рековери прошел, теперь так висит. Я что то не могу понять как восстановление запустить
Dimonyga
1 pgs recovering
Dimonyga
он рекаверится потихоньку. видимо лимит на рекавери задавали
Mikhail
а цифирки-то меняются? трафик есть?
Dimonyga
А как можно этот лимит посмотреть? =(
http://docs.ceph.com/docs/master/rados/configuration/osd-config-ref/#recovery
Artem
а цифирки-то меняются? трафик есть?
Было прямо много recovery io, а теперь просто ничего не происходит, только клиентский
Mikhail
может уперлось в веса осд или лимит по пг на осд, это так, что в голову пришло, но если процесс не идет - что-то не так
Artem
А нельзя его заставить рековериться в ручную?
Artem
cluster 31b2bbd4-8e1a-4031-a1eb-3d32d2ea4082 health HEALTH_WARN 92 pgs backfill_wait 240 pgs degraded 2 pgs recovering 146 pgs recovery_wait 240 pgs stuck degraded 240 pgs stuck unclean 92 pgs stuck undersized 92 pgs undersized 7 requests are blocked > 32 sec recovery 22351/63102 objects degraded (35.420%) recovery 13162/63102 objects misplaced (20.858%) recovery 1623/31551 unfound (5.144%)
Artem
Стало 2 pgs recovering, видимо действительно лимиты
Mikhail
количество-то не изменилось, ничего не происходит
Mikhail
наверное где-то здесь надо искать http://docs.ceph.com/docs/master/rados/troubleshooting/troubleshooting-pg/
Mikhail
http://docs.ceph.com/docs/master/rados/troubleshooting/troubleshooting-pg/#unfound-objects вот здесь про unfound
Artem
А нельзя как то в ручную заставить его recovery делать, хоть бы ошибку увидеть?
Anonymous
сколько дисков в кластере?
Anonymous
то что вывалилось заменить на живой. он (кластер) реплики сам сделает, правда если не урезана скорость, то клиенты будут негодовать
Artem
сколько дисков в кластере?
2 диска, дело в том что я удалил упавший osd
Artem
Было три, а должно было стать 4
Artem
Все по 4тб, занято 128 гиг
Artem
У меня пока 1 клиент винда с 1с в опенстеке, она сдохла :(
Александр
винда в опенстеке
Александр
ммм.. красота. 😊
Anonymous
по моим прикидкам, лучше 10 дисков по терику чем 2 по 5ТБ. дело в том, если size 3, то он будет ругаться что ему еще одну реплику некуда класть
Anonymous
действительно, какой size?
Anonymous
ceph osd tree можно?
Artem
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 7.28000 root default -2 3.64000 host osd01 0 3.64000 osd.0 up 1.00000 1.00000 -3 3.64000 host osd02 1 3.64000 osd.1 up 1.00000 1.00000
Anonymous
ceph osd pool get %you_pool_name% size
Artem
root@controller01:/home/fess# ceph osd pool get vms size size: 2
Anonymous
диски взад добавили?
Artem
Вообще дело было так. 1. Я создал osd.2 на 4Тб. Не получилось нормально добавить журнал на него из ssd. Я его снес, удалил раздел. 2. Решил убрать его из ceph. ceph osd rm osd.3
Anonymous
удаление обычно так бывает
Anonymous
ceph osd crush remove osd.<ID> ceph auth del osd.<ID> ceph osd rm <ID>
Anonymous
ну в мануале точно корректно
Евгений
ну в мануале точно корректно
Вот я и пишу, что согласно мануалу для удаления osd надо с бубном попрыгать, а АВТОР все свел к одной строке.
Anonymous
да и кластер из двух дисков как-то неубедительно. с тем же успехом raid-1 подошел бы
« Rev
@ceph_ru   187
Fwd »