Что получается?

о как! ceph-osd -i 146 —flush-journal SG_IO: bad/missing sense data, sb[]: 70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 SG_IO: bad/missing sense data, sb[]: 70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 *** Caught signal (Segmentation fault) ** in thread 7f6167366700 thread_name:ceph-osd ceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185) 1: (()+0x8f5fa2) [0x558e074a5fa2] 2: (()+0x10330) [0x7f616c56a330] 2017-07-07 13:36:20.379585 7f6167366700 -1 *** Caught signal (Segmentation fault) ** in thread 7f6167366700 thread_name:ceph-osd ceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185) 1: (()+0x8f5fa2) [0x558e074a5fa2] 2: (()+0x10330) [0x7f616c56a330] NOTE: a copy of the executable, or objdump -rdS <executable> is needed to interpret this. 0> 2017-07-07 13:36:20.379585 7f6167366700 -1 *** Caught signal (Segmentation fault) ** in thread 7f6167366700 thread_name:ceph-osd ceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185) 1: (()+0x8f5fa2) [0x558e074a5fa2] 2: (()+0x10330) [0x7f616c56a330] NOTE: a copy of the executable, or objdump -rdS <executable> is needed to interpret this. Ошибка сегментирования (сделан дамп памяти)

то есть сбросить журнал не выходит

О как. И наверное, OSD и не стартует?

стартует

но остается inconsistent

Чего-т похоже на то что журнал тоже битый...

Что с этим можно сделать?

А когда flush делаешь объект на месте или нет его?

на месте

Это битый или замененный? И если попробовать убрать?)

в этом случае все 3 объекта совпадают

или попробовать убрать на ноде, где ошибка в логе?

Стооп.

Убрать объект нужно там где он битый. Так?)

но md5 на всех нодах совпадает

Ошибка в логе только на одной ноде, где основная копия.

Всем привет! А кто-нить делал миррор сефа на другой?

rbd-mirror штоле?

я-я, он самый, интересуют подводные камни, как хорошо работает

я-я, он самый, интересуют подводные камни, как хорошо работает

при включении journaling падают IOPS-ы )

так, это понятно, сильно? и можно ли обойтись без журналирования?

так, это понятно, сильно? и можно ли обойтись без журналирования?

а как ты собираешься мирорить без журнала?

а как ты собираешься мирорить без журнала?

Хуёво)

я пока не знаю, будем поднимать сейчас 2 сефа и смотреть. Параллельно читаю и разбираю вопрос по теме....

спасибо за ответы кстати

Хуёво)

Оно и с журналом то не очень)

😄

Ну если не сторить там бизнес-критикал дейту, то норм

Оно и с журналом то не очень)

Т.е. оно пока медленное?

Т.е. оно пока медленное?

Ну как тебе сказать

Если вынести журнал на ssd?

Чувствую люминоус выйдет в свет к декабрю

Чувствую люминоус выйдет в свет к декабрю

ноябрь обычно

ноябрь обычно

Обещали жеж до лета...

Печаль

ну в опенсорсе ты либо плати за энтерпрайз солюшн, либо "жди до ноября"

Чот ваще не понял к чему это)

нет, но там проще повлиять на скорость допиливания

нет, но там проще повлиять на скорость допиливания

Бабками и истериками менеджеров? Чего-т не замечал)

обычно так и есть

обычно так и есть

Неа

Ты там так же ждешь

я не говорю, что тебе мгновенно допиливают. Я лишь говорю о том, что в платной версии ты можешь сильнее повлиять на скорость релиза нужной фичи

Ага. И если девяти барышням заплатить по over 9k баксов, они за один месяц родят здорового малыша, говорят.

Но тут не об этом, короче)

не совсем корректная аналогия

но да ладно

Ребят

а никто не пробовал запускать swarm на ceph

там же можно отлично разместить бд или еще че-нить для шаринга

а никто не пробовал запускать swarm на ceph

Docker swarm?

да

по идее они неплохо подойдут

если файловую систему прокидывать, не блочное устройство

а никто не пробовал запускать swarm на ceph

у меня kubernetes работает поверх ceph. Пока тестируем, но нареканий нет. Но мы используем RBD

у меня kubernetes работает поверх ceph. Пока тестируем, но нареканий нет. Но мы используем RBD

Пофиксил баг?

как ни странно, да - в 1.6.6 все уже работает как задумано

а если тома вручную выдавать - работало с самого начала

Ошибка в логе только на одной ноде, где основная копия.

И чо. Починил в итоге ?

И да, чойта после сбоя питания косяк? Подозрительео

И проверь память мемтестом

Одна pg поднялась в результате, две нет. Пришлось пересоздать osd.

http://www.ebay.com/itm/182453170890

Вот для днищебродов. Я уже заказал.

у меня kubernetes работает поверх ceph. Пока тестируем, но нареканий нет. Но мы используем RBD

А как вы используете rbd? Монтируете на каждую ноду? А с файловой системой как быть

А как вы используете rbd? Монтируете на каждую ноду? А с файловой системой как быть

Нет, я подключаю их как тома. Форматирование происходит в момент клейма.

Дайте лучше ссыль, где почитать про тиринг, только что б понятно было написано

В документации понятно ж написано вроде?

Эм, я тупой наверное, но не нашёл

Эм, я тупой наверное, но не нашёл

Ну вот) http://docs.ceph.com/docs/master/rados/operations/cache-tiering/

Ага, спасибо.

Знаю почему не нашёл, неправильно tiering писал, очепятка сраная

А он реально работает? тиринг в смысле.

Мож кто использует и расскажет, но пока, как понял, годится только для тех мест где у тебя надо хранить много холодных данных, а при этом то что должно быть горячим должно помещаться в кэш пул.

Мож кто использует и расскажет, но пока, как понял, годится только для тех мест где у тебя надо хранить много холодных данных, а при этом то что должно быть горячим должно помещаться в кэш пул.

Теория или практика?)

Теория или практика?)

практика. в теории все работает. 😊

:D

Теория. На практике не пользовался, но из того что читал понятно как оно работает.

Мож кто использует и расскажет, но пока, как понял, годится только для тех мест где у тебя надо хранить много холодных данных, а при этом то что должно быть горячим должно помещаться в кэш пул.

вопрос еще в гранулярности при работе например с rbd. т.е. оно в кеш вытянет целиком rbd или то что с него нужно?