Ну Майк, и про старуху бывает порнуха. Так, что если не случалось, это не значит что не случится однажды. У нас вон тож было резервирование всего важного. Но людская глупость безгранична, и на каждое хитрое резервирование, однажды найдётся свой идиот, который умудрится проиграть такой сценарий в жизни, что резервирование окажется бессильно. От такого конечно можно было бы защититься полным перемещением всех людей максимально далеко от серверов. Но их придётся заменить роботами/механикой, а роботы изготавливаются людьми. А люди ошибаются. В общем резервирования много не бывает. И резерв в пределах одного города это не резерв.

Я не говорю об этом. Мне не понятно, как нормально организованный цод, с внедреным itil, с регламентами, где нельзя просто так взять инструмент и пойти что-то крутить, может падать несколько раз в год?

Не м9 все же

Вроде все уже ушли от того угара и хаоса, творившегося на девятке

ааа

aws недавно падал, а ты о каких то российских цодах говоришь

тут всё решается калькулятором 2 так себе цода + резервирование между ними+человеко часы на это резервирование+человекочасы на поддержку этого решения VS один хороший цод

началоооось

на другой ноде

какого болта

2.5 тб на наоду. на ней 8 Гб оперативы

на другой 3.5 Тб

утечечка похоже

но радует, что всё само починилось, никто ничего типа не заметил

А вы тушите сервера когда кондеи сдыхают?

у нас был аварийный кондей с теплоаккумулятором и отдельно телефон конторы, которая привозит мобильный кондиционер в шасси от грузовика. Там рукав метрового диаметра, его можно протащить в серверную через обычные окна или двери

2.5 тб на наоду. на ней 8 Гб оперативы

маловато будет, а сколько OSD?

3 на каждой ноде

Двойная реплика что ли?

Люди, а как можно реплики посмотреть? Кейс такой есть сервер N1 = 2 osd(реплика двойная). Сейчас добавляю еще N2 = 2 osd. После этого хочу выключить N1. Как понять, что на N2 прилетела вся реплика и я могу безопасно вырубить N1

Люди, а как можно реплики посмотреть? Кейс такой есть сервер N1 = 2 osd(реплика двойная). Сейчас добавляю еще N2 = 2 osd. После этого хочу выключить N1. Как понять, что на N2 прилетела вся реплика и я могу безопасно вырубить N1

После ввода второй ноды проверить что репликация в крешкарте между хостами настроена и дождаться когда у кластера будет статус ОК ))))

Потом выводить первую

У меня есть установка, цепх, старой какой то версии, 5 серверов, все mon mds 2 osd. По 4 гига на каждой ноде.

После ввода второй ноды проверить что репликация в крешкарте между хостами настроена и дождаться когда у кластера будет статус ОК ))))

Спасибо! Понял! =)

Если все хорошо - своп не юзается.

к вопросу о том, что CEPH не очень быстрый. немного шаманим с /sys/block/$i/queue/nr_requests приправить страйпингом для RBD устройств и получаем 11к IOPS с 2х полок по 30 дисков или 180 IOPS с одного SATA диска

ну это так, набросить для оживления чатика)

маловато для ssd :)

всмысле для SSD?) сата диски же 6тб

а еще auth можно отключить

а еще auth можно отключить

не стоит имхо

шедулер тоже крутили?

шедулер дисков? ага

шедулер дисков? ага

кто-то советует deadline, кто-то - cfq

я на дедлайне и noop для журналов

к вопросу о том, что CEPH не очень быстрый. немного шаманим с /sys/block/$i/queue/nr_requests приправить страйпингом для RBD устройств и получаем 11к IOPS с 2х полок по 30 дисков или 180 IOPS с одного SATA диска

самое главное не написали - как именно шаманить? :)

/sys/block/$i/queue/nr_requests 1024 ) stipe_unit=256k stripe_count=16

ну это я так, с новой лабой ковыряюсь

а никто цефу bcache-нутые диски не подсовывал?

а подскажите, сейчас юзаю два независимых сервера на фринасе, с них по искази уходят тома на ESXi. Один тормозить стал, похоже фринас-приколы (диски в порядке), хочу попробовать мигрировать на цеф + LIO. ситуация осложняется тем, что диски разнобойные - сата и ссд, один сервер фулл ссд 12х1Т, а второй вразбивку. Предполагаю взять третий сервер, и мигрировать на него данные с каждого сервера, и в итоге получить три сервера в кластере цефа.

1) насколько реалистичный план

2) как с дисками поступить, сата/ссд? :)

по иопсам нагрузку сложно сказать (только косвенно), на одном сервере сейчас 10Г канал забивается на 2Г. второй (который с ссд) не особо нагружен.

но радует, что всё само починилось, никто ничего типа не заметил

Эт как ?)

Эт как ?)

как-как. системдэ перезапустил да и всё.

что это такое ?

это воще норм или нет?

когда я вижу слово CRC я начинаю пугаться

это воще норм или нет?

вас невестил скраб. Портрет Малышевой нагуглите и покажете себе самостоятельно.

а подскажите, сейчас юзаю два независимых сервера на фринасе, с них по искази уходят тома на ESXi. Один тормозить стал, похоже фринас-приколы (диски в порядке), хочу попробовать мигрировать на цеф + LIO. ситуация осложняется тем, что диски разнобойные - сата и ссд, один сервер фулл ссд 12х1Т, а второй вразбивку. Предполагаю взять третий сервер, и мигрировать на него данные с каждого сервера, и в итоге получить три сервера в кластере цефа.

тебя не смущает, что LIO + RBD только в федоре пока?

вас невестил скраб. Портрет Малышевой нагуглите и покажете себе самостоятельно.

ну я видел скрабы, но именно вот такие сообщения — ещё ни разу.

тебя не смущает, что LIO + RBD только в федоре пока?

да, я помню что ты про это рассказывал ) федора для прода совсем плоха?

по идее пакеты с нее могут и в центос встать

ну пересобери пакет под ценосЬ, помоги сообществу, чего уж)

да эт ладно, может и запарюсь. мне бы скорее архитектурные вопросы решить, что блин с этим всем делать

да норм план, крашмапой разрулишь где ссд, где сата

и пару таргетов на разных дисках?

на разных OSD

а подскажите, сейчас юзаю два независимых сервера на фринасе, с них по искази уходят тома на ESXi. Один тормозить стал, похоже фринас-приколы (диски в порядке), хочу попробовать мигрировать на цеф + LIO. ситуация осложняется тем, что диски разнобойные - сата и ссд, один сервер фулл ссд 12х1Т, а второй вразбивку. Предполагаю взять третий сервер, и мигрировать на него данные с каждого сервера, и в итоге получить три сервера в кластере цефа.

у меня ESXi начинал впадать в странную прострацию, когда я ему прицепил rbd с цефа через LIO, вероятно это начиналось при подлагивании цефа, особо не стал разбираться, перешел на нфс

а нфс с цефа?

а нфс с цефа?

ну да, с того же цефа

таргет был на центоси 7, ядро 4,10

а как с отказоустойчивостью решил? нфс маунт жеж по идее не умеет мультипас?

а как с отказоустойчивостью решил? нфс маунт жеж по идее не умеет мультипас?

в моем случае пока этот вопрос не подгорает, но можно замутить HA

через keepalived? вот не пробовал никогда с нфс и esxi такой конфиг. но если LIO фризит с RBD, то блин, реально, вариантов нет.

а как с отказоустойчивостью решил? нфс маунт жеж по идее не умеет мультипас?

там с LIO просто не очевидны эти проблемы возникают - через неделю или полторы потерял управление хостом ESXi - я сначала даже и не подумал на iscsi, но оказалось что дело в нем

https://www.sebastien-han.fr/blog/2012/07/06/nfs-over-rbd/

вот про нфс например

спс, почитаю

через keepalived? вот не пробовал никогда с нфс и esxi такой конфиг. но если LIO фризит с RBD, то блин, реально, вариантов нет.

начни с простого с tgtd + RBD

а никто цефу bcache-нутые диски не подсовывал?

я попробовал, но стало как ни-странно хуже, журнал положил в файлик на тот же bcache, но я не уверен в показательности этого моего опыта, возможно это из-за говенных ssd, может куплю 3610 и попробую еще раз, а может и нет, т.к. цеф пока никуда не могу пришить, все одни тесты, времени не хватает в рассылке был отчет человека, который использовал бкеш, он не сравнивал ничего, сказал только что проблем из-за скраба не наблюдал, что в принципе логично

а кто-нибудь тут rgw гоняет? Чото оно у меня сыпет через раз 403 ошибками. Инсталляция самая простейшая, civetweb фронтендом стоит

а в логах что

фронтенд умеет continue?

http 100 code

опытные коллеги, что скажете о книге Learning Ceph Сингха? Стоит потраченого времени?

читал. было интересно. по крайней мере как мануал с сайта, только структурировано. а в целом читать книги полезно )