Одна сеть под всё?

Т.е. интерфейс

(сейчас да, но это маразм)

А чего не 2?

опс. тултип затесался

вот поэтому

Хм, непонятно ну да ладно

osd_mount_options_xfs = rw,noatime,inode64,logbsize=256k

вот это ещё нахлобучил для пущего ускорения

А как понять, что именно мне деплойилка задеплоила ?

Деплоилка умеет либо простые осд, либо с блюстором (--bluestore). Если хочется блюстор без блюфс - мы скриптом делали

вот оно чо михалыч

Да и не нужно оно уже наверное. Заодно там есть мильон tunables для того чтобы осд не жрал столько памяти

где "там" ?

Потому что если у тебя блюстор - то на каждый OSD будет по гигу своего кэша

а напаркуа ?

И до 4*256mb буферов rocksdb в пике

в линупсе же и так есть свой пейджкэш

Ну видимо потому что с блочным устройством оно работает не так как им хотелось

Блюстор же работает с rawdisk

Какие опции сейчас скину

давай

Итого: * Уменьшить rocksdb WAL buffers: "bluestore_rocksdb_options": "compression=kNoCompression,max_write_buffer_number=4,min_write_buffer_number_to_merge=1,recycle_log_file_num=4,write_buffer_size=268435456", (по умолчанию *до* 4*256МБ). Если диски медленные - можно хоть 2*32, сколько конкретно - надо тестить * Уменьшить размер кэша самого bluestore: bluestore_cache_size, по дефолту гиг. (где опции - см. config_opts.h из ссылки выше)

https://fossies.org/linux/ceph/src/common/config_opts.h ссылко

у меня на 2 Тб винт 500 метров оперативы жрёт.

Это все получено методом легкого бдсм в канале #ceph-devel

у меня на 2 Тб винт 500 метров оперативы жрёт.

Обычный или блюстор? Там при recovery буферы распухают кажется

блюстор

у меня все 6 осд — блюстор

Хммм.

Я сейчас создал с разными настройками и ушел с работы

а зависит от фактического количества ПГ на этом винте ?

И вообще я болею

а зависит от фактического количества ПГ на этом винте ?

Кстати м.б.

щас попробую засрать по самое небалуйся

в кракене будет превью, в L обещают, что станет основным.

В Kraken релиз вроде уже

Кракен сам по себе по сути rc

В Kraken релиз вроде уже

нормальный? я пруф щас не найду, но не будет как с btrfs, которую разработчики и хрыч считают стабильной, а на деле... я слышал просто что в kraken релизнут, и только в L сделают рекомендуемой.

По-любому в прод можно думать только начиная со следующего

нормальный? я пруф щас не найду, но не будет как с btrfs, которую разработчики и хрыч считают стабильной, а на деле... я слышал просто что в kraken релизнут, и только в L сделают рекомендуемой.

ну я просто ни как не могу пройти мимо этой фразы (про заявления разработчиков о стабильности релиза): на словах он князь Болконский, а на деле анус конский

Деплоилка умеет либо простые осд, либо с блюстором (--bluestore). Если хочется блюстор без блюфс - мы скриптом делали

А можно подробнее о bluestore, его стабильности и производительности

По-любому в прод можно думать только начиная со следующего

Ссыкло)

В кракене стабилизировался дисковый формат блюстора

По-любому в прод можно думать только начиная со следующего

а я хочу попробовать и рискнуть. один хрен бекапы надо делать.

А именно в 11.1.0

По-любому в прод можно думать только начиная со следующего

Но на стенде то можно, да?:)

но перед этим хочу всякие ситуации продёргать — в т.ч. аварийные

По производительности хорошо, но пока с памятью не очень т.к. все вручную

Но на стенде то можно, да?:)

На стенде можешь хоть осд в квмах гонять

но перед этим хочу всякие ситуации продёргать — в т.ч. аварийные

Подергай внезапное повышение задержки и немного лоссов по кластерной сети, ну как если бы линк забился

Как раз эксперт в чате есть

На стенде можешь хоть осд в квмах гонять

Бу бу бу

Ну и кто вообще говорил что блюстор - прод? У них только к 11.1.0 появилось приглашение тестировать на некритичных данных

Подергай внезапное повышение задержки и немного лоссов по кластерной сети, ну как если бы линк забился

спс за идею — сделаю и это

Ну и кто вообще говорил что блюстор - прод? У них только к 11.1.0 появилось приглашение тестировать на некритичных данных

а у них есть вобще кноун багс ?

О, точно. при бэкфиллинге стло память жрать

в 2 раза увеличилось

У кого-то (grnet?) еще на хаммере была проблема что некие несколько осд на одном хосте пытались пометить весь остальной кластер как down :)

А весь остальной кластер - пометил их:)

в увеличил pg_num у пула и пошёл перчинг

У кого-то (grnet?) еще на хаммере была проблема что некие несколько осд на одном хосте пытались пометить весь остальной кластер как down :)

У меня только единично такое было на разных осд

Сетепроблемы?

Скорее нагрузкопроблемы

Осд не отвечала вовремя

спс за идею — сделаю и это

Я надеюсь ты как хороший мальчик потом напишешь пост или хотя бы табличку, которую мы вынесем в вики канала?

Я надеюсь ты как хороший мальчик потом напишешь пост или хотя бы табличку, которую мы вынесем в вики канала?

хммм. я готов вот что сделать — с вас идея — с меня реализация и результаты

идея в плане того что именно сделать

хммм. я готов вот что сделать — с вас идея — с меня реализация и результаты

Ну идею тебе дали. Ты главное напиши конфиг. Диски, сеть, параметры фио

Что бы мы понимали

окей. прям сюда дампить?

Еще интересно как себя ведет конкретная осд если она отдает данные но из-за глюка железа именно на ней вдруг резко снизился iops

Еще интересно как себя ведет конкретная осд если она отдает данные но из-за глюка железа именно на ней вдруг резко снизился iops

Типо латенси ответа зашкаливает?

Ну например да

Еще интересно как себя ведет конкретная осд если она отдает данные но из-за глюка железа именно на ней вдруг резко снизился iops

это видимо можно просимылировать только так — на этом осд рандомно с помощью фио читать напрямую с девайса — чтобы сожрать иопсы

Кейс: убитый ssd

Ну например да

На текущий момент это приводит к падению иопс всего кластера

Зачем симулировать? Просто каким параметром это управляется, я хочу такую осд поставить в down

Зачем симулировать? Просто каким параметром это управляется, я хочу такую осд поставить в down

што?

Т.е. наш метод - если вдруг какие-то пг начинают дурить, лезем в мониторинг и смотрим латенси, идем и убиваем дурную осд, если это возможно?

Т.е. наш метод - если вдруг какие-то пг начинают дурить, лезем в мониторинг и смотрим латенси, идем и убиваем дурную осд, если это возможно?

как посмотреть латенси по конкретной пг ?

Но сама осд не может себя выбить из кластера если под ней диску явно плохо?

Но сама осд не может себя выбить из кластера если под ней диску явно плохо?

помнится я вроде об этом читал

как посмотреть латенси по конкретной пг ?

Скорее по диску :)

Я помню там есть что-то типа partial degrade

Для упоротых случаев типа осд на рейде

Хм, ну наверное это может сделать внешний тул, просто придти и выполнить какие-то действия (хотя конечно автоматом опускать осд... рисково!

Ну и по идее при явной I/o error снизу от девайса, осд тоже должна становиться раком

Хм, ну наверное это может сделать внешний тул, просто придти и выполнить какие-то действия (хотя конечно автоматом опускать осд... рисково!

его надо не опускать, а снижать вес.

не до нуля

по идее, надо регулировать так количество пг на каждом винте чтобы их утилизейшен (в иостат) было выравненным

Но ведь если этот осд отдает один i/o две минуты, то клиенту в любом случае будет ой как плохо

наверно так правильно

наверно так правильно

Это понятно, я про случай мягкого отказа диска

Это понятно, я про случай мягкого отказа диска

ну так там и надо — если задержка слишком большая — уменьшаем вес. ещё уменьшаем. ещё. и так до нуля

У меня была такая гадость с интеловскими ssd

Они тормозили, жрали кактус но ошибку не отдавали

а он у тебя под журнал или под основное хранилище ?