Значит костылить. Ок. Спасибо

Не моё

Такое еще есть

Не моё

Зачем это здесь?

Зачем это здесь?

Отходы от ceph'а :)

Ты когда виртуалку из публичного образа создаешь, как потом к ней коннектишься?

Я бы или в образ добавила, или через heat/puppet сделала

Зачем это здесь?

Хм. Выражение ненависти к бэдным хдд. Всеравно тишина в канале.

Кстати, на тему: с кракеном и блюстором удалось добиться в районе 500 иопсов на двух нодах с 3 осд в каждом

С джевелом и классикой -- не удавалось даж 250

Имеется в виду рандом врайт по 4кбайт. Больше подробностей позже. Если интересно.

Имеется в виду рандом врайт по 4кбайт. Больше подробностей позже. Если интересно.

интересно, продолжай.

а блюстор же не рекомендуют в прод? или уже созрело?

а блюстор же не рекомендуют в прод? или уже созрело?

в кракене будет превью, в L обещают, что станет основным.

ну т.е. еще дожить надо

В джевеле блюстор неистово глючит. Даже деплой не работает

В кракене все работает пока. Глюков не найдено

Думаю как бы помучить

@wildylion говорит можно сделать без даблврайта и без блюфс при этом. Я так и не понял как

В итоге сделал с блюфс

Вы только не путайте bluestore и bluefs

Я сейчас упёрся в сеть. Сейчас разберусь как разделить приватную и публичную сеть и забенчу получше

Bluestore останется, но при этом база rocksdb вместе с потрохами будет лежать не в bluefs, а просто на файловой системе

А как понять, что именно мне деплойилка задеплоила ?

Одна сеть под всё?

Т.е. интерфейс

(сейчас да, но это маразм)

А чего не 2?

опс. тултип затесался

А чего не 2?

вот поэтому

Хм, непонятно ну да ладно

osd_mount_options_xfs = rw,noatime,inode64,logbsize=256k

вот это ещё нахлобучил для пущего ускорения

А как понять, что именно мне деплойилка задеплоила ?

Деплоилка умеет либо простые осд, либо с блюстором (--bluestore). Если хочется блюстор без блюфс - мы скриптом делали

вот оно чо михалыч

Да и не нужно оно уже наверное. Заодно там есть мильон tunables для того чтобы осд не жрал столько памяти

где "там" ?

Потому что если у тебя блюстор - то на каждый OSD будет по гигу своего кэша

а напаркуа ?

И до 4*256mb буферов rocksdb в пике

в линупсе же и так есть свой пейджкэш

Ну видимо потому что с блочным устройством оно работает не так как им хотелось

Блюстор же работает с rawdisk

Какие опции сейчас скину

давай

Итого: * Уменьшить rocksdb WAL buffers: "bluestore_rocksdb_options": "compression=kNoCompression,max_write_buffer_number=4,min_write_buffer_number_to_merge=1,recycle_log_file_num=4,write_buffer_size=268435456", (по умолчанию *до* 4*256МБ). Если диски медленные - можно хоть 2*32, сколько конкретно - надо тестить * Уменьшить размер кэша самого bluestore: bluestore_cache_size, по дефолту гиг. (где опции - см. config_opts.h из ссылки выше)

https://fossies.org/linux/ceph/src/common/config_opts.h ссылко

у меня на 2 Тб винт 500 метров оперативы жрёт.

Это все получено методом легкого бдсм в канале #ceph-devel

у меня на 2 Тб винт 500 метров оперативы жрёт.

Обычный или блюстор? Там при recovery буферы распухают кажется

блюстор

у меня все 6 осд — блюстор

Хммм.

Я сейчас создал с разными настройками и ушел с работы

а зависит от фактического количества ПГ на этом винте ?

И вообще я болею

а зависит от фактического количества ПГ на этом винте ?

Кстати м.б.

щас попробую засрать по самое небалуйся

в кракене будет превью, в L обещают, что станет основным.

В Kraken релиз вроде уже

Кракен сам по себе по сути rc

В Kraken релиз вроде уже

нормальный? я пруф щас не найду, но не будет как с btrfs, которую разработчики и хрыч считают стабильной, а на деле... я слышал просто что в kraken релизнут, и только в L сделают рекомендуемой.

По-любому в прод можно думать только начиная со следующего

нормальный? я пруф щас не найду, но не будет как с btrfs, которую разработчики и хрыч считают стабильной, а на деле... я слышал просто что в kraken релизнут, и только в L сделают рекомендуемой.

ну я просто ни как не могу пройти мимо этой фразы (про заявления разработчиков о стабильности релиза): на словах он князь Болконский, а на деле анус конский

Деплоилка умеет либо простые осд, либо с блюстором (--bluestore). Если хочется блюстор без блюфс - мы скриптом делали

А можно подробнее о bluestore, его стабильности и производительности

По-любому в прод можно думать только начиная со следующего

Ссыкло)

В кракене стабилизировался дисковый формат блюстора

По-любому в прод можно думать только начиная со следующего

а я хочу попробовать и рискнуть. один хрен бекапы надо делать.

А именно в 11.1.0

По-любому в прод можно думать только начиная со следующего

Но на стенде то можно, да?:)

но перед этим хочу всякие ситуации продёргать — в т.ч. аварийные

По производительности хорошо, но пока с памятью не очень т.к. все вручную

Но на стенде то можно, да?:)

На стенде можешь хоть осд в квмах гонять

но перед этим хочу всякие ситуации продёргать — в т.ч. аварийные

Подергай внезапное повышение задержки и немного лоссов по кластерной сети, ну как если бы линк забился

Как раз эксперт в чате есть

На стенде можешь хоть осд в квмах гонять

Бу бу бу

Ну и кто вообще говорил что блюстор - прод? У них только к 11.1.0 появилось приглашение тестировать на некритичных данных