окей, может быть. скажи как правильно ?

у нас даже махровый вмварщик родил на виртуалках рабочий цеф с первого раза.

дак работает

хуль

ну я в файлик, потому что я буду работать с фс которая есть, а не с конём в вакууме

у меня не будет фс.

блюстор

тогда, я не понимаю что ты хочешь проверить юзая фио

скорость кого?

я хочу сравнить производительность дисков напрямую

и этих же дисков но под цефом

всё. только это я хочу сейчас

а нахуя?

ты хочешь сравнить OSD vs bluestore?

нет, не совсем

это в полной версии моего теста

а я на самом деле хочу узнать сколько иопсов у меня съедает цеф по сравнению с сырым хдд

примерно так

Хороший тест, правильный. Только ты как будешь тестировать? Харды по одному, потом сложить их иопсы, потом натянуть CEPH и еще раз протестировать на кластере?

пока не решил. надо просто сначала получить ебучие цифры, а потом понять что с ними делать. Но в целом, наверно, да.

Понимаешь, про цеф тут говорят, мол — "тормозит"

я хочу оценить насколько это правда

хотябы плюс минус километр

я пока только начал в тему измерения и или изменения перформанса

так что ногами не бейте.

(я сейчас отвлёкся на другую задачу, вернусь к цефу наверно уже завтра а может и сегодня)

я пока только начал в тему измерения и или изменения перформанса

Тогда читай статью. Тебе надо iops ы еще мерить, тоже важный параметр

угу

угу

только выдели для ceph не 1 гб оперативы на тб, а 1,5

только выдели для ceph не 1 гб оперативы на тб, а 1,5

Вообще от 1 гб

Там не указано что именно 1 гб

?

?

я просто тоже читал, и все тормоза обычно были у тех, кто выделял 1 гб оперативы

Понимаешь, про цеф тут говорят, мол — "тормозит"

Кто говорит?

Кто говорит?

набери в гугл ceph тормозит

Это всё хуйня

У меня пользователи все пишут и говорят "у меня ничего не работает", а в итоге не осилили

Так что..)

У меня пользователи все пишут и говорят "у меня ничего не работает", а в итоге не осилили

пользователям надо просто найти причину чтобы не работать

у меня одна дамочка даже розетку выдрала с кишками

чтобы только сказать, что у неё интернет не работает и она не может работать

Кто говорит?

интернеты

памяти там 8 гб в серваке в этом.

суммарный объём дисков — 5 тб примерно

меньше вернее

памяти там 8 гб в серваке в этом.

ну этого маловато для нормального теста

С пивом пойдет

С пивом пойдет

я недавно в конфе одной сидел, там вообще сказали, что они ceph деют 2,5 гб оперативы на тб пространства

у них стоят железки с 2,5 дюйма дисками по 20 дисков

то есть эти "серваки" занимаются чисто ceph

ни виртуалок, ничего, только ceph

я недавно в конфе одной сидел, там вообще сказали, что они ceph деют 2,5 гб оперативы на тб пространства

У нас так же...

Пруфы то будут?

Пруфы то будут?

Это мине?

Пруфы то будут?

пруфы на что? что у dell/ibm есть решения чисто для ceph?

ни виртуалок, ничего, только ceph

на саммите однозначно сказали, что это best practice

Это мине?

тем, кто говорит, что надо 2 гига на терик

пруфы на что? что у dell/ibm есть решения чисто для ceph?

и у фуджиков тоже есть

ни виртуалок, ничего, только ceph

так и надо

пруфы на что? что у dell/ibm есть решения чисто для ceph?

Это маркетинг

тем, кто говорит, что надо 2 гига на терик

Я писал что рекомендации вроде от 1 на 1 тб

так и надо

в геоскане хотели делать 75% от сервера под приложение, 25 под ceph, в конторе с тех диром которой сейчас общался, нечто подобное сделали.

в геоскане хотели делать 75% от сервера под приложение, 25 под ceph, в конторе с тех диром которой сейчас общался, нечто подобное сделали.

счастливой отладки

Пришла тяжелая артиллерия)

счастливой отладки

Могут быть проблемы?

Меня как раз этот вопрос интересует

ну в том конфиге что дал хрыч точно пиздец

ну в том конфиге что дал хрыч точно пиздец

Ну ты мой конф видел

ну в том конфиге что дал хрыч точно пиздец

а если сервера 56 ядер и 512 рамы, а дисков 4 на машину?

Который будет

ну в том конфиге что дал хрыч точно пиздец

ты про какой именно?

Могут быть проблемы?

война за ресурсы. Даже минимум 3 мона рекомендуется держать отдельно от osd, а вы говорите про тяжелую виртуализацию. ТОЧНО будет тормозить

война за ресурсы. Даже минимум 3 мона рекомендуется держать отдельно от osd, а вы говорите про тяжелую виртуализацию. ТОЧНО будет тормозить

И где цифры посмотреть можно с примерами?

Что б было на что ориентировано

война за ресурсы. Даже минимум 3 мона рекомендуется держать отдельно от osd, а вы говорите про тяжелую виртуализацию. ТОЧНО будет тормозить

кажется (не поднимал, в бою не тестировал), это вполне решается с помощью сигруп для ограничения памяти и пиннинга на конкретные ядра (если не решится с помощью ограничения cpu shares).

И где цифры посмотреть можно с примерами?

цифр нет, мне не очень интересна такая архитектура

цифр нет, мне не очень интересна такая архитектура

Жаль

Я хотел на 3х "серверах" разместить все+3вм

кажется (не поднимал, в бою не тестировал), это вполне решается с помощью сигруп для ограничения памяти и пиннинга на конкретные ядра (если не решится с помощью ограничения cpu shares).

предполагаю, что сигруппами разрулить можно, но косяки могут вылезти совершенно с разных сторон. Файловые дескрипторы, сеть, да что угодно. Все это надо учитывать и тестировать. Я лично не готов таким онанизмом заниматься

предполагаю, что сигруппами разрулить можно, но косяки могут вылезти совершенно с разных сторон. Файловые дескрипторы, сеть, да что угодно. Все это надо учитывать и тестировать. Я лично не готов таким онанизмом заниматься

сигруппами так-то недолго разрулить (по три опции в systemd-юниты) с сетью - соглашусь с ходу. я шейплю трафик репликации сефа и трафик внешнего интерфейса сефа (возможности построить отдельную сеть для репликации не было), это работает вполне успешно. кажется, добавить в эту схему шейпинг еще и полезной нагрузки не очень сложно.

а почему kvm нельзя заюзать? отдать n-ядер и n оперативы, и отдельную сетевуху

сигруппами так-то недолго разрулить (по три опции в systemd-юниты) с сетью - соглашусь с ходу. я шейплю трафик репликации сефа и трафик внешнего интерфейса сефа (возможности построить отдельную сеть для репликации не было), это работает вполне успешно. кажется, добавить в эту схему шейпинг еще и полезной нагрузки не очень сложно.

кстати, где шейпишь? На коммутаторах?

кстати, где шейпишь? На коммутаторах?

на хостах.

коммутаторы тупые.

на хостах.

мне не нравится идея шепинга на линуксах изначально =_= ts какой-нибудь наверное?

tc. мне нравится. до 40 гбит работает с пренебрежимо малым (единицы процентов) пенальти по cpu.

мне не нравится идея шепинга на линуксах изначально =_= ts какой-нибудь наверное?

а разме что-то кроме tc ещё есть в базовой системе?

обычно им делается

а почему kvm нельзя заюзать? отдать n-ядер и n оперативы, и отдельную сетевуху

потому что kvm сам по себе ограничивает ресурсы через cgroup.

потому что kvm сам по себе ограничивает ресурсы через cgroup.

тогда бы работал SIGKILL, если бы приложение в виртуалке пыталось взять больше ресурсов чем есть, а не просто приложение упиралось

ну и плюс при kvm на нодах цефа надо помнить - упала нода - упал kvm )

тогда бы работал SIGKILL, если бы приложение в виртуалке пыталось взять больше ресурсов чем есть, а не просто приложение упиралось

какой sigkill? kvm мапит виртуальные процессоры в треды. они разложены в сигрупы. посмотри в cgroupfs с запущенной виртуальной машиной, емое.

ну и плюс при kvm на нодах цефа надо помнить - упала нода - упал kvm )

kvm, как и любой гипервизор стоит на отдельном ssd от данных

kvm, как и любой гипервизор стоит на отдельном ssd от данных

ну упал у тебя сервер физический - упал не только osd, но и kvm

ну упал у тебя сервер физический - упал не только osd, но и kvm

мне кажется, он предлагает запускать сеф в KVM-машинах, пробрасывая туда по virtio блокдевайсы. не слушай наркомана.

osd это может сносно пережить, kvm - не очень. Только на уровне приложения

мне кажется, он предлагает запускать сеф в KVM-машинах, пробрасывая туда по virtio блокдевайсы. не слушай наркомана.

? какой ты злой сегодня

ну просвятите

учёные