по моим ощущениям rgw это побочный продукт для команды разработчиков.

по моим ощущениям rgw это побочный продукт для команды разработчиков.

ЕМНИП с RGW всё и начиналось)

rgw это отдельная от rbd вселенная

но у меня, к сожалению или счастью, нет под него юзкейсов

я на нем сделал опупенный cdn и там форточки лежат уже три года, не ломается.

фоточки *

flamp.ru вот тут

где то даже статья была на хабре

что значит "синхронизируете" ?

там кэшей несколько уровней и прокаченый nginx с lua, кэши греются по крону

что значит "синхронизируете" ?

между регионами

там старый цеф ещё без регионов)

хитрость там в том, что бекенд с картинкой имеет вес и вес динамически пересчитывается в зависимости от тупняка в сети и состояния бекенда.

поверх все обмазано ipvs/lvs и клиент всегда приходит куда ближе, хотя регионов около пяти.

да понятно, только это все не про ceph :(

ну rgw это цеф.

rgw здесь маленькая часть, если я примерно понял

так она простая как три рубля и не убиваемая.

ещё я пытался впихать туда 40млн тайлов (png)

но время первоначальной заливки превысило 1 месяц, что неприемлемо

было бы замечательно, если бы можно было писать прямо в rbd, а читать через rgw

но так не умеет

было бы замечательно, если бы можно было писать прямо в rbd, а читать через rgw

можно при желании. кстати rgw вроде научился в батч-режим, не?

не слежу сейчас за этим. может кто расскажет?

но время первоначальной заливки превысило 1 месяц, что неприемлемо

Надо было сделать пул размером один а потом довести до трех. Уменьшился бы ртт заливки ибо не нужно ждать подтверждения от вторичных осд

мы так делали. все равно очень медленно. очень много накладных расходов http ну и cgi был не быстрый.

40млн мелких картинок даже для обычной файлухи нелегкое испытание

В общем я в итоге сделал прямую запись в rbd и чтение оттуда же по офсету прямо из nginx (openresty)

блеск

а фоном там дедупликация, перемещение между регионами и прочая магия.

А для чего рбд ? Нельзя прям радосное апи поюзать ? Которое гей-валуе. Если валуи не такие большие и не такие маленькие то это вобще идеально.

Прямее некуда

я уже не вспомню. но куда-то мы натолкнул ись на непреодолимое.. там цеф ещё был старенький.

для хранения кучи файлов картинок можно было и могилу попробовать

если непереносимости пёрла нет

нет, могила не взлетела

на чём полегла?

я помню постоянные ошибки на пустом месте. точно не вспомню, но апстримные баги

странно, тот же livejournal вроде живёт до сих пор на ней и как бы там у них тоже десятки миллионов файлов

А для чего рбд ? Нельзя прям радосное апи поюзать ? Которое гей-валуе. Если валуи не такие большие и не такие маленькие то это вобще идеально.

потом могут понадобиться, ммм, новые штуки. кроме того, потребуется писать читающее приложение, которое переводит HTTP в rados.

потом могут понадобиться, ммм, новые штуки. кроме того, потребуется писать читающее приложение, которое переводит HTTP в rados.

Дак а они и написали. По смещению в рбд же читают

А что за новые штуки ? О чем речь ?

а, я тред не читай

сразу отвечай

А что за новые штуки ? О чем речь ?

ну начали писать объекты размеров 2-10 мбайт, а потом захотели писать и 10кбайт и 10Гбайт.

ну начали писать объекты размеров 2-10 мбайт, а потом захотели писать и 10кбайт и 10Гбайт.

Я про это тоже написал

Я про это тоже написал

ну так я тред не читай

Там 40 млн мелких обжектов. Картиночки.

это тайлы для карты 2gis

когда я уходил вроде оставили только фламп, тайлы на старой доброй ext3

или zfs

сильно много мороки для цефа

А опенстритмап же живет както

Как у них тайлы сделаны ?

Доброе время суток ! Есть ли где-нибудь конкретный пример по настройке производительности ceph-кластера ?

Доброе время суток ! Есть ли где-нибудь конкретный пример по настройке производительности ceph-кластера ?

Что интересует конкретнее?

Что интересует конкретнее?

Ну как. Параметр в реестре -- типа быстро работать цефу или медленнее

Ну как. Параметр в реестре -- типа быстро работать цефу или медленнее

Bistro_blead.sh ?)

.bat

Тролли )))

Тролли )))

Немного

@eugeans будьте пожалуйста точнее в вопросе

Ну вот например есть такой документ, там есть примеры выставления параметров, но не указано почему тот или иной параметр должен принимать именно такое значение. http://onreader.mdl.ru/LearningCeph/content/Ch10.html#software_level

А какая задача вообще? Для какой задачи? Ceph сильно зависит от сети и конфигурации оборудования.

Ну вот например есть такой документ, там есть примеры выставления параметров, но не указано почему тот или иной параметр должен принимать именно такое значение. http://onreader.mdl.ru/LearningCeph/content/Ch10.html#software_level

Так тут общие вещи. Часто значение параметров очень зависит от оборудования.

Например, я не использую rbd cache на клиенте. Посмотрим как переделают его в новых релизах.

Например, я не использую rbd cache на клиенте. Посмотрим как переделают его в новых релизах.

Чем тебе он не угодил?

Чем тебе он не угодил?

Архипелаги в графиках latency и IOPS, пониженная производительность на холодных данных, кеш только в памяти и раздельный для каждого клиента rbd - cоответственно большим не сделаешь.

Ну при миграции VM, кеш обнуляется и клиент видит провал в производительности

А так же была бага с порчей данных на определенных нагрузках при включенном кеше

Архипелаги в графиках latency и IOPS, пониженная производительность на холодных данных, кеш только в памяти и раздельный для каждого клиента rbd - cоответственно большим не сделаешь.

А он же по умолчанию включен да?)

А он же по умолчанию включен да?)

Нет

Или ты про что?

Или ты про что?

Про rbd_cache параметр. Доеду до работы - посмотрю, но мне казалось, что он по умолчанию включен

Про rbd_cache параметр. Доеду до работы - посмотрю, но мне казалось, что он по умолчанию включен

rbd cache Description: Enable caching for RADOS Block Device (RBD). Type: Boolean Required: No Default: true

Случайно(не совсем) на этой вкладке сижу =)

Ну значит я не вру)

А какая задача вообще? Для какой задачи? Ceph сильно зависит от сети и конфигурации оборудования.

Задача: развернуть хранилище ceph для хранения виртуальных машин. Конфигурация сервера хранения: 2 х Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz , 128 ГБ ОЗУ, 12 х 6 ТБ дисков в режиме JBOD каждый. 2 сетевые карты 40 ГБ/с объединены в Ether Chan. Для хранения журналов используются 2 NVME - на каждом по 6 дисков. Ну само собой для кворума серверов хранения 3 шт.

Жирно один nvme на шесть медленных дисков