supermicro servers, 3 штуки сумарно 82 ТБ. сеть lacp 10 gbit. винты вперемежку sas & sata. ssd нет. мне поиграться выделили под хранилку для ... барабанная дробь... базу оракл
И как ораклисты? Не воют с латенси?
Михаил
Anonymous
И как ораклисты? Не воют с латенси?
на тестах всё мне завалили. я потому и затеял делать на bluestore в надежде что станет лучше. но всё стабильно плохо :) потому туда будем складывать линейные бэкапы
Михаил
Anonymous
делалось на интеловых картах 10 гбит с lacp в nexus через твинексы
Михаил
И через что отдается цеф? Iscsi?'
Михаил
Nfs?
Anonymous
нативно в ядро
Anonymous
mount -t ceph
Anonymous
из центоса в слесы
Михаил
Может нахер цеффс?
Anonymous
рбд под zfs еще делал
Anonymous
но там там линейная медленнее, но с компрессией 10 тб база лягла в 2.3Т. ораклистам нативно понравилось больше
Anonymous
сказали быстрее всего
Михаил
А зачем тебе рбд+ zfs?
Михаил
У тебя оракл на чем? Железо? Вмварь?
Anonymous
извращенецы ) рбд форматировать всеравно во чтото надо
Михаил
Как рбд делал? Страйпинг включал?
Anonymous
ограничился дефолтовыми настройками. просто посмотреть как оно с точки зрения "изкоробки"
Михаил
ограничился дефолтовыми настройками. просто посмотреть как оно с точки зрения "изкоробки"
Михаил SinTeZoiD:
И через что отдается цеф? Iscsi?'
Михаил
Нфс?
Anonymous
да, в системе для rbd у тебя блочное появляется, iscsi. ну а cephfs обращается с MON, ну и в ядре уже модуль всключен для полной поддержки
Михаил
Anonymous
имеется в виду либы или что?
Михаил
Target через что раздавался?
Anonymous
iscsi можно не принимать во внимание. по rbd будет так: после создания импортился нативным ceph-client с использованием .keyring. никаких подпрыгиваний с таргетами и прочим. хотя в моем понимании это и есть iscsi
Михаил
iscsi можно не принимать во внимание. по rbd будет так: после создания импортился нативным ceph-client с использованием .keyring. никаких подпрыгиваний с таргетами и прочим. хотя в моем понимании это и есть iscsi
Хм, ну тогда из вариантов могу посоветовать попробовать поиграть с stripe в rbd, jmalloc прикрутить, посмотреть как будет
Anonymous
дополню: раздобыть ssd и сделать кеш ) там обычные sata & sas от 600 до 2 ТБ. я списывался с SUSE, сказали что сие изделие не подходит для работы с блоками по 8к
Anonymous
да и тесты рандомной записи это подтверждают
Anonymous
линейная хороша
Михаил
Да sas ok
Михаил
А вот cache tiering в цеф плохо работает
Ilia
а если ссд вместо САС ?
Mikhail
журналы может на ссд хотя бы?
Mikhail
аа, точно
Mikhail
bcache? )
Mikhail
Yefim
Господа, а у кого-нибудь есть SSD-only кластер? Как производительность? Как впечатления?
Михаил
Были, но это не я
Михаил
Господа, а у кого-нибудь есть SSD-only кластер? Как производительность? Как впечатления?
https://www.youtube.com/watch?v=ziIWYMt30II&index=2&list=PLGfYcGZHdMozQZntwwlitK9oRYr-UMCdv
Mike
Когда смотрел это выступление, не со всеми выводами и решениями согласен. Но тесты с выступлении - это гуд
Yefim
Спасибо!
Михаил
Anonymous
Кто-нибудь исапользует SHEC? поделитесь плз опытом, какие параметры k,l,m используете? как со скоростями чтения-записи по сравнению с репликами?
Anonymous
матан для интересующихся
Anonymous
http://onreader.mdl.ru/Ceph/Planning/Blueprints/Hammer/SHEC.htm
Serhii
Всем привет, а насколько хорошо/плохо будет использовать rbd в качества стораджа для базы? ( в данном случае clickhouse )
Serhii
что имеем на данный момент: несколько железок с 2xCPU, 32/64RAM, 2x10G + 2x1G
Евгений
Всем привет, а насколько хорошо/плохо будет использовать rbd в качества стораджа для базы? ( в данном случае clickhouse )
С точки зрения чего? Если, например, размера, то будет очень даже хорошо
Serhii
размер - эт понятно, насколько хуже по производительности, если сравнивать с локальными raid10 на sata
Serhii
ну или лучше :)
Александр
сколько дисков в raid10?
Serhii
4
Александр
cache есть?
Serhii
да
Александр
А в rdb что будет по дискам?
Евгений
размер - эт понятно, насколько хуже по производительности, если сравнивать с локальными raid10 на sata
сеть какая? Если гигабит, будет хуже раза в три
Serhii
все теже sata/3Tb
Serhii
сеть - 2x10G
Serhii
текущая drive latency ~1ms, по iops не сильно много, операции идут большими блоками
Serhii
IO read - до 500/s, IO write - до 300/s
Mike
размер - эт понятно, насколько хуже по производительности, если сравнивать с локальными raid10 на sata
Хуже однозначно на один поток, но лучше по масштабируемости
Mike
Serhii
эт мне нагиос рассказал )
Pavel
По латенси могут быть затыки
Serhii
fio негде гнать, пока нет свободных разделов. Да и больше интересует не синтетический результат, а скрутить нечто, что сможет прожевать примерно такую нагрузку
Mike
fio негде гнать, пока нет свободных разделов. Да и больше интересует не синтетический результат, а скрутить нечто, что сможет прожевать примерно такую нагрузку
Зачем тебе раздел? В папку пиши. fio хорошо настраивается
Mike
Raid аппаратный, кстати?
Serhii
да, железяка
Mike
Ну и не парься
Mike
Из твоего первого вопроса, не понятно, какую задачу хочешь решить
Serhii
основная задача: сделать легко масштабируемый сторадж, причем сильно желательно, чтоб этот сторадж не делал тупи-тормози аццки. Вот пытаюсь понять, можно-ли с таким железом этого добиться от ceph
Mike
Если у тебя один поток, малые блоки и рандом - любой локальный ssd будет быстрее, чем схд по сети. Не важно, это классическая схд с FC или распределенная. Особенно при сравнении с распределенной
Serhii
блоки - большие, поток - не один :)
Mike
Большие это сколько?
Mike
Соотношение чтение/запись?
Serhii
в среднем 80-100k на запрос, чтение/запись - 10/90