если тест верен, то это даже не чудовищно, это просто катастрофа

iozone -r 128k -i 0 -i 1 -i 2 -t 24 -s 10G

дальше не читал

fio only

dd if=/dev/zero of=zerofile bs=4M count=2560 conv=fdatasync

а перевести?

ууу

если че - тестировать скорость работы кеша - дурацкая идея

перевожу единственное, чем можно тестировать диски, кластера и прочее связанное вводом выводом это FIO

почему?

почему?

https://habrahabr.ru/post/154235/

если коротко то только он даёт примерно валидные данные

как насчет bonnie++? iozone?

открой пожалуйста статью, там расписано

прям вверху

12 октября 2012 года.

и что?

а что, бенчмарки вообще не меняются со временем?

не пишет их никто, да?

5 лет - это, скажем мягко, вечность

хотя тестирование через dd вообще класс, конечно.

а что, бенчмарки вообще не меняются со временем?

зачем надо пробовать хрен знает какой бенч если уже есть нормальный, который даёт валидные результаты

именно для того, чтобы не напороться на древний бенч, который уже несколько лет дает невалидные данные, например

ты хоть до конца статью то почитай про опции фио и прочее

я не говорю, что он идеален, я говорю, что он более универсален и валиден, чем остальное

я бы сказал не более универсален а считается более универсальным. Надо мерять короче

я бы сказал не более универсален а считается более универсальным. Надо мерять короче

дык мы мерили и гластер подсасывает даже по сравнению с цеф фс, а по сравнению с хорошим рбд, так вообще

если бенч имеет дефект, как было в SPEC - ключи вообще не помогут никак

вообще я бы померял, но не знаю, где столько пустых машин взять одинаковых

для референса

сходу в голову приходят: - nfs - nfs + drbd - ceph fs - ceph rbd - gluster что я забыл?

ща ща)

сходу в голову приходят: - nfs - nfs + drbd - ceph fs - ceph rbd - gluster что я забыл?

Запись нужна?

если бенч имеет дефект, как было в SPEC - ключи вообще не помогут никак

ну как тебе сказать, я меряю через фио с правильными ключами и получаю результаты равные теоретическим ну плюс минус

сходу в голову приходят: - nfs - nfs + drbd - ceph fs - ceph rbd - gluster что я забыл?

http://sysadmin.it-landscape.info/

Запись нужна?

конечно. мы же под куб меряем. В идеале надо продумать тест целиком: чтение, запись, восстановление (влияние внутренних процессов на поведение системы). Кто-то мне плакался, что в момент ребалансинга цеф лежит трупом

Я бы ещё с удовольствием посмотрел на ipfs :)

Но это не про куб

Я бы ещё с удовольствием посмотрел на ipfs :)

а как вы его к кубу будете подключать? :)

Но это не про куб

^

Я бы ещё с удовольствием посмотрел на ipfs :)

ох ты ж

конечно. мы же под куб меряем. В идеале надо продумать тест целиком: чтение, запись, восстановление (влияние внутренних процессов на поведение системы). Кто-то мне плакался, что в момент ребалансинга цеф лежит трупом

днище какое-то плакалось)

ты был на митапе по кубику?

http://sysadmin.it-landscape.info/

весьма чудовищный сайт. Нигде, например, не говорится, насколько данный конкретный инструмент вообще живой и насколько он зрелый

что нашёл

тот же флокер я бы застремался использовать

ты был на митапе по кубику?

я не в дефолт-сити живу.

днище какое-то плакалось)

открываем гугл, ceph +rebalance +performance и офигеваем от того, что там происходит

судя по тому, что я слышал про цеф, использование ceph не в all-flash - гарантия боли

я допишу пост на хабр о том как его правильно готовить

и да, я могу рассказать как правильно готовить цеф, потому что у меня 600Тб кластер сейчас в проде и 2 петабайта запускаю прям вот сейчас)

и как?

можно коротко, по верхам

да, я выпендриваюсь) но я долго сдерживался от этого аргумента

а я и не думал так

да ты напрашивался прям)

я несколько раз пытался посмотреть на цеф, но с документацией у него жопа

я несколько раз пытался посмотреть на цеф, но с документацией у него жопа

документация у него отличная, но её СТОЛЬКО

что я до сих пор открываю новое)

достаточно очень коротко: что нужно, чтобы поднять цеф. сколько машин, каких. какие диски. какие особенности деплоя.

ой ли? Документацию на VSA видел когда-нибудь? Или на NetAPP FAS?

там книгами можно придавить насмерть.

3 машины диски в зависимости от того что надо. но обязательно быстрые SSD под журналы деплой делается по доке достаточно быстро

елки-палки, DFS - это сложно, очень. Миллион способов отстрелить себе ногу. Документации должно быть много, очень.

у меня вопрос к цефу, что документация не книга, то есть можно наткнуться на дерьмо, а потом понять, что это на странице в доке, а эта страница ну просто страница. то есть просто так ты к этой странице по кросс ссылкам не придёшь

как ведет себя система при отказе SSD? если предположить, что инженер на площадке на низком старте, ЗИПы есть?

это нормальное поведение документации :)

как ведет себя система при отказе SSD? если предположить, что инженер на площадке на низком старте, ЗИПы есть?

при отказе ссд у тебя отказывают те диски, для которых он был кешем

кароч будет пост

там будут ответы на все вопросы

я спать)

ну вы даёте)

альтернатив цефу, к сожалению нет.

остальное либо нефункционально, либо глючит, либо тормозит. что чаще всего все сразу происходит

недостатки у цефа есть, но оно хотя б работает

На всякий случай напомню, что есть канал @pro_openstack где в том числе обсуждения и о CEPH

мы тоже можем его обсуждать, у нас он бекенд ом ставится

Я думаю чуть позже будет отдельный канал с базой знаний по цеф

Пока обсуждаем с Денисом как лучше

альтернатив цефу, к сожалению нет.

есть коммерческие решения, которые наружу торчат по стандартным iSCSI и NFS. Опенсорсных, как я понимаю, нет и в обозримом будущем - не будет. В принципе частичной альтернативой можно считать openstack swift и openstack cinder

коммерческие не берём. Swiftи cinder это все не то. Это устарело уже и ни в какое сравнение вообще не идет.

почему не берем и почему устарело? опенстек их развивает. Еще есть open vStorage, но я его тыркал исключительно теоретически и даже не представляю, насколько он работоспособен

swift key-object хранилище

я все про опенстек знаю, там настолько все сложно внутри

коммерческие это вендорлок и очень дорого.

тогда и кубернетес не нужен, надо купить VMware и все

swift и cinder никто уже не развивает и вряд ли будут)

я вообще против вендорлок и проприетарных коробок

3 миллиона отдашь а потом ещё надо 2 за лицензии платить)

куб и вмаварь решают несколько разные задачи, это разные подходы. А насчет дорого - а что делать, если вариантов нет? Если бизнес требует, скажем, 10птб с производительностью не ниже заданной

там главный прикол вовсе не лицензии, а поддержка. В коробках он-сайт сделать нельзя почти ничего. Малейший выход за пределы стандартного кейса требует дополнительной оплаты. И головной боли, потому, что сначала вендор будет футболить тикет по Индии

кстати не такой уж это и лок-ин - протокол, который торчит наружу - чаще всего стандартный

куча денег и нервы, таких клиентов относительно немного

правда чаще всего это iscsi или nfs4

куча денег и нервы, таких клиентов относительно немного

их большинство. Думаю, если мы соберем все хранилища на опенсорц и все коммерческие хранилища - коммерческие хранилища победят с разгромным счетом.

малый и средний бизнес такого купить не сможет

а малый и средний бизнес не интересует крупного вендора. Малому и среднему бизнесу обычно и серифицированные решения не нужны. Денежная емкость недостаточна

задача крупного вендора - продавать решения (коробки) крупному покупателю, типа сбера.

поэтому сбер потом нанимает 10 тысяч спецов чтобы как-то все работало) а карту где заводили туда и идите все равно)