Александр
Протестируем скоро латенси, вчера только коммутацию закончили
Александр
MSN2100-BB2F
Nick
Я бы не совмещал compute и ceph.
ну вот очень неочевидный момент. Потому что в интернетах как раз пишут про это как одну из фишечек, плюс часть дисков оказывается локальные - вин-вин и гиперконвергентная система.
а если разносить, ну совсем грустно же
Александр
Опять же зависит от нагрузок. Если под виртуалки не требующие много иопс, то ок
Mike
Александр
Например - NFV. В одном проекте вижу как вендор совмещает ceph и compute
Александр
Но правда все на редхате с полным сапортом и sla)
Nick
Опять же зависит от нагрузок. Если под виртуалки не требующие много иопс, то ок
ну я тут почитал и походу цепх и много иопс - это не одновременно
Александр
Ну хз, взять ssd и инфинибэнд
Александр
Или Ethernet 40g
Александр
Наверное можно прокачать)
Михаил
ну я тут почитал и походу цепх и много иопс - это не одновременно
Зависит от упоротости строителя кластера
Nick
если брать 40г и т.д. то цены получаются такие, что все это смысла как-то не очень имеет, кроме очень частных случаев
Михаил
Если коротко, то количество дисков * иопс одного диска примерно равно производительности кластера
Nick
ну вот мы на ссд живем вообще локальных, потому что дешевле ссд с запасом 50% по пустоте, чем 10г сети делать
Александр
На умерший сервак пофигу?
Александр
Или не умирают?)
Михаил
Но! Если стальные яйца, то можно монтировать диски для OSD с опцией nobarrier и получать вкусные иопс
Nick
ну, совсем они не умирают, а ребутятся если что - быстро
Александр
Это типа апрув записи как только в рам записали на 1 ноде?
Александр
Почитаю маны конечно позже
Михаил
Но вообще нет
Михаил
Nobarrier это опция xfs
Nick
не только хфс
Nick
но вроде как ее управздняют везде
Nick
в диффах к последнеу ядру было
Михаил
не читал
Михаил
как высчитать среднюю производительность кластера без тюнинга я написал выше
Михаил
но это с ссд под журналы
Михаил
с помощью некоторых лайфхаков(без упоротости) можно прокачать еще на 15%-20%
Михаил
вот сейчас тезка расскажет)
Mike
ну я тут почитал и походу цепх и много иопс - это не одновременно
а сколько надо? И какой бюджет? Под какую нагрузку?
Михаил
а тёзка даже вопросы задаёт такие же)
Mike
Можно и миллион IOPS выжать с маленькой задержкой. Вопрос в цене и нагрузке.
Nick
а сколько надо? И какой бюджет? Под какую нагрузку?
допустим, 10к иопс на запись, бюджета нет (== меньше, чем то же на локальных ссд), нагрузка - битрикс. в среднем миллион файлов на сайт, периодическое удаление миллионов файлов за раз.
Mike
20 SSD и 5 серверов справлятся.
Михаил
а объем какой?
Михаил
мб и без стольких ссд можно будет
Nick
если 20 ссд то они и так локально стоят.
и нет, не справятся, потому что сеть 1г, и надо учитывать стоимость перехода хотя бы на 10г.
ну а так у нас все на локальных ссд живет с 5к иопс на запись per диск
Mike
какие диски постать.
Михаил
объем в ТБ то какой надо?
Nick
я хочу найти вариант, в котором можно обычные диски поставить
Mike
Nick
1 тб на мелкую ноду с E3, 5тб на толстую ноду с E5
Михаил
по уму - это 10г и scaleio? )
10г надо когда у вас упадёт нода или диск и ребаланс прошёл за вменяемое время
Nick
да не важно. Пусть будет 10 мелких и 4 толстых, например
Nick
10+ 4*5 = 30 тб
Михаил
а сколько свободных юнитов стойке?)
Mike
Сейчас десятка стоит дешево.
Nick
хотя 250 скорее
Mike
Где вы такое нашли?
Nick
потому что, например, microcloud и/или pcie свободных нет
Mike
mellanox 2x 10Ggb 66/64 ConnectX-3 En - $222
Nick
плюс стоимость свитча на ~16 портов
Mike
ну и сколько он стоит по твоему?
Nick
смотря что. микротик 8 портов 3к баксов
Nick
элтекс на 48 портов 500 т.р.
Nick
она ж космическая по сравнению с просто ссд
Михаил
а цена? )
если у тебя пол стойки пустое, то возьми с десяток серверов, вотнки в них по 10 сата дисков 1 тб 7200 и получишь твоих 10к иопсов и как раз 33тб места
Nick
элтекс на 24 10г портов - MES5324 - 183 т.р.
Михаил
просто от физики цеф не спасает) медленные диски-мало ипосов
надо много иопсов возьми или больше дисков или диски быстрее
Nick
если у тебя пол стойки пустое, то возьми с десяток серверов, вотнки в них по 10 сата дисков 1 тб 7200 и получишь твоих 10к иопсов и как раз 33тб места
десяток серверов - это, допустим, по 100к каждый. в них 10 дисков по ~4 т.р. * 10. Это плохая математика
Михаил
ну или отключи мозги и включи nobarrier )
Михаил
десяток серверов - это, допустим, по 100к каждый. в них 10 дисков по ~4 т.р. * 10. Это плохая математика
не не не. серваки точно можно взять б\у с каким-нить ксеоном х5500
Михаил
они прокачают
Nick
ну там или 10 дисков не воткнется, или дороже будет
Nick
кстати да, на 10 дисков не по 100, а минимум по 150 за сервер будет
Михаил
моя твоя не понимать. если мы хотим дешего и быстро, то берем много б\у серверов, б\у коммутаторы и на всё это натягиваем цеф
Nick
ну т.е. это пока всё конкретно сливает стопке ссд дисков с нексентой в одноюните, или локальным ссд