Sergey
люблю такое в самом начале
Georgii
У меня с пяток, уже лет 7, забыл даже как на низ заходить)
Sergey
с цефом жить надо
Sergey
и два раза он умер в процессе
Georgii
Зачем.
Georgii
?
Georgii
Аххаха
Georgii
Я вот тоже удивлён
Georgii
Работает зараза)
Sergey
ну то был в качестве эксперемента
Georgii
Делай все по чертежу, чтоб небыло...
Sergey
можно ли его грохнуть - можно и не так уж и сложно
Georgii
Можно грохнуть все
Sergey
Делай все по чертежу, чтоб небыло...
номр черетжа и нет, даже в плане планирования железа, сколько нод, сколько osd на ноду, сколько памяти и тп
Georgii
И полки hp и IBM на раз ложатся
J
Ну хз.
Один-Два-Четное-количество мониторов сделать и такой ж коэффициент репликации?)
Sergey
даже с тем, что бы норм разнести осд в крушмапе по стойкам надо его редачить было
Sergey
и не было норм инструментария
Sergey
это слишком просто
J
даже с тем, что бы норм разнести осд в крушмапе по стойкам надо его редачить было
Ну а как?
Это и есть инженерская работа)
Ток разносить то и не надо, udev правила сами краш карту нынче правят.
Georgii
Через ансибл волшебно маштабируется
Sergey
Ну а как?
Это и есть инженерская работа)
Ток разносить то и не надо, udev правила сами краш карту нынче правят.
это нынче, я ceph забыл когда и опенстек
J
Краш - хорошая выдумка, кстати. Давно мечтаю чтоб в попенстековских планировщиках реализовали)
Georgii
это нынче, я ceph забыл когда и опенстек
Ну без цефа дёшево не сделать ( клиент же хочет дёшево, или бесплатно)
Sergey
вообще, все было прикольнее когда на хорошо набитом кластере (я про объем) с реплика фактором 3, было погашено 2 ноды, и на ребалансе начали течь osd и их килять oom пришел
Sergey
Ну без цефа дёшево не сделать ( клиент же хочет дёшево, или бесплатно)
сделать ceph правильно - нихуя не дешево
Georgii
Нуну
J
вообще, все было прикольнее когда на хорошо набитом кластере (я про объем) с реплика фактором 3, было погашено 2 ноды, и на ребалансе начали течь osd и их килять oom пришел
Ну поэтому три сервера стараются и не держать)
А держат от пяти и выше.
Sergey
особенно в тех странах где за стойку ты платишь, за амперы платишь, за охолождение платишь
Georgii
От 6
Georgii
Вообще
Sergey
даже больше 10
J
даже больше 10
Ну, справедливости ради надо сказать что с памятью беда периодически и в нынешних минорных релизах)
Sergey
на каждую ноды от 20 до 30 дисков sas, озу 64-128 гигов
Georgii
Стоимость аналогичной по iops и объёму сторедд - раз в 5 дороже
Georgii
Ну ты же выжил?)
J
Один фиг, как с попенстеком. По простоте и универсальности ничо подобного и не было до недавнего времени.
Энтерпрайзные поделки вообще отвращение вызывают теперь соотношением цены к возможностям.
Sergey
мы набили данными так процентов 60-70 объема общего и решили проверить, а что будет, если у нас умрет рековый свич и две ноды выпадут
Sergey
вот и проверили
Georgii
А свитч то причём?
J
мы набили данными так процентов 60-70 объема общего и решили проверить, а что будет, если у нас умрет рековый свич и две ноды выпадут
Многовато набили)
Ну и может не самое удачное количество плейсмент групп в пулах было.
Georgii
Ну второй то свитч
Georgii
Остался
Sergey
Многовато набили)
Ну и может не самое удачное количество плейсмент групп в пулах было.
ну как раз и тестили самый такой фиговый варик, данных много
Georgii
Иди третий
Georgii
Поднимаешь virtual connect
Georgii
И что?
Georgii
Ну пошло
Georgii
Пофиг
Sergey
мужики, расчет был таков, вот вышло так шо померло, все 2 ноыд выпали из кластера
Georgii
Воьщем
Georgii
Покупаешь миллиона за 3 hp кластер
Georgii
Все у тебя хорошо
Sergey
короче все сошло к тому, что под нагрузкой osd хорошо текли, а еще диски некоторые сказали ой
J
ну как раз и тестили самый такой фиговый варик, данных много
Ну, короче, яэто не чтоб защитить цеф, а к тому скорее что сломать то чо угодно можно если спецом делать так.
Вмваря вон для своего всан ваще вайтлист оборудования держит. Чтобы избежать претензий и поменьше платить ручным мартышкам занимающимся портированием драйверов)
Georgii
Потом умирает на одном контроллер
Georgii
И кластер деградирует
Georgii
Так как кеш работает только на 2х контроллерах
Georgii
На IBM тоже самое
Sergey
Ну, короче, яэто не чтоб защитить цеф, а к тому скорее что сломать то чо угодно можно если спецом делать так.
Вмваря вон для своего всан ваще вайтлист оборудования держит. Чтобы избежать претензий и поменьше платить ручным мартышкам занимающимся портированием драйверов)
кластер был из расчета чуть больше петабайта данных, 60% занятого места - это много, но еще не критично
Sergey
когда мы перещитали что бы строить кластер и на одну ноду делать меньше дисков, тут ценник по размещению не понравился
Sergey
цена серваков, место в стойке, охолождение и ампертраж
Sergey
в этих цифилизованых странах считают все
Sergey
даже пердеж твоего инженера, которого ты заслал в дц
J
короче все сошло к тому, что под нагрузкой osd хорошо текли, а еще диски некоторые сказали ой
Уверен, так и было)
Но ща все гораздо лучше уже.
С другой стороны, ща есть уже sheepdog, OpenIO и бог знает чо еще)
Sergey
sheepdog вроде алибаба юзает