kiosaku
ну, там разные подходы есть
kiosaku
mkfs всё равно ест время
kiosaku
но
kiosaku
никто не мешает подготовить метаданные голой файловой системы заранее
kiosaku
это, как бы, "в лоб"
Mikhail
зачем вам все это? по сколько нод в день вам приходится разворачивать? )
Mentat
В нашем случае для osd нод идет максимальная набивка дисками, потому что 10g это легко переваривает и современные процы тоже
kiosaku
мало, пул сформирован, большей частью
Mentat
В моем я разворачиваю примерно ноду в месяц, тч и 20 минут норм время, я его спецом не трогал)
kiosaku
дохнет нода с 30-ью дисками, что дальше?
Mentat
Вся, разом?)
kiosaku
сдохли два PSU (или один, если не дублируются)
kiosaku
сдох чип на контроллере
Max
Я так понимаю о том и речь.
Подготовленную систему воткнуть в рабочий кластер (сорри за неверные выражения) - те 30 сек и есть
А вот подготовить саму систему... Анс ща 30 сек не справится :)
Коллеги, скажите лучше.
Есть возможность 2 сервера, в каждом дет 8-9 территории свободных. Просто место на ext4.
Есть желание на эти 16-17 тер сделать неважное хранилище, типа s3.
Мне ж сеф поможет? Или в таком ищаращенном виде лучше не надо?
kiosaku
sxweb или как его там
Mikhail
В нашем случае для osd нод идет максимальная набивка дисками, потому что 10g это легко переваривает и современные процы тоже
а как сеть построена? просто 1 линк 10г и 12 дисков могут приложить, а уж что про 30 говорить
kiosaku
можно его попробовать. с s3 совместим
Mentat
Их несколько десятков-просто пишется тикет в дц и все- при репликации 3 наплевать на упавшую ноду, а там либо они его поднимут за сутки, либо новую воткнут, железо вообще не важно
Max
Вопрос больше про 2 сервера и отсутствие избыточности
Ну ок, 1/3 данных я отдам (понимаю, глупо), но половину жалко.
А ненужный хлам я б туда влил
Vlad
Mentat
Линки по 10г, через разные свичи, дублем
Mikhail
Линки по 10г, через разные свичи, дублем
по 2 линка на cluster net ? и хватает на такие ноды? как нагружаются при ребалансе?
Mentat
по 2 линка на cluster net ? и хватает на такие ноды? как нагружаются при ребалансе?
Да, на кластер, публик отдельно, на ребаланс примерно 50-60 процентов. Пока всем хватает.
kiosaku
30x(сколько)TB в ребаланс идут при падении?
kiosaku
на чём 10-ка сделана?
Mentat
6
Mentat
Оптика
kiosaku
да хоть медь, свичи?
kiosaku
если в дц не отключили, то можно посмотреть lldp
kiosaku
что скажет
kiosaku
но ... из опыта ... ребаланс 180TB должен так некисло напрягать конструкцию
kiosaku
cold/offline storage?
Mentat
Video processing/streaming storage скорее
kiosaku
vod?
Mentat
Ага
kiosaku
и чуть выше либо multicast (если провайдер), либо что-то стримящее в mp4/hls
Mikhail
Да, на кластер, публик отдельно, на ребаланс примерно 50-60 процентов. Пока всем хватает.
а какие настройки по ребалансу, зажато все или наоборот?
osd_recovery_max_active
osd_recovery_op_priority
osd_max_backfills
kiosaku
имхо, профиль нагрузки позволяет такому "провалу" (при падении узла) относительно спокойно ребаланситься
kiosaku
впрочем, свечку надо подержать, когда оно падает :)
Mentat
а какие настройки по ребалансу, зажато все или наоборот?
osd_recovery_max_active
osd_recovery_op_priority
osd_max_backfills
Я не был готов к такому вопросу сидя дома
kiosaku
а что, сервис не 24x7?
Mentat
Сервис да, я нет)
kiosaku
тогда должен быть ssh/vpn/etc.
Mikhail
Я не был готов к такому вопросу сидя дома
ладно, пардон, просто я думал что десятки для больших нод не должно хватить, вот и мучаю вопросами
Михаил
а как сеть построена? просто 1 линк 10г и 12 дисков могут приложить, а уж что про 30 говорить
Ну мы на 100+ дисков не клали 10г
Pavel
Mentat
ладно, пардон, просто я думал что десятки для больших нод не должно хватить, вот и мучаю вопросами
Так ребаланс получается не по одному каналу, там же не сервер-сервер, там же все ко всем, лишь бы свичи не гумно
Михаил
Я например могу ввести новую ноду с osd в кластер с нуля(голая система) до прод-состояния минут за 20, из которых реально моего внимания будет минут 5. У меня средняя нода- 24 sata, 6 ssd. При этом нода будет гарантированно доведена до кондиции, никакого ой забыл строчку в конфигурации итды
А что с клиентским ио в этот момент?
Mentat
А что с клиентским ио в этот момент?
Интересный вопрос кстати, надо будет в следующий раз посмотреть внимательно. Пока не жаловались
Михаил
Интересный вопрос кстати, надо будет в следующий раз посмотреть внимательно. Пока не жаловались
Мы конечно тоже можем так быстро, но потом нам дадут люлей за упавшее ио
Mentat
Ребалансить оно будет около 2х суток, вряд ли это прям так быстро и сильно посадит ио в кластере на два десятка машин
Михаил
Ребалансить оно будет около 2х суток, вряд ли это прям так быстро и сильно посадит ио в кластере на два десятка машин
Стоп стоп. Ты там выше говорил за 20 минут до прода
Mentat
Стоп стоп. Ты там выше говорил за 20 минут до прода
Контекст был про саму ноду. Я думал очевидно, что ребаланс так быстро никак не случится
Михаил
Контекст был про саму ноду. Я думал очевидно, что ребаланс так быстро никак не случится
А ну добавить ноду в кластер и диски с нее можно и ансибл и сальт
Anonymous
А ну добавить ноду в кластер и диски с нее можно и ансибл и сальт
кстати, ты же спец по древнему железу
Pavel
Mikhail
нашел таки то сообщение
Mikhail
Я с 5 нодами умудрился увидеть 55gb/s при ребалансинге. Мну не понимать как вы живёте на чистой 10.
Mikhail
16 и 2 nvme под журнал
kiosaku
про журнал я выше вопрос задавал: нет графика для сравнения эффективности размера журнала на ssd?
Михаил
Я с 5 нодами умудрился увидеть 55gb/s при ребалансинге. Мну не понимать как вы живёте на чистой 10.
А вы как считали? С коммутатора?
Roman
Dorian
Есть смельчаки, кто запускал hdfs на Ceph?
Dorian
http://docs.ceph.com/docs/master/cephfs/hadoop/
Dorian
мануал позволяет
kiosaku
а смысл?
kiosaku
лишняя сущность?
kiosaku
hdfs и так умеет карту хранения понимать, а тут ещё одна карта хранения добавляется
Mike
Hadoop может напрямую работать с ceph. Если не путаю