марк вон уже с 1 гб перешёл говорить на 1,5, скоро как и я будет 2

Ты несешь хуйню

кагбе говорят, что производительность на малом количестве нод, а соответственно гогромных дисках очень маленькая

тут все просто. у вас что 2Тб спин будет выдавать 100-180 иопсов, что 8Тб спин. соотношение iops/GB естественно будет разным.

я к тому, что говорить о том что разницы нет - несколько самонадеянно. разница есть.

Я писал об объёме

сеф на таком размере не крутил, крутил другой кластерный сторадж, самописный. но общие принципы похожи. прыг с размера 100 нод на 500 - большой. прыг с 500 нод на 5000 - еще больше.

в чём именно прыг ? типа во всём ?

в чём именно прыг ? типа во всём ?

получить network split на кластере из трех коммутаторов почти невозможно. на кластере из 100 стоек - без проблем, причем регулярно. это например.

Я писал об объёме

там я чуть выше сказал.

получить network split на кластере из трех коммутаторов почти невозможно. на кластере из 100 стоек - без проблем, причем регулярно. это например.

но..... там же кворум... как?

там я чуть выше сказал.

Угу, увидел, пропустил это сообщение.

в чём именно прыг ? типа во всём ?

становятся очень интересными вопросы "обновить кластер сразу везде". намного интереснее, чем на 100 нодах.

становятся очень интересными вопросы "обновить кластер сразу везде". намного интереснее, чем на 100 нодах.

хмммм. а постепенно никак ?

но..... там же кворум... как?

как. у тебя есть большая сеть. была она целая. и стала она 78 стоек + 22 стойки. сходиться оно будет _заметно_ дольше, чем когда у тебя кластер на три стойки и три коммутатора.

хмммм. а постепенно никак ?

еще как как. только это "постепенно" занимает, скажем так, 10 часов на деплой.

еще как как. только это "постепенно" занимает, скажем так, 10 часов на деплой.

да ну и хер с ним...10 так 10

как. у тебя есть большая сеть. была она целая. и стала она 78 стоек + 22 стойки. сходиться оно будет _заметно_ дольше, чем когда у тебя кластер на три стойки и три коммутатора.

сходится — это всмысле восстанавливаться после сплитбрэйна ?

получить network split на кластере из трех коммутаторов почти невозможно. на кластере из 100 стоек - без проблем, причем регулярно. это например.

А что насчёт дублирования сети и сетевые в роунд Робин?

потому что выключать нужно понемножку, и чтобы данные при этом не проебать. этот код нужно написать. его нужно оттестировать. нужно быть готовым к тому, что во время апдейта упадет еще стойка-другая.

как. у тебя есть большая сеть. была она целая. и стала она 78 стоек + 22 стойки. сходиться оно будет _заметно_ дольше, чем когда у тебя кластер на три стойки и три коммутатора.

ну это не сплитбрэйн получается, а просто сплит надолго

потому что выключать нужно понемножку, и чтобы данные при этом не проебать. этот код нужно написать. его нужно оттестировать. нужно быть готовым к тому, что во время апдейта упадет еще стойка-другая.

ох блять. чтож стойки-то падают ?

ну это не сплитбрэйн получается, а просто сплит надолго

это сплит именно сети, монам-то почти пофиг, они прееживут. а пиринг PG займет время.

ох блять. чтож стойки-то падают ?

что что. автомат вырубило.

что что. автомат вырубило.

Без ИБП?

Без ИБП?

автомат на стойку. ИБП повыше уровнем стоит.

это сплит именно сети, монам-то почти пофиг, они прееживут. а пиринг PG займет время.

всмысле приватной цефной сети ?

всмысле приватной цефной сети ?

в смысле магистральной сети, которая стойки связывает.

в смысле магистральной сети, которая стойки связывает.

ну по которой бэкфиллинг. верно ?

автомат на стойку. ИБП повыше уровнем стоит.

Мне так не жить :(

или вобще всей

автомат на стойку. ИБП повыше уровнем стоит.

а чойто он рубанулся?

А что насчёт дублирования сети и сетевые в роунд Робин?

а у вас баг в OSPF-прошивке коммутаторов и OSPF сходится десятки секунд, за это время разваливается кворум и привет.

еще раз, я не про сеф, я про самописный сторадж, работающий по в общем схожим принципам.

а у вас баг в OSPF-прошивке коммутаторов и OSPF сходится десятки секунд, за это время разваливается кворум и привет.

но после кворума оно же поднимется обратно?

Где вы были, когда я тут полгода назад конкретные вопросы про цэф задавал?

я тебя не помню

а у вас баг в OSPF-прошивке коммутаторов и OSPF сходится десятки секунд, за это время разваливается кворум и привет.

Это ты сейчас придумал или тоже каждый день по несколько раз спотыкаешься?

а чойто он рубанулся?

сто причин может быть. коротнуло в сервере. инженер кнопку нажал по ошибке. блаблабла.

Это ты сейчас придумал или тоже каждый день по несколько раз спотыкаешься?

баги в OSPF ловили.

Это ты сейчас придумал или тоже каждый день по несколько раз спотыкаешься?

не каждый день, конечно. но 1-2-3 стойки в день обязательно ломают. возможно и не аварийно, а просто сервисно.

я тут помню только одного гентушника)

я тут помню только одного гентушника)

Запоминай второго

я тут помню только одного гентушника)

судя по истории ты с ним разговаривал.

еще раз, я не про сеф, я про самописный сторадж, работающий по в общем схожим принципам.

я это всё к чему. если отрастить сеф на десятки и сотни стоек, вылезет много других проблем, о которых на масштабе в 50-100 машин вы даже и не думали, потому что они из ряда вон выходящие.

не каждый день, конечно. но 1-2-3 стойки в день обязательно ломают. возможно и не аварийно, а просто сервисно.

3 стойки в день? ебануться

я это всё к чему. если отрастить сеф на десятки и сотни стоек, вылезет много других проблем, о которых на масштабе в 50-100 машин вы даже и не думали, потому что они из ряда вон выходящие.

понял.

я это всё к чему. если отрастить сеф на десятки и сотни стоек, вылезет много других проблем, о которых на масштабе в 50-100 машин вы даже и не думали, потому что они из ряда вон выходящие.

а вы там знатно ебанулись писать свой софт для стораджа

а вы там знатно ебанулись писать свой софт для стораджа

нет

другого выбора нет

а что, ничего другого не было? даже платного ?

платного? :)))

ну кагбы не смешно

как бы смешно. покажите мне коммерческий сторадж на сотни петабайт.

а вы там знатно ебанулись писать свой софт для стораджа

с самописным стораджем можно жить хотя бы. у меня был не очень большой хадуп на 650 машин, и я очень грустил, что у меня нет разработчиков хадупа в соседней комнате.

ну кагбы не смешно

Вот да. Три стойки в день падает, то есть железа так много что проценты сбоев вырастают в стойки железа. А софт исключительно опенсорц или свой. Даже я бы задумался...

Вот да. Три стойки в день падает, то есть железа так много что проценты сбоев вырастают в стойки железа. А софт исключительно опенсорц или свой. Даже я бы задумался...

не падают. гораздо чаще ситуации "ребят, нам надо эту стойку отключить на 4 часа для замены коммутатора".

падают заметно реже.

падают заметно реже.

А, ну ок. Длинки падают.

Запоминай второго

а не ты ли кричал, что ceph-deploy не нужен?)

А, ну ок. Длинки падают.

всё падает. смиритесь.

как бы смешно. покажите мне коммерческий сторадж на сотни петабайт.

http://alternativeto.net/software/scaleio/

чонть такое

я хз. не шарю

а не ты ли кричал, что ceph-deploy не нужен?)

Не "не нужен", а "хочу сам так делать уметь как цэфдеплой"

http://alternativeto.net/software/scaleio/

ценник на сотни петабайт будет где-то в космосе и под конкретную задачу придется делать очень много доработок. это значит либо вендорлок ценой в сотни миллионов долларов (если не миллиарды) и зависимость от другой компании.

кроме того, у нас это не только сторадж, это mapreduce.

а что использует дропбокс и или амазон ? самопис ?

я реально хз

а что использует дропбокс и или амазон ? самопис ?

Ну гугл точно самописное

Ну гугл точно самописное

эт я слышал

не знаю, что щас использует дропбокс, на начале его существования он базировался на Amazon S3

ну это просто протокол

в чате девопс есть чувак, rbtz

а хранится то где

ну это просто протокол

оно протокол потому что его амазон придумал :)

оно протокол потому что его амазон придумал :)

ну да :)

но сам-то амазон как его по дискам раздупляет. чем ?

но сам-то амазон как его по дискам раздупляет. чем ?

очевидно, в амазоне есть разработчики, которые написали сторадж :)

не очевидно. мож они просто заюзали и заадминили

не очевидно. мож они просто заюзали и заадминили

В девелоперах цэфа амазонщтков много?

хз

Ну как бы цэф в гитхабе вроде, вытащить почтоадреса девелоперов и отобрать амазонские нетрудно

не очевидно. мож они просто заюзали и заадминили

у меня конечно нет доказательств :) но я почти абсолютно уверен, что амазон использует собственное решение.

А вообще интересно, да. Займусь послезавтра, если не забуду :/

https://secure.backblaze.com/buy.htm

это не сторадж

безлимит. а где найоб ?

это не сторадж

да я понял. прост к слову

в чате девопс есть чувак, rbtz

он работает в дропбоксе. спросите. может быть, ему NDA позволит ответить.

@rbtz

эээ. чота не меньшенется

@SaveTheRbtz

блджад

пардон (:

он работает в дропбоксе. спросите. может быть, ему NDA позволит ответить.

"если вы используете цэф молчи, если что-то другое переведи разговор" :)

честно говоря, есть серьезное подозрение, что сеф не отскейлится на 100Пб

Цэф цэфов собрать? :)

честно говоря, есть серьезное подозрение, что сеф не отскейлится на 100Пб

а чо может помешать?

монитор перегрузится ?

а чо может помешать?

например стомегабайтный размер osdmap

например стомегабайтный размер osdmap

хм. точно

это значица 100000 Терабайт

dreamhost пару лет назад имели 3П