я тут помню только одного гентушника)
Запоминай второго
Sheridan
Sergei
еще раз, я не про сеф, я про самописный сторадж, работающий по в общем схожим принципам.
я это всё к чему.
если отрастить сеф на десятки и сотни стоек, вылезет много других проблем, о которых на масштабе в 50-100 машин вы даже и не думали, потому что они из ряда вон выходящие.
Mark ☢️
Mark ☢️
я это всё к чему.
если отрастить сеф на десятки и сотни стоек, вылезет много других проблем, о которых на масштабе в 50-100 машин вы даже и не думали, потому что они из ряда вон выходящие.
а вы там знатно ебанулись писать свой софт для стораджа
Sergei
другого выбора нет
Mark ☢️
а что, ничего другого не было? даже платного ?
Sergei
платного? :)))
Mark ☢️
ну кагбы не смешно
Sergei
как бы смешно.
покажите мне коммерческий сторадж на сотни петабайт.
Sergei
а вы там знатно ебанулись писать свой софт для стораджа
с самописным стораджем можно жить хотя бы.
у меня был не очень большой хадуп на 650 машин, и я очень грустил, что у меня нет разработчиков хадупа в соседней комнате.
Sheridan
ну кагбы не смешно
Вот да. Три стойки в день падает, то есть железа так много что проценты сбоев вырастают в стойки железа. А софт исключительно опенсорц или свой. Даже я бы задумался...
Sergei
Вот да. Три стойки в день падает, то есть железа так много что проценты сбоев вырастают в стойки железа. А софт исключительно опенсорц или свой. Даже я бы задумался...
не падают.
гораздо чаще ситуации "ребят, нам надо эту стойку отключить на 4 часа для замены коммутатора".
Sergei
падают заметно реже.
Михаил
Mark ☢️
как бы смешно.
покажите мне коммерческий сторадж на сотни петабайт.
http://alternativeto.net/software/scaleio/
Mark ☢️
чонть такое
Mark ☢️
я хз. не шарю
Sheridan
а не ты ли кричал, что ceph-deploy не нужен?)
Не "не нужен", а "хочу сам так делать уметь как цэфдеплой"
Sergei
http://alternativeto.net/software/scaleio/
ценник на сотни петабайт будет где-то в космосе и под конкретную задачу придется делать очень много доработок.
это значит либо вендорлок ценой в сотни миллионов долларов (если не миллиарды) и зависимость от другой компании.
Sergei
кроме того, у нас это не только сторадж, это mapreduce.
Mark ☢️
а что использует дропбокс и или амазон ? самопис ?
Mark ☢️
я реально хз
Sergei
не знаю, что щас использует дропбокс, на начале его существования он базировался на Amazon S3
Mark ☢️
ну это просто протокол
Sergei
в чате девопс есть чувак, rbtz
Mark ☢️
а хранится то где
Mark ☢️
но сам-то амазон как его по дискам раздупляет. чем ?
Sergei
но сам-то амазон как его по дискам раздупляет. чем ?
очевидно, в амазоне есть разработчики, которые написали сторадж :)
Mark ☢️
не очевидно. мож они просто заюзали и заадминили
Mark ☢️
хз
Sheridan
Ну как бы цэф в гитхабе вроде, вытащить почтоадреса девелоперов и отобрать амазонские нетрудно
Sergei
не очевидно. мож они просто заюзали и заадминили
у меня конечно нет доказательств :)
но я почти абсолютно уверен, что амазон использует собственное решение.
Sheridan
А вообще интересно, да. Займусь послезавтра, если не забуду :/
Mark ☢️
https://secure.backblaze.com/buy.htm
Sergei
это не сторадж
Mark ☢️
безлимит. а где найоб ?
Sergei
в чате девопс есть чувак, rbtz
он работает в дропбоксе. спросите. может быть, ему NDA позволит ответить.
Mark ☢️
@rbtz
Mark ☢️
эээ. чота не меньшенется
Sergei
@SaveTheRbtz
Mark ☢️
блджад
Sergei
пардон (:
Sheridan
он работает в дропбоксе. спросите. может быть, ему NDA позволит ответить.
"если вы используете цэф молчи, если что-то другое переведи разговор" :)
Sergei
честно говоря, есть серьезное подозрение, что сеф не отскейлится на 100Пб
Sheridan
Цэф цэфов собрать? :)
Mark ☢️
честно говоря, есть серьезное подозрение, что сеф не отскейлится на 100Пб
а чо может помешать?
Mark ☢️
монитор перегрузится ?
Mark ☢️
это значица 100000 Терабайт
Sergei
dreamhost пару лет назад имели 3П
Mark ☢️
тоесть 10000 дисков по 10 терабайт
Sergei
я от балды размер сказал, если чо
Mark ☢️
10К нодов это не космически много (наверно)
Mark ☢️
ну так а размер осдмапа зависит же от числа нодов
Mark ☢️
он же местоположение обжекта ВЫЧИСЛЯЕТ а не хранит
Mark ☢️
или я протупил ?
Sergei
скажем так, если бы я имел задачу построить кластер под что-то наподобие региона в aws, скорее всего, я бы имел кластера фиксированного среднего размера с асинхронной реплиацией в соседнюю зону отказоустойчивости.
Sergei
объекта - да, вычисляет.
а сам osdmap - хранит и постоянно обновляет.
Mark ☢️
объекта - да, вычисляет.
а сам osdmap - хранит и постоянно обновляет.
эмммм. про вторую фразу можно подробнее?
Sergei
Sergei
ой, я имел в виду pgmap.
Mark ☢️
легче не стало
Sergei
насколько я понимаю, каждый osd репортит монам о состоянии pg, которые сейчас на нем живут.
это происходит с определенным интервалом (на моем кластере - ровно каждую секунду), не уверен, что он конфигурируемый. информация о каждой pg, ее статусе, местоположении и т.п. - стекается на мониторы. все мониторы имеют общий paxos-кворум и полностью копируют эту информацию друг между другом.
соответственно, чем больше у нас pg в кластере, тем больше информации в единицу времени приходит на монитор. в определенный момент нам потребуется шардить мониторы. и что-то мне подсказывает, что произойдет это в районе нескольких десятков или сотен тысяч сообщений в секунду (потому что для обработки миллионов сообщений в секунду на одном сервере нужно уже очень сильно возиться).
Sergei
в определенный момент в нашем сторадже, когда мы стали слишком жирными, нам пришлось организовать шардирование аналогов мониторов.
Mark ☢️
А зачем мониторам знать где какая пг ?
Mark ☢️
прост я не очень понял как это всё работает. только часть понял и то не факт что правильно. где б почитать
Sergei
Each map maintains an iterative history of its operating state changes. Ceph Monitors maintain a master copy of the cluster map including the cluster members, state, changes, and the overall health of the Ceph Storage Cluster.