А у меня была база в 8Tb

а на деле первый раз такую хуйню видят

Что больше заявленного в два раза

Другое дело, что из опыта известно

Меня просто начальство накаляет этой хуйней

Что человек с базой размером более терабайта, скорее всего, болен головой

и никого не ебет

Если эта база в RDBMS

Почему? Да потому что индексы не влезают в память

И варианта два

Короче, если у кого то есть опыт с тем что я спросил, подскажите что можно сделать с базой в 4-5тб

чувак, возьми графит. и зашарди.

у ребят метрик лежит в графите на 130тб и заебись им

1) Шардить (взять Londiste вот это все - мы брали, но мне не очень понравилось, и придется писать ХРАНИМКИ)

ну не наодном хосте кнчно

2) Взять не RDBMS

Что касается “взять не RDBMS” - варианта примерно три

а) Взять Cassandra б) Взять HBase в) Взять Aerospike

А, ну есть еще вариант изыскать где-то нужное число терабайтных SSD-шек

Но это Франкенштейн получится

А вариант построить на postgres-xl кластер ?

И если брать Cassandra - то флешки нужны будут все равно, хотя бы как writeback cache

А вариант построить на postgres-xl кластер ?

Сколько человек в мире такое делали успешно?

с десятком машин и шардингом ?

Знал бы я сколько

Не спрашивал

Ну - я вот спрашивал

Кроме авторов этого самого XL - никто

Эффективно, любой шардинг RDBMS накладывает ограничения на бизнес-логику То есть, Postgres-XL - это уже не совсем Postgres

А Londiste - это хранимки в обязательном порядке

Отдельный сложный вопрос - зачем вообще хранить time series data в RDBMS

Короче суть вот в чем

А вариант построить на postgres-xl кластер ?

убейтесь. какая у них там версия ? 8.3 ?

Я не знаю

Короче суть вот в чем

есть 2 десятка дц

с винигретом из всего

Я вчера посмотрел - у меня сто с небольшим миллионов строк в OpenTSDB Это, конечно, мало Но будь их там 4 миллиарда - ничего не поменялось бы Просто за год с лишним нападало всего сто миллионов ;( Da load is not that high

Нужно выбрать какую то систему мониторинга которая более менее описывает все кейсы

Т.е нужно сделать так что бы все хорошо собиралось

самое уязвимое место получается база

Я сильно боюсь, что “выбрать” не удастся Ее придется построить

и то, там нужно только hostircal data хранить

Написать

самое уязвимое место получается база

Не факт

Факт

Ну, поспорь со мной

Если у тебя одна база - то факт

Вся нагрузка будет компенсироваться кол-вом прокси

А если у тебя их восемь - то нет

тут кароч книга по мониторинг пробегала, почитай :) может поможет

Заббикс говно, повторяю еще раз

А что не говно ?

Грэфайт Прометей Вышеупомянутый риман

С мониторингом все очень просто Есть глобальные лавки

Которые по определению существенно крупнее русских

И ни в одной из них никто не мониторит сраббиксом

Видели ли мы статьи от Etsy про сраббикс? Видели ли мы плагины от Rackspace для сраббикса? Писал ли для нас про сраббикс в свой блог Брендан Грегг?

на монитораме, был слайдик с распредлением, там заббикс на уровне каких то мунинов и неизвестного дерьма.

но при этом там в топе Нагиос и это тоже лютый пздц

Мунин вообще агонь

Если нужна база, используй кликхауз

Когда нужно один хост быстро обрисовать

Если нужна база, используй кликхауз

не рановато?

Мунин вообще агонь

мртг еще вспомни

не рановато?

Да нет, уже несколько лет как огонь.

То, что оно опенсорсное только сейчас ничего не значит :)

Надо дождаться отзывов от более опытных хипстеров

Если нужна база, используй кликхауз

я понял ! у тя ава как у админов маркета !

надо костыль на nrpe пользовать

я все понял ребята

я понял ! у тя ава как у админов маркета !

Павлено >_<

но при этом там в топе Нагиос и это тоже лютый пздц

Ну почему же

*палевно

Нагиос норм

Но он хорошо умеет только алертить

И больше ничего

понимаешь, смысл в том что для 1000> хостов

Похуй что юзать

Любая обвязка сойдет