а чо почем ?

разница в деталях, конечно

они события и аварии в кучу мешали, мы их разделяем

ну и SQL-базу не используем

а храним данные в монге

NOC - webscale

благо web и прочих приложений у нас достаточно было

да и сам NOC - тоже web-приложение ?

даже со своим внутренним мониторингом

В плане топологии там как раз и ещё Micromuse-овских приобретений появился IP Precision ( в девичестве - продукт компании Riversoft, тоже весьм приличная штука). Там как раз всё дискавери было настраиваемое очень гибко, но, в отличие от HP NNM, не "из коробки". И топологическая корреляция делается через стыковку базового неткула с IP Precision.

а чо почем ?

ПРо это не скажу - там всё постоянно менялось много раз, и от набора модулей и числа юзеров, узлов зависит. Недёшево. Ценник >100+k$ наверняка сейчас.

они события и аварии в кучу мешали, мы их разделяем

А в чём различие у вас? Тут от терминологии много зависит. Никто же не мешает в неткуле порождать производные события внутри движка как реакцию на "сырые" события и называть оные авариями.

ну и SQL-базу не используем

Я давно на NOC смотрел и недолго. Mongo тоже далека от идеала. Скорее всего нормальная графовая база лучше бы подошла. Для тогологии то уж точно. А для других задач SQL намного удобнее. Для timeseries - ещё один движок нужен. Серебряной пули нету.

графовые базы все - in-memory

time series - в CH

да и нормальных графовых баз тоже нет ?

да и нормальных графовых баз тоже нет ?

Про in-memory и хороших - спорные утверждения.

orient, arago, neo4j

они все работают только когда данные в памяти

весь граф

и, если на то пошло, у монги тоже есть обход графа

orient, arago, neo4j

https://dgraph.io/ https://blog.dgraph.io/post/benchmark-neo4j/

сами ее юзали?

сами ее юзали?

Нет. Только читал ? Но в их блоге есть пост: человек с нуля написал приложение, в котором реальный дамп данных из stackoverflow загружался в эту базу и всё летало. https://blog.dgraph.io/post/building-graphoverflow/

Подозреваю, что без SSD всё не так уж радужно будет, но, по крайней мере, распределённость и отказоустойчивость изначально заложена в дизайн. И GraphQL-like запросы - вишенка на торте. Это вам не REST мучать.

Под топологию и Root-Cause - самое то!

А сейчас что то не заточено под ссд? Монга, кх там в доках даже написано что на шпинделях будут грусть и печаль

кх.

кх не заточен

А сейчас что то не заточено под ссд? Монга, кх там в доках даже написано что на шпинделях будут грусть и печаль

КХ в метрике раньше был на Raid10 из 6-и крутящихся дисков 7200

например

сейчас вроде на рейд5 стал из тех же 6 дисков

я вам своими словами написал то что написано в доке

сейчас вроде на рейд5 стал из тех же 6 дисков

ну да, потому что в той же доке написано рам=объем данных

чё уж там, можно и на ноутбучных

ну да, потому что в той же доке написано рам=объем данных

хде?

Если ваш бюджет позволяет использовать SSD, используйте SSD. В противном случае используйте HDD. SATA HDDs 7200 RPM подойдут. Предпочитайте много серверов с локальными жесткими дисками вместо меньшего числа серверов с подключенными дисковыми полками. Но для хранения архивов с редкими запросами полки всё же подходят.

https://clickhouse.yandex/docs/en/operations/tips.html For small amount of data (up to ~200 GB compressed) prefer to use as much RAM as data volume. For larger amount of data, if you run interactive (online) queries, use reasonable amount of RAM (128 GB or more) to hot data fit in page cache. Even for data volumes of ~50 TB per server, using 128 GB of RAM is much better for query performance than 64 GB.

Для небольших объемов данных (до ~200 Гб в сжатом виде) лучше всего использовать столько памяти не меньше, чем объем данных. Для больших объемов данных, при выполнении интерактивных (онлайн) запросов, стоит использовать разумный объем оперативной памяти (128 Гб или более) для того, чтобы горячее подмножество данных поместилось в кеше страниц. Даже для объемов данных в ~50 Тб на сервер, использование 128 Гб оперативной памяти намного лучше для производительности выполнения запросов, чем 64 Гб.

@Anc1ent ну ты немного недоговорил так сказать

128ГБ рам для 50ТБ на сервер

@Civiloid Владимир, как поживает твой замечательный файлик систем TSDB ?

@Civiloid Владимир, как поживает твой замечательный файлик систем TSDB ?

он в описании канала есть

О, супер!

боже, какой отличный дескрипшен

про заббикс часть вообще божественна

Скажите, Go-carbon умеет так же прозрачно работать с graphite-web?

так же как что?

Скажите, Go-carbon умеет так же прозрачно работать с graphite-web?

carbonserver включаешь, используешь go-carbon как CLUSTER_SERVERS

впрочем вопрос в том нафига

Graphite-web - просто нравится. А какие альтернативы для web интерфейса?

Graphite-web - просто нравится. А какие альтернативы для web интерфейса?

grafana + carbonapi

Может я старомодный чувак, но графана какая то черезчур хипстерская!

Может я старомодный чувак, но графана какая то черезчур хипстерская!

зато клевая

так что ты имеешь в виду под прозрачностью? go-carbon всячески умеет работать с graphite-web

так что ты имеешь в виду под прозрачностью? go-carbon всячески умеет работать с graphite-web

Да, именн это

orient, arago, neo4j

Титан же

О, нашел Владимира на Хабре :)

И еще пара более маргинальных решений

Форк титана сообществом https://github.com/JanusGraph/janusgraph ( после покупки aurelis datastax-ом )

Про fastest dgraph, откровенно преувеличивает

Всем привет. Может кто знает, как отображать/неотображать график на дашборде в зависимости от темплейта?

ERROR: S client not available

https://github.com/influxdata/telegraf/releases/1.4.0 was tagged

https://github.com/influxdata/telegraf/releases/1.4.0 was tagged

Нашел кое что, вроде годнота, может кому полезно будет тоже

t.me/moneymafia — канал с различными схемами и мануалы для заработка на любой вкус и цвет, а также бесплатные сливы приватных материалы с закрытых форумов.

@Civiloid я только сейчас обратил внимание, что в таблице TSDB нету Cyanite (http://cyanite.io/)

забудьте про него

@Civiloid я только сейчас обратил внимание, что в таблице TSDB нету Cyanite (http://cyanite.io/)

Да, я чот про него забыл, но он вроде как трупешник

И если уж Кассандра и графит совместимость то смотрите biggraphite

Да, я чот про него забыл, но он вроде как трупешник

последний коммит - 26 июня, а когда он успел сдохнуть?

последний коммит - 26 июня, а когда он успел сдохнуть?

До рождения? :)

Ну если честно мне запомнилось что там куча проблем было и оно в полуюзабельном состоянии примерно вечно было

я просто про него точно знаю, что хайлоад держит, т.к. продакшн толстый у соседнего девопса в предыдущей компании на нём ехал в то время, когда go-стека не было ?))

И как то без особого развития

я просто про него точно знаю, что хайлоад держит, т.к. продакшн толстый у соседнего девопса в предыдущей компании на нём ехал в то время, когда go-стека не было ?))

Я в 2014 году смотрел, он был хуже питона для одной машины. Единственный плюс что масштабировать проще

Ну если интересно, то могу у тог очеловека поспрошать, как он вообще живёт. Там даже числа какие-то были известны (в плане количества метрик и параметров хоста, на котором ехало)

Ну если интересно, то могу у тог очеловека поспрошать, как он вообще живёт. Там даже числа какие-то были известны (в плане количества метрик и параметров хоста, на котором ехало)

не, там числа были плохо известны, т.к их сложно достать было

не, там числа были плохо известны, т.к их сложно достать было

Валера вроде же доклад делал? Или я всё перепутал?

мм делал, я начало мб пропустил

Ну если интересно, то могу у тог очеловека поспрошать, как он вообще живёт. Там даже числа какие-то были известны (в плане количества метрик и параметров хоста, на котором ехало)

Числа это всегда интересно

Особенно если ещё и по месту можно рассчитать что и как

мм делал, я начало мб пропустил

ну вот, там цифры точно были

Числа это всегда интересно

тогда спрошу, а потом уже прикинем, с чем их есть

тогда спрошу, а потом уже прикинем, с чем их есть

Интересно в первую очередь байт на точку для хранения сколько вышло

Это обычно очень сложно найти

там достаточно много должно быть

раньше там в таблице два поля было — результат и хеш от времени и пути метрики

Всем привет! А где графана (запущенная в контейнере из репо grafana/grafana) хранит сохранённые дашборды и настройки?

в sqlite по-умолчанию

Всем привет! А где графана (запущенная в контейнере из репо grafana/grafana) хранит сохранённые дашборды и настройки?

volumes: - /root/grafana:/var/lib/grafana

раньше там в таблице два поля было — результат и хеш от времени и пути метрики

там сразу хранится зачем-то max + mean + min + sum

time в bigint