ну там же убрали in-memory index

:)

ладно, бобик сдох

По моему инфлюкс в проде - это котёл в аду

@deniszh а вот там пишу что в ebay используется инфлюкс

в продакшене

в ebay в продакшне даже монго используется

в ebay в продакшне даже монго используется

а ты уверен что монго хуже? )

eBay большой. Я думаю что в продакшене у нас можно найти что угодно

eBay большой. Я думаю что в продакшене у нас можно найти что угодно

а вы из ebay?

а ты уверен что монго хуже? )

не знаю, я с инфлюксом не работал. С монго работал и нежно его ненавижу

а вы из ebay?

йез, сортоф

сейчас заливаю исторические данные из графита в кликхаус, кликхаус легко переваривает 125 милионов метрик в минуту

графит на 12 у меня уже падал

графит сильно зависит от конкретной имплементации и настройки я бы сказал )

там жеж и юзкейсы есть - https://www.influxdata.com/project/ebay-customer-testimonial/

Monitoring of Elasticsearch as a service cluster – еще туда сюда

а остальное - аналитика

ну вот тем не менее интересно с чего вы решили эту фигулину выбрать )

Ну и какой нить платиновый мегасапорт контракт на 100500 серваков

Это не мы ?

http://www.ebaytechblog.com/2017/04/12/elasticsearch-cluster-lifecycle-at-ebay/

"Cluster monitoring is done by custom monitoring plug-in that pushes 70+ metrics from each Elasticsearch node to a back-end TSDB-based data store."

70 метрик с кластера! Мощъ!

from each Elasticsearch node !

с ноды таки

"We leverage an internal alert system that can be used to configure threshold-based alerts on data stored on OpenTSDB."

(ba-dum-tss!)

да, с ноды

для 10000 нод это будет 700000 метрик, ну с системными - миллиона полтора.

Ну из статьи не совсем понятно где там вообще "InfluxDB (open version)", если метрики хранятся в OpenTSDB.

Короче. К юзер саксес сториз надо относиться осторожно.

Иногда (всегда?) там не все так как рассказывает вендор.

Ага

Я так читал саксес стори про друид

мы взяли друид, взяли 10 нод на амазоне, и смогли добиться миллиарада точек в день

хоп-хоп-хоп, посчитал, получилось 20 тысяч в секунду на ноду

читаешь дальше - они там читают десятки миллионов точек в секунду.

вчитываешься - с нод на которые нет записи при условии что все in-memory

ну ооок

или как-то в таком духе было

https://blog.project-fifo.net/the-lies-we-tell/ и вот напомню про хорошую статью про бенчмарки )

а подскажите, что годного почитать, кроме The Art Of Monitoring?

https://landing.google.com/sre/book/chapters/monitoring-distributed-systems.html

можно так например

оно немного капитанское

ну и ваще sre book

Всем привет. Можно вопрос от того, кто ничего не понимает в метриках? Нужна активная работа с запросами + дашборды. Что выбрать?

Просто на одной стороне табикс, а на другой графана, а что имеющее функции и того и другого - не знаю.

С КХ конечно интеграция.

@inv2004 еще можешь посмотреть на redash и superset

но я бы взял grafana + redash/superset :)

а не пытался бы выбрать имба-дэшборд

просто для запросов юзал бы одно

просто для запросов юзал бы одно

Ну те получается как табикс и графана одновременно?

Только табикс = суперсет (не понятно), или redash

ну да

просто табикс все же stateless, что лично мне не очень нравится )

а redash/superset могут еще и простые графики делать

и могут в ряде случаев заменить тебе графану

Ок. А можно тогда ещё про redash и superset? Просто я начал ставить суперсет уже, но, увидев графану, переобулся на ходу из-за красоты последней, чем не блещет суперсет, он даже на гифках кажется тормозит :)

Ок. А можно тогда ещё про redash и superset? Просто я начал ставить суперсет уже, но, увидев графану, переобулся на ходу из-за красоты последней, чем не блещет суперсет, он даже на гифках кажется тормозит :)

они оба такие, да

но они под аналитику

а графана под мониторинг

Понял, спасибо. А можно в двух словах redash vs superset? Ну может что-то ключевое. Для экономия дней изучения и того и другого :)

ERROR: S client not available

а это не скажу

знаю что в cloudflare взяли superset и допилили, а я ставил тока redash

Спасибо, тогда изучу.

посоны, поясните за риманн, зачем он нужен (кроме того, что афир - няшка) и что с ним сделать можно

посоны, поясните за риманн, зачем он нужен (кроме того, что афир - няшка) и что с ним сделать можно

книжка Брендана Грегга объяснит очень детально. Она толстая, но того стоит.

я мог и самого афира прочесть, будь мне не было жалко времени

учитывая, что мне бы понять, стоит ли копать вообще в эту сторону или нет, сразу за книгу хвататься не хочется

стоит, если обычный мониторинг недостаточно гибкий, а времени - вагонетка. Я пытался внедрить в одном проекте, но потерпел неудачу из-за второго пункта

ну то есть, гибкости в чём может не хватить?

честно говоря - даже не представляю. Гибкость реймана абсолютна - он может мониторить абсолютно любые понятия и как угодно

нет, я про гибкость "обычного мониторинга"

это может и будет зависить только от вашей задачи. У меня прометей и мне его хватает в 99% из 100 (вот плагины в node_exporter можно было бы и сделать, честное слово)

а риман какую проблемы был призван решать?

по-моему в первую очеред - not invented here

а, ну норм

Для prometheus или opentsdb кто-нибудь использует anomaly detection? А то сейчас везде в тренде AI с машин лернингом, может уже есть что-то годное)

Как хорошо, что есть такой чатик, в котором я могу задавать свои дурацкие вопросы и, надеюсь, мне на них ответят.

Всем привет

neprivet.ru

neprivet.ru

это глупость и хамство. В данном конкретном случае

Господа, есть стремительно растущая сетка на 2к+ единиц сетевого оборудования (mikrotik). Чем их мониторить по нужным мне OID? Всю жизнь свою связал с заббиксом, но понимаю, что, под него нужно будет неимоверное железо для такого количества хостов.

это глупость и хамство. В данном конкретном случае

это привычка людей, которые считают, что они самые умные. Все норм, я привык.

И что бы желательно с графаной)

Я уже устал голову ломать в поисках решения

Господа, есть стремительно растущая сетка на 2к+ единиц сетевого оборудования (mikrotik). Чем их мониторить по нужным мне OID? Всю жизнь свою связал с заббиксом, но понимаю, что, под него нужно будет неимоверное железо для такого количества хостов.

У меня примерно такой объем, неимоверного железа не наблюдается

Особого тюнинга тоже не проводил

У меня примерно такой объем, неимоверного железа не наблюдается

к концу года это будет 10к+

И не хочется покупать 3U двухпроцессорный сервер под систему мониторинга)

В общем, заббикс - сразу нет.

Начал читать про prometheus, но что то мне не понятно, как он работает с snmp. Мне вроде как объяснили, что нужно на каждое устройство будет ставить агента специального, но как то я не въеду.

купи циску :) а если серьёзно, то в общем то в чём вопрос?

А связка кх и графана- кто как метрики льет в? Бизнесовые например, у нас жавка