чем кассандра не кассандра?

чем кассандра не кассандра?

ее нужно готовить правильно

Ещё одна чем что? Чем немасштабируемый достаточно прожорливый my/pg sql?

а ни у кого не получилось пока

разве?

у меня отлично она приготовлена, по мою задачу

разве?

Угу. Были попытки прикрутить кассандру - Cyanite, KairosDB, Heroic

еще чо-то такое

но для time-series чот не взлетает

приготовления, правда, включают в себя терабайтный ссд кеш на чтение на каждой ноде

есть надежда что raintank сделают таки правильно

приготовления, правда, включают в себя терабайтный ссд кеш на чтение на каждой ноде

у нас под графит 2x1.6TB SAS RAID0 будет )

и в чем пробелма писать таймсериес

в каждой ноде

пока микс еще

и в чем пробелма писать таймсериес

писать не проблема, читать проблема

точнее читать и писать разом

тоже я нипанимайтунг :(

и делать это так чтоб люди не ждали по 30-40 секунд на график

Что вы со всем этим делаете? Откуда вы столько нужных данных берете?

Что вы со всем этим делаете? Откуда вы столько нужных данных берете?

да просто, берем десятки тысяч хостов (тм) и считаем топ5 занятого места

у меня 4 прод сервера вваливают примерно 200К метрик в секунду

Десятки тысяч хостов - это я тут с гуглем что ли разговариваю?

Десятки тысяч хостов - это я тут с гуглем что ли разговариваю?

не, это мелко-средняя контора

не все они нужны, но я пока не понимаю - какие лишние

Десятки тысяч хостов - это я тут с гуглем что ли разговариваю?

ну чисто для справки - у яндекса сотни тысяч

у гугла по слухам порядка миллиона

но они даже порядков уже не называют

десятки тысяч это уровень вконтактика, одноклассников и прочих

ну и ща у захудалого стартапа тысячи виртуалок на амазоне

ну тип того

Ну так это гавно

Количество виртуалок Богу количества виртуалок?

ну никто не виноват что если хочешь оптимально тратить деньги то это в лучшем случаи 2xE5-2620

а для говнокода таких железок нужно много )

а для говнокода в Machine Learning еще больше

200к метрик в графит это захудалая машинка же сдержит

Из них 180к никто не читает все равно

ну никто не виноват что если хочешь оптимально тратить деньги то это в лучшем случаи 2xE5-2620

Скромно уполз со своими E5460

200к метрик в графит это захудалая машинка же сдержит

в секунду - это уже сложнее )

Смотря что ты с ними делаешь) если кладешь на хард со скоростью 200к иопс, то да)

иопсы прометей тратит правильно

грфит, правда, тоже можно научить

так что проблем нет

кроме ррд все норм тратят иопсы

и не читает дам никто 199К метрик

работал я как-то в стартапе где любиымым занятием менеджера было вывести на 1 график 200 метрик

и чо то в этой каше искать

ну вот поиск ответа на вопрос “почему тормозит” превращается в поиск подходящей метрики, которая покажет корреляцию

А еще их аггрегировать можно:)

а вот это надо с умом делать

Так. Вот посмотрел прометеус алертинг. Расписания не нашел. Достаточно муторно. Как подключить свой плагин сходу не понял. И можно ли вообще кроме как через ещё один сервис и вебхук. Как например простую задачу "пингуем 20 хостов, алертим состояния" решить я даже сходу не знаю

А еще их аггрегировать можно:)

люди иногда делают странные вещи типа 4 ретеншн периода где делают среднее от среднего от среднего от среднего

и потом удивляются почему оно не то показывает

И все разъезжается красиво

Мм

Так. Вот посмотрел прометеус алертинг. Расписания не нашел. Достаточно муторно. Как подключить свой плагин сходу не понял. И можно ли вообще кроме как через ещё один сервис и вебхук. Как например простую задачу "пингуем 20 хостов, алертим состояния" решить я даже сходу не знаю

Как сделать host/service dependicies тоже не очень понимаю

Так. Вот посмотрел прометеус алертинг. Расписания не нашел. Достаточно муторно. Как подключить свой плагин сходу не понял. И можно ли вообще кроме как через ещё один сервис и вебхук. Как например простую задачу "пингуем 20 хостов, алертим состояния" решить я даже сходу не знаю

спроси у ромки, а?

я тоже ведь не знаю, че как

у меня к прометею роман интерфейс обеспечивает

Я просто подозреваю, что как алертер мало что до nagios-clone дотягивает. Вот есть ещё sensu и bosun. Но сходу тоже не понятно, потому что они все заводят сначала песню о метриках

Я просто подозреваю, что как алертер мало что до nagios-clone дотягивает. Вот есть ещё sensu и bosun. Но сходу тоже не понятно, потому что они все заводят сначала песню о метриках

подход такой )

девопсный

measure, блеать!

подход чего? я вообще про метрики не интересуюсь - мне алертер состояний нужен. и кстати вам тоже, потому что любой доклад заканчивается "и тут я начал настраивать алерты"

я в ирц до сих пор посиживаю

Ну например это самый простой способ пообщаться с разрабами фрисвича или камаилио

подход чего? я вообще про метрики не интересуюсь - мне алертер состояний нужен. и кстати вам тоже, потому что любой доклад заканчивается "и тут я начал настраивать алерты"

мониторить сервис а не хосты или софт

ERROR: S client not available

мониторить сервис а не хосты или софт

В чем 10 отличий? Отрицание мониторинга хостов это вообще какое-то поветрие

В чем 10 отличий? Отрицание мониторинга хостов это вообще какое-то поветрие

когда их у тебя тысячи то смерть какого-то процента тебя не волнует

а деградация сервиса волнует

Тебя не может не волновать смерть процента. Она может быть не критична и волновать мало, но просто не волновать не может. Про 10000 мы уже говорили - мы все их знаем в лицо. А остальные?

Тебя не может не волновать смерть процента. Она может быть не критична и волновать мало, но просто не волновать не может. Про 10000 мы уже говорили - мы все их знаем в лицо. А остальные?

зачастую смерть все равно надо расследовать руками или полуруками

Это другой вопрос. Но о ней надо знать что ли

ну ты можешь о ней знать из графиков

нет данных - надо пойти на хост и попырить

если их 4, как у меня - смерть одного повод для алертов

если их будет 10 - я даже отключу sms, оно до утра прекрасно подождет

Это другой вопрос. Но о ней надо знать что ли

с тем же графитом, меня волнует процентиль времени ответа пользователю, колличество "не 200", потери в любой точке инфраструктуры. А остальное в общем не шибко беспокоит

а, ну физические проблемы с железом еще

Так. Верните меня на место. А зачем все эти оправдания, если можно просто мониторить состояния. Деградация это в конечном итоге тоже состояние

просто такие состояния удобно описывать метриками

потому что хер ты поймешь по состояниям, как оно себя в целом чувствует

потому что хер ты поймешь по состояниям, как оно себя в целом чувствует

Эм, а по чему ты это поймешь? По шумам в голове? Ты ведь метрики анализируешь и всё равно даёшь состояние.

мониторинг от SLA удобно описывать метриками

мониторинг от железа удобно чеками

Тип того

проблема в том, что реально одно не заменяет другое, хотя все пытаются

а, ну и имея метрики можно делать простенький анализ

Правда мониторинг от SLA в итоге тебе всё равно дает состояние, которое можно смотреть чеками. Я вот где не понимаю разницы. Только получение состояния разное

Я не отрицаю метрик

У меня недопонимание с отрицанием чеков в том числе и хостов

У меня недопонимание с отрицанием чеков в том числе и хостов

нет отриация их необходимости. Но объективно мне не очень важно почему у меня дропы - потому что сервис упал или хост упал

Мы из каких-то разных миров. У меня упала сеть и я хочу об этом знать и не хочу получить 100 смс от сервисов за этой сетью. У меня есть резервы и они тоже иногда помирают, знать о них чуть ли не важнее, чем об основном сервисе. Есди у меня 10 серверов и один из них упал, то я как бы хочу послать туда замену. Я об этом должен знать. Ну и да. Я утверждаю, что 100% HA вширину не бывает. Всегда узкие места и единые точки отказа типа БД или стораджа.

послать замену даже если это не влияет на текущую работу. или есть какое-то волшебство, позволяющее на все это забить?

Мы из каких-то разных миров. У меня упала сеть и я хочу об этом знать и не хочу получить 100 смс от сервисов за этой сетью. У меня есть резервы и они тоже иногда помирают, знать о них чуть ли не важнее, чем об основном сервисе. Есди у меня 10 серверов и один из них упал, то я как бы хочу послать туда замену. Я об этом должен знать. Ну и да. Я утверждаю, что 100% HA вширину не бывает. Всегда узкие места и единые точки отказа типа БД или стораджа.

Сеть это отдельная штука

есть волшебство, которое позволяет генерить эти алерты из метрик

есть места где метрики прям удобно использовать

пример выше - дропы

У заббикса что-то было на тему, что если упал гейт, не надо слать о падениях серверов за этим гейтом