Ну вот я такого не говорил, однако на любое упомнинаие зябы тут же report летел

И поделом летел, хочу заметить. Живёшь с <....> - живи, пожалуйста, но не надо размахивать им на улице и демонстрировать детям (=новичкам). Когда-нибудь у кого-нибудь окончательно с него подгорит, и дело дойдёт до конвертера тамошних XML во что угодно - да хоть в YaML. Тогда вот эта вот псевдофича "там много искаропки" тупо перестанет быть невломенной ценностью.

И поделом летел, хочу заметить. Живёшь с <....> - живи, пожалуйста, но не надо размахивать им на улице и демонстрировать детям (=новичкам). Когда-нибудь у кого-нибудь окончательно с него подгорит, и дело дойдёт до конвертера тамошних XML во что угодно - да хоть в YaML. Тогда вот эта вот псевдофича "там много искаропки" тупо перестанет быть невломенной ценностью.

Ты хоть бы разговор прочитал, прежде чем что то коментировать

Придумали, но опенсорсного такого и рядом нет

Icinga2 шикарно умеет в эскалации и бизнес-процессы. Если хочется альтернатив - Thruk опять же.

https://www.thruk.org/demo.html https://www.icinga.com/products/demo/

~ 50k zabbix proxy, за каждым от 15 до 30 хостов, на каждом хосте от 10 до 20 метрик

А точно 50k, а не, скажем, 15k?

А точно 50k, а не, скажем, 15k?

Точно, видосик был на то время когда только тестировали

А то я подумал ты про М.

А че за видосик?

Я уже много где работал с З. и в М. в том числе

видосик про М. как раз

Так а где тут 50? На данный момент проксей всего около 17k.

Ну в М. должно быть сейчас 16173 если судить по кол-ву с сайта

Я так то от туда уже очень давно ушел.

Если что лучше в личку, тут не как я понял нельзя ни о чем кроме прометея

Я зная, я тот чел которого ты отсобеседовал и сразу уволился

Я зная, я тот чел которого ты отсобеседовал и сразу уволился

Забавно, ну и как сейчас там?) Ребятам привет

Если что лучше в личку, тут не как я понял нельзя ни о чем кроме прометея

Ващета в факе написан запрет только на одну тему

Я щас на таоей должности

И посматриваю

Ващета в факе написан запрет только на одну тему

Хм как я понал из FAQ, все говно и говорить не о чем)

На пром

Вс говно, но говорить есть о чём

Ты вот хорошую тему вчера поднял

Я щас на таоей должности

Давай в личку, не думаю что это тема для общего чата)

С З проблема в стоимости хранения (и решение хуже на порядок относительно прома и КХ), до недавнего времени была в еще в архитектуре прохождения метрик по которой он упирался в одно ядро что в результате давало условный предел в 50к метрик в секунду Интересно что за железо просасывает 200к метрик в секунду на запись и сколько стоит софт (оракл) Ну а на мелко-средних задачах можно использовать вообще все что угодно, хоть баш скрипты и писать в текст (тут об этом уже не раз шутили)

это про скорость, относительно того как он написан его + в том что его уже пилят больше 10 лет и первичная задача - его стабильность + легкоусвояемость начинающими админами + т.к. ему не ломали гуй можно рандомно открыть 100500 статей откуда угодно за последние 5 лет и они будут почти актуальны. Вот в этих плюсах его минус - последние 2 года столько всего тащится что все равно нужно начинать использовать кучу всякого, и вот с этим всяким З конечно связывается, но его внутренняя "строгость" накладывает отпечаток - его изначально пилили под мониторинг железок а не контейнеров и сервисов

yandex/ClickHouse was tagged: v1.1.54388-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54388-stable Release notes: v1.1.54388-stable

@rlomonosov А ты пробовал далать capacity тестирование для carbon-clickhouse + clickhouse c использованием graphite_reverse? Сколько точек на сервер в секунду от него можно ожидать хотя бы приблизительно?

@rlomonosov А ты пробовал далать capacity тестирование для carbon-clickhouse + clickhouse c использованием graphite_reverse? Сколько точек на сервер в секунду от него можно ожидать хотя бы приблизительно?

Я не Роман ? у меня когда переливал данные было в районе 10M/sec на одном сервере с ssd

@rlomonosov А ты пробовал далать capacity тестирование для carbon-clickhouse + clickhouse c использованием graphite_reverse? Сколько точек на сервер в секунду от него можно ожидать хотя бы приблизительно?

не пробовал. если будешь тестировать, то было бы интересно узнать результат

не могу даже 750К перешагнуть

одн сервер на нем и carbon-clickhouse и clickhouse-server никаких рекликаций, таблицы согданы отсюда https://github.com/lomik/graphite-clickhouse-tldr/blob/master/init.sql

съедает весь CPU напополам 12 ядер один 12 ядер другой откуда начать копать?

если кладу clickhouse to carbon-clickhouse продолжает потреблять около 6-9 ядер просто сохраняя метрики в файлы

периоды разные пробовал chunk-interval ?

Метрики летят каждые 10s chunk-interval = "1s" chunk-auto-interval = "5:5s,10:60s"

ну то есть поток метрик постоянный, но разрешение 10s

у тебя и тегированные метрики есть и обычные?

не, простые метрики, беру копию того, что летит в go-carbon.

выключи тогда tagged табличку. в профайле сильно отсвечивает, а не нужна

причем файлов он прилично насоздавал уже в Folder for buffering received data около 100 файлов и он просто ругается на timeout 5m [2018-06-28T16:19:31.554Z] ERROR [upload] handle failed {"name": "graphite_tree", "filename": "/var/lib/carbon/carbon-clickhouse/graphite_tree/default.1530199415866159447", "error": "io: read/write on closed pipe", "time": 308.801588782}

я пока всегда упирался в диск, на 7200 сас получается 1.5М, но у меня нет carbon-clickhouse

жрет при этом ядер 5

причем файлов он прилично насоздавал уже в Folder for buffering received data около 100 файлов и он просто ругается на timeout 5m [2018-06-28T16:19:31.554Z] ERROR [upload] handle failed {"name": "graphite_tree", "filename": "/var/lib/carbon/carbon-clickhouse/graphite_tree/default.1530199415866159447", "error": "io: read/write on closed pipe", "time": 308.801588782}

возможно есть другая ошибка в логе. эта бесполезна

я пока всегда упирался в диск, на 7200 сас получается 1.5М, но у меня нет carbon-clickhouse

тут то же железо, что и под go-carbon у нас -> SAS SSD

возможно есть другая ошибка в логе. эта бесполезна

есть ошибка из clickhouse, но она очень на timeout смахивает https://justpaste.it/3xm55

для меня пока это оверкилл по производительности т.к. еще и распределение идет по нодам, а ссд либо фиговые в плане живучести либо достаточно дорогие и их жалко для линейной записи

для меня пока это оверкилл по производительности т.к. еще и распределение идет по нодам, а ссд либо фиговые в плане живучести либо достаточно дорогие и их жалко для линейной записи

пока что тестирую, так что взял что валялося

хорошо когда валяются никому не нужные ентерпрайз ссд :)

возможно есть другая ошибка в логе. эта бесполезна

[2018-06-28T16:08:57.937Z] ERROR [upload] handle failed {"name": "graphite_reverse", "filename": "/var/lib/carbon/carbon-clickhouse/graphite_reverse/default.1530197075009144457", "error": "Post http://127.0.0.1:8123/?query=INSERT+INTO+graphite_reverse+%28Path%2C+Value%2C+Time%2C+Date%2C+Timestamp%29+FORMAT+RowBinary: net/http: request canceled (Client.Timeout exceeded while awaiting headers)", "time": 300.975506536} Вероятно так же бесполезно

или это говорит что надо больше коннектов разрешить?

это как раз нормальная ошибка которая закрывает пайп и приводит к другой

наверно действительно не хватает цпу. отключи теггед табличку для начала. можешь вообще оставить только graphite reverse для начала

а что это за сервер такой малоядерный? учитывая намек на большое количество чумаданов за большое количество других чумаданов? :)

наверно действительно не хватает цпу. отключи теггед табличку для начала. можешь вообще оставить только graphite reverse для начала

[upload.graphite_reverse] type = "points-reverse" table = "graphite_reverse" threads = 10 url = "http://127.0.0.1:8123/" timeout = "5m0s" остальное закоментировал

а что это за сервер такой малоядерный? учитывая намек на большое количество чумаданов за большое количество других чумаданов? :)

Model name: Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz

грустишка

но вопрос конечно сколько надо писать и насколько потом хитро читать

грустишка

оно под go-carbon бралось и там cpu практически всегда не доутилизован

ERROR: S client not available

хотя это больше на КХ падает а не на обвязку

но вопрос конечно сколько надо писать и насколько потом хитро читать

у нас 1:10 write:read

эммм а не наоборот?

неа

обычно метрик пишут на порядок больше чем читают

минимум на порядок

потому мы до сих пор на go-carbon и сидим

обычно метрик пишут на порядок больше чем читают

в отношении метрик все так, однако в отношении точек все наоборот

в рандомном чтении КХ хуже карбона, у меня по этой причине и то и то с переключением по условию на длительность хранения

а, т.е. выборки жирные

в рандомном чтении КХ хуже карбона, у меня по этой причине и то и то с переключением по условию на длительность хранения

а каким образом переключение происходит?

2 карбонапи - перед ними был сначала нжинкс с луаскриптом, теперь хапрокси

и карбон в память пишет

просто прикинул статистику что запросов старше последнего часа будет <90% (для медленных метрик там линейно дольше конечно) и как бы вуаля

в графит-КХ теперь можно раскидывать по времени в разные таблицы, но ставить эксперименты с инмемори таблицами как то времени небыло :)

наверно действительно не хватает цпу. отключи теггед табличку для начала. можешь вообще оставить только graphite reverse для начала

стало лучше, но не на много.

и карбон в память пишет

это который их них умеет в память?

а кх и карбон-кх на одной тачке?

может в сетевой стек упирание идет? с переменными системы поиграться и вот это вот все

просто прикинул статистику что запросов старше последнего часа будет <90% (для медленных метрик там линейно дольше конечно) и как бы вуаля

я пробовал go-carbon на медленных дисках, так он там намного быстрее был за счет того, что большинство метрик из памяти отдавалось, правда время записи на диск выростало до 3-5 минут. На быстрых дисках мы его в районе 2-5 секунд держим

а кх и карбон-кх на одной тачке?

на одной. Я вот думаю не может ли это meltdown+Spectre mitigation на старых ядрах так драматически меня аффектить

@azhiltsov : ты как мертрики читаешь, по одной или скопом? по одной легко можно КХ убить. SSD disk, 40 ядер, 96ГБ рам - LA 400, все торчит.

поэтому у меня не получилось его в одну связку с го-карбоном подружить, go-carbon хочет maxGlobs 100, а КХ - maxGlobs 10000000. Хотя на мастере carbonapi можно наверно попробовать, там это можно per backend задавать

@azhiltsov : ты как мертрики читаешь, по одной или скопом? по одной легко можно КХ убить. SSD disk, 40 ядер, 96ГБ рам - LA 400, все торчит.

До чтения ещё не дошло, но да, maxGlobs я поднял в конфиге.

Он у тебя только по записи умирает? однако... не должен по идее

Он у тебя только по записи умирает? однако... не должен по идее

вот я тоже с этого удивился. Пытаюсь понять что я делаю не так.

2 карбонапи - перед ними был сначала нжинкс с луаскриптом, теперь хапрокси

А как хапрокси разруливает запросы? парсит from из url?

ага

он так умеет? однако

ага

а примера конфига нет глянуть?