это пики. :)

я когда тестил КХ в прошлом году, у меня было неделю ровно 2.1кк в секунду, но графитных точек

уперлось в то что на тестовом сервере кончилось место

ну и да, write-only :)

Парни и девушки! Оцените плз, мою статью на хабре про Графит + КХ: https://habrahabr.ru/company/avito/blog/343928/

а сколько уникальных метрик всего ?

Порядка 28 миллионов

у меня тоже пики были дофига. но сейчас я замечаю что запись может быть разной. и да у меня конечно схема другая но всё равно. высокая скорость будет оптимальными батчами с в одну таблицу одним форматом

у меня тоже пики были дофига. но сейчас я замечаю что запись может быть разной. и да у меня конечно схема другая но всё равно. высокая скорость будет оптимальными батчами с в одну таблицу одним форматом

ну батчинг это само собой )

отклонения от оптимальной схемы более чем возможны.

у каждых таких историй успеха к сожалению есть кучи "но должно быть..."

в этом суть

я так понимаю что в схеме выше батчинг за carbon-c-relay ?

я так понимаю что в схеме выше батчинг за carbon-c-relay ?

carbon-clickhouse ломиковский

я так понимаю что в схеме выше батчинг за carbon-c-relay ?

релей не спасает

а да. не понял его там

а очередь где ?

демонок который слушает графитный протокол, конвертирует в нативный формат и скидывает внутрь раз в секунду

на зукипере ?

а очередь где ?

какая именно очередь?

ну на mainteince window

ну на mainteince window

а, это в релее, да

вообще их две

carbon-clickhouse на диске мейнтенит очередь если вставка упала

и релей в памяти если тоже не смог отправить

толщина этой очереди будет бедой.

толщина этой очереди будет бедой.

ну да

у меня как то раз была ситуация когда кликхаус останавливался около 2 минут.

там много заботливо разложенных граблей

стартовал гдето минуту

так что на ~5 минут как минимум нужна очередь. увы.

а рестарт железного сервера может и подольше если чего.

ну само собой

схема хранения в очереди далека от отптимальной. так что тут будет еще 100гигов. на тупо подстраховку

у меня как то раз была ситуация когда кликхаус останавливался около 2 минут.

тут не очередь carbon-c-relay - тут carbon-clickhouse работает - там на сколько места хватит

по диску просто

@freeseacher суть в том что это внешние к КХ проблемы. КХ может держать 2М записей в секунду постоянно долго, если нет чтений

если есть чтения - там становится печальнее и нужен более жирный сервер уже

ну как нет чтений то :)

в схеме потом еще появится chproxy

ну как нет чтений то :)

ну для архива например )

@freeseacher а я про свой опыт говорил же

и мы это знаем, точно появится

плюс я не помню какое у них там железо

@freeseacher в моих экспериментах год назад carbon-clickhouse + clickhouse выжирали 12 ядер на пару на потоке 2.1М метрик в секунду

@freeseacher и запросы сложные соответственно выполнялись довольно плохо при таком потоке

но добавив еще пару ядер сверху можно было б жить

Так там же кластер КХ же? vladimir ?

Кластер да. И чо :)?

Да, но это не имеет особой разницы, так как все метрики из релеев летят на одну ноду, а потом разлетаются уже по реплике

Ну и что смущает в 125 млн тогда?

Мы с виспером страдали при 10кк, а с КХ пусть и в пик но проверили 125кк

оно имеет узкие места конечно, но 125 млн это далеко не предел.

Согласен

а сколько нод в кластере и что за железо, если не секрет?

Это то что мы видели по факту.

3 ноды, 1 на запись 2 на чтение

ноды в кластере выключали?

Да

Все ок

все 3 - реплики?

в смысле конфигурации КХ

Да все три, но по очереди само собой

Мы с виспером страдали при 10кк, а с КХ пусть и в пик но проверили 125кк

Мы на го карбоне выжимали 60кк в минуту на сервере.

Я говорю про 10кк вновь пришедших

Ну вновь пришедших да, создаются они не быстро

Но я бы не сказал что ситуация "пришло 10м новых метрик" это штатный режим работы

ERROR: S client not available

Я бы сказал что ситуация "пришло 10М новых метрик" это режим работы "жопа"

Я бы сказал что ситуация "пришло 10М новых метрик" это режим работы "жопа"

или руки от туда :)

Такой был, и мы встали в позу

Такой был, и мы встали в позу

ну просто это мягко говоря странный режим работы)

Такой был, и мы встали в позу

на самом деле при наличии достаточного количества памяти на сервере он нормально переживает это у нас вплоть до нескольких часов

vladimir ну у нас на создании он не дропал

но создавал их долго

[cache] max-size = 2147483648 [whisper] workers = 48 max-updates-per-second = 30000 11kk метрик создаются около 2 часов при входящих ~450K точек в секунду

У нас воркеров было 56, а max-updates-per-second = 0

Мы пробовали 20000 - но любая перезагрузка go-carbon отрисовывала дыры в графиках

В КХ таких проблем нет

Наделал скринов, "как долбоебы-гошники из церкви метрик жгут про Python", пусть в @rudepython поржут :))

Наделал скринов, "как долбоебы-гошники из церкви метрик жгут про Python", пусть в @rudepython поржут :))

О. Вернись в ансибл. Ты был нужен а ливнул

Владимир почитав статью понял, почему у меня для аналогичной задачи кх не полетел (были проблемы при чтении) и что без вашего форка с окном для чтения метрик у меня ничего не получиться ;) профиль метрик очень похож на метрики кубера (то есть то нет, уников много а данных намного меньше)

@ihard, я рад что не зря писал!

О. Вернись в ансибл. Ты был нужен а ливнул

Оленей выгонят - вернусь

А materialized view date_metrics уже существовал на момент загрузки данных со скоростью 125kk/m?

Нет

Вьюшке месяц только

мы просто пытались использовать materialized view и КХ прям очень сильно деградировал по скорости. в результате забили и льем софтом сразу в несколько табличек

Оленей выгонят - вернусь

что не так с оленями?

@rlomonosov это отличный вопрос для Алексея Миловидова! ;)

что не так с оленями?

Им там без меня комфортнее :)

а де чатик по ансибл? ? (сорри за оффтоп)

Им там без меня комфортнее :)

сказали тебе, что ты фу и нехороший и вообще грубиян?

а де чатик по ансибл? ? (сорри за оффтоп)

а меня также интересует по Salt ) И тоже сории за оффтоп

Премного благодарен!

Премного благодарен!

ты не пугайся, тебе там дед задаст один вопрос про 2 стула

Деда давно пора ботом заменить.

ты не пугайся, тебе там дед задаст один вопрос про 2 стула

утренних?

утренних?

можно и так сказать