https://github.com/go-graphite/carbonzipper/blob/grpcNew/zipper/protobuf_group.go#L154-L179

Вопрос отпал

Есть вопрос про ELK, в частности про Logstash. Пытаюсь прицепить сертификат, с ключом, а он мне в ответ: Looks like you either have a bad certificate, an invalid key or your private key was not in PKCS8 format. Ключ генерировал через easy-rsa (./build-key client). Пробовал сконвертировать, не помогло openssl pkcs8 -topk8 -in client.key -out client_key.pkcs8 Как побороть? Помнится, в прошлый раз как-то конвертировал, но команду протерял

https://t.me/elasticsearch_ru

про эластики есть отдельный канал, тут про метрики обычно

благодарю

Я правильно понимаю, telegraf умеет собирать с ноды какие-то значения (в том числе выполнять самописные скрипты для сбора данных) и записывать их в какой-то эндпоинт, а потом можно из этого эндпоинта собирать метрики прометеусом?

Я правильно понимаю, telegraf умеет собирать с ноды какие-то значения (в том числе выполнять самописные скрипты для сбора данных) и записывать их в какой-то эндпоинт, а потом можно из этого эндпоинта собирать метрики прометеусом?

Да

Так можно

Неплохо!

Ну и есть шанс что КХ вообще перестанет успевать это все мерджить

тут вопрос количества этих данных и размера дисков :) у меня вот 1 день - примерно 16ГБ с партиционированием по дням, а если партиционирование помесячное - 350ГБ на партицию (т.е. где то 1.5 раза лучше компрессия). Оптимайз на подневном разбиении отрабатывает минут 30, на помесячном не запускал в тестах (тупо места не хватало) - есть подозрение что дольше(интересно на сколько)

и кстати да, оптимайз одной партиции кушает только один проц

тут вопрос количества этих данных и размера дисков :) у меня вот 1 день - примерно 16ГБ с партиционированием по дням, а если партиционирование помесячное - 350ГБ на партицию (т.е. где то 1.5 раза лучше компрессия). Оптимайз на подневном разбиении отрабатывает минут 30, на помесячном не запускал в тестах (тупо места не хватало) - есть подозрение что дольше(интересно на сколько)

А мы там про партиционирование по имени метрики. Когда кажрый мелкий инсерт будет приводить к созданию кучи директорий. С партиционированием по дням такой проблемы быть не должно

не ну партиционировать по именам метрики это совсем уход от столбцовой парадигмы

если что то прилетит в 1 день - можно ж это на любом стенде снапшотнуть себе отфильтровать и залить обратно (если прям ну вообще что то нереально жирное прилетело, а не +1% метрик)

и там вводная была вроде про дни, это потом еще более кастомные разбиения в идеях пошли

с днями единственная проблема - запросы, охватывающие несколько дней (например, график за последний месяц), будут селектиться медленнее

Резюмируя вышесказанное - оптимальным разбиением для графита будет партицирование по неделям еслиданных не очень много но периодически хочется подчищать

и по дням если совсем много данных -но этот вариант проигрывает с точки зрения компрессии и скорости селекта по диапазонам включающим большое кол-во партиций

Много или мало у всех по разному эти понятия ;) сколько в гигабайтах?

ну скажем 1 тб это уже много

а вообще по моему опыту плохо когда в 1 партиции больше 100 гб

почти в любой бд

а в реляционных и того меньше

а вообще по моему опыту плохо когда в 1 партиции больше 100 гб

?чтож тогда говорить нам, где 1 таблица 350 тб уже

повесить надо таких архитекторов бд прям посреди офиса

?чтож тогда говорить нам, где 1 таблица 350 тб уже

1 таблица? что за база

1 таблица? что за база

mssql

sqlite очевидно

Интересно, уже кто-то пробовал Promhouse?)

повесить надо таких архитекторов бд прям посреди офиса

? лучше мишустина и и чуяна

Интересно, уже кто-то пробовал Promhouse?)

ак не рано ли

Вроде рано, но может уже кто рискнул)

Интересно, уже кто-то пробовал Promhouse?)

после того, как прометеус загнулся на отсылке 60–80к (точно не помню) точек в секунду в адаптер для timescale, я ещё энное количество версий вообще остерегался бы использования remote write с чем угодно, хоть даже с пронхаусом

(может, он загибается ещё раньше, я хз, я просто взял конфиг и включил в нём remote write, когда попутно тестировал 2.0)

Может TimeScale багнул или что-то с ним пошло не так?

я не исключаю медлительности/бажности timescale, но это не круто, когда пром из-за записи куда-либо начинает плодить соединения огромными пачками, затем натыкается на лимит в количество дескрипторов и мрёт весь целиком

как минимум я бы подождал телодвижений в https://github.com/prometheus/prometheus/issues/2972

Надо смотреть, мне кажется, что может timeslace слишком долго принимал коннект, а у prometheus, как я понимаю, нет никакого bulk remote write, хотя могу быть неправ. Хотя Civiloid вроде говорил, что у них тестили Prometheus + Clickhouse и оно нормально работало. Может я что-то перепутал.

?чтож тогда говорить нам, где 1 таблица 350 тб уже

Что то я себе слабо представляю какое количество серверов нужно для такого объема

Что то я себе слабо представляю какое количество серверов нужно для такого объема

ну ФСРАР не бедные

ну ФСРАР не бедные

У вас и не мониторинг, так что оффтоп

бей спамера!

О, там еще и человек сидит. Однако.

О, там еще и человек сидит. Однако.

не факт, спамботы сейчас поумнели

Не, врядли до такой степени.

Парни, подскажите, почему графана не понимает регесп в таком формате metrica_name{domain=“/(.*)/“}

@Golosovaniedoroga это спам потому что ты даже не спросил разрешения. Так что бан с репортом.

Парни, подскажите, почему графана не понимает регесп в таком формате metrica_name{domain=“/(.*)/“}

может быть потому что регэксп не графана обрабатывает?

не факт, спамботы сейчас поумнели

это может быть и человек. который работает через ботов

может быть потому что регэксп не графана обрабатывает?

Все ок, надо было указать тильду после равно

а с Авито у нас тут товарищи не присутсвуют? интересно что их остановило от мерджа graphite-clickhouse в основную репу

а с Авито у нас тут товарищи не присутсвуют? интересно что их остановило от мерджа graphite-clickhouse в основную репу

говорили в ближайшее время запуляютс

я эту фразу видел в декабре на хабре :)

а много у них там нового?)

ERROR: S client not available

я виноват, а не они. я там начал рефакторинг и их изменения мне мешали. и так и не доделал рефакторинг пока

фильтрация дерева по дате

@korservick Я так понимаю вы поднимаете по похожей схеме с кликхаусом?

или уже?

ну у меня регулярные метрики на 99.99% но вот как только скажу что можно короткоживущие... пока хз насколько это даст просадку

А есть готовые докер образы graphite-clickhouse и carbon-clickhouse?

у меня есть :)

у меня есть :)

а не хочешь залить на гитхаб? я бы помог допилить есличо

просто я начал тоже делать и решил узнать, может кто-то уже

они некрасивые (конфиги заточены конкретно под нас). И вот у меня есть полунавязчивая идея выпилить carbon-CH совсем и перейти на material view CH из кафки... (ничего особо против carbon-CH не имею кроме того что если что то идет не так начинаются ручной откат очередей в кафке, да и место он мнгновенно откушивает при любой ошибке в работе CH)

т.е. у меня модель закачки в КХ не пуш а пулл

надеюсь сегодня дособеру тест и погоняю

ну ладнооооо, сам соберу и вылью =Р

так проблем в сборке докер образов этих компонент нет никаких - это 1 бинарник, конфиг подсунуть и все (ну и желательно под carbon выделить персистент волум)

ну что бы по красоте, нужно собирать внутри контейнера сразу

что бы свежак напрямую с репы тянуть

оно пока в тесте - как соберу устойчивое решение - залью

я виноват, а не они. я там начал рефакторинг и их изменения мне мешали. и так и не доделал рефакторинг пока

а что в рефакторинг входит? У меня вот одна из идей - доработать carbonapi и graphite-clickhouse на передачу имени пользователя сгенерировшего запрос, чтобы на стороне CH можно было нормально права на отжор ресурсов резать

а что в рефакторинг входит? У меня вот одна из идей - доработать carbonapi и graphite-clickhouse на передачу имени пользователя сгенерировшего запрос, чтобы на стороне CH можно было нормально права на отжор ресурсов резать

carbonapi это в context легко может писать )

я кстати не помню, но кажется оно так и делает даже

значит половина работы сделана :)

а не, там тока uuid запроса

а графана передает это поле в запросе?

но юзера добавить легко

вотъ

а графана передает это поле в запросе?

да

@korservick https://github.com/go-graphite/carbonapi/blob/master/util/util.go