у вас то там демократия, а у меня есть пользователи, а есть пользователи которым дали оружие и они чуть более равные люди чем люди у которых нет оружия :)

а что в рефакторинг входит? У меня вот одна из идей - доработать carbonapi и graphite-clickhouse на передачу имени пользователя сгенерировшего запрос, чтобы на стороне CH можно было нормально права на отжор ресурсов резать

Хотел сделать возможность использовать больше одной таблички с точками чтобы можно было делать всякое странное вроде "если запрашивают данные свежее чем N дней, то брать из таблички A, иначе из таблички B".

я в комментах конфига углядел это странное... это лайфхак над несоптимизированными таблицами?

и да, я это реализовал lua скриптом в nginx :) запрос из графаны идет не на карбонапи а через прокси

но тут решение другого кейса было конечно

это для того, чтобы разные ретеншены хранить в разных таблицах. И при запросе селектить сразу из нужного. Типо бессмысленно при запросе "за год" выбирать миллионы точек из свежих ретеншенов и доаггрегировать их вручную. Лучше сразу заселектить мало точек из отдельной таблички

а, т.е. при запросе за год не кушать последние партиции по которым построится последние пару точек на графике?

это немножко заббиксвей :)

вроде того. но это в любом случае будет опционально. хочешь - храни все в одной табличке, хочешь - в нескольких

интересно на сколько это даст прирост при мелком партиционировании (тут конечно еще ретеншены в агрегации у каждого сильно разные)

https://github.com/Yakud/carbon-clickhouse-docker Если кому-то нужен carbon-clickhouse docker образ

оперативненько :)

работаем)

Залью еще в docker-hub

а зачем експоузить порты выключенные в конфиге?

не стоит все-таки собирать докер образ из мастера. следующая версия carbon-clickhouse будет несовместима по конфигу

Оки, не буду из мастера тянуть

а зачем експоузить порты выключенные в конфиге?

А если кому-то понадобится?

Ну это пример, пускай запускают без них

не стоит все-таки собирать докер образ из мастера. следующая версия carbon-clickhouse будет несовместима по конфигу

добавил чекаут на тег

ребят привет. кто смигрировал на пром 2.0 ? ощущается ли быстродейтсвие? долго на ямл переписывали ?

ребят привет. кто смигрировал на пром 2.0 ? ощущается ли быстродейтсвие? долго на ямл переписывали ?

promtool умеет конвертировать, переписывать только комменты надо

потому что он их теряет

ну я в целом, стоит на это время тратить ? есть ощутимые преимущества ?

ну, дискам стало явно легче

(вернее, ssd даже стало легче)

вроде того. но это в любом случае будет опционально. хочешь - храни все в одной табличке, хочешь - в нескольких

Роллап в таком случае придется ручками писать? Стандартный же не умеет по таблицам раскладывать.

Роллап в таком случае придется ручками писать? Стандартный же не умеет по таблицам раскладывать.

Удаление старых данных придется ручками делать. Данные будут писаться сразу в несколько таблиц, в каждой свои простые правила роллапа.

Докер образ для graphite-clickhouse: https://github.com/Yakud/graphite-clickhouse-docker

Так же залил на докерхаб: https://hub.docker.com/r/yakud/carbon-clickhouse-docker/ https://hub.docker.com/r/yakud/graphite-clickhouse-docker/ Но для графита еще билдится

Удаление старых данных придется ручками делать. Данные будут писаться сразу в несколько таблиц, в каждой свои простые правила роллапа.

Вот тут кастомный партиционинг и пригодится

это для того, чтобы разные ретеншены хранить в разных таблицах. И при запросе селектить сразу из нужного. Типо бессмысленно при запросе "за год" выбирать миллионы точек из свежих ретеншенов и доаггрегировать их вручную. Лучше сразу заселектить мало точек из отдельной таблички

А примерно когда будет бета? ;)

А примерно когда будет бета? ;)

меня тоже интересует этот вопрос ;)

Хм пообщался с словарями в CH - это нечто странное. Хочу задать вопрос возможно кто то уже решал.

есть некая метрика которая храниться в кликхаусе в виде node1.node2.node3.somemetric

somemetric - почти всегда человеконенитаемая лабуда типа хеша

есть некоторое апи которое их этого хеша делает человекочитаемо имя

можно ли как то обмануть graphite-clickhouse слазив за последним куском метрики (somemetric) в словарь? Ну или допустим сделать такую VIEW?

https://github.com/lomik/carbon-clickhouse/releases/Version 0.7.0-alpha was tagged

Совсем боты разленились, людей вместо себя заставляют работать

слава роботам! (на всякий случай)

просветите неофита. logstash'eм отправлял дату в эластик. некоторые данные ожидались как number, но на деле оказались string. Добавление в фильтр mutate и Refresh field list из кибаны не помог.

как правильно сделать изменение типа данных для поля?

в чяте про эластик лучше спрашивайте

адрес подскажете?

адрес подскажете?

сорри, сам там не сижу, не подскажу

адрес подскажете?

https://t.me/elasticsearch_ru

thx

Друзья, а держит кто Кликхаус в проде?

под аналитику, хочу туда засунить данные под 100Гб, и меня полнует вопрос, мне прям 100Гб оперативки нужно, чтобы реайл-тайм считать или можно как-то обойтись 20Гб, к примеру поделить данные на партишены: типо свежие в памяти, старые на диске.

Приветы

Приветы

Может лучше сюда сходить? @clickhouse_ru

порежешь память юзеру и норм

Спс, не знал

под аналитику, хочу туда засунить данные под 100Гб, и меня полнует вопрос, мне прям 100Гб оперативки нужно, чтобы реайл-тайм считать или можно как-то обойтись 20Гб, к примеру поделить данные на партишены: типо свежие в памяти, старые на диске.

не обязательно, КХ их будет с диска сосать и считать, но теоретически возможны запросы которые вытянут все 100ГБ в память. Подробнее правда в группу по КХ лучше

ERROR: S client not available

подскажите плиз. заббикс плагин в графане, добавляю дашбоард, в квери пишу тупо * , и вижу тока 1 хостгруппу, а их в заббикс минимум с 10.. чо за шляпа?

Посоны, вопрос нубский - как принято деплоить node_exporter? У меня вся инфраструктура на кубернетесе, но в доке написано, что контейнером деплоить его неудобно

тупо анзиблом на все ноды ставить на хостовую систему?

или какой-нибудь другой репортер взять вообще?

Можно контейнером, в целом нормально работает

тупо анзиблом на все ноды ставить на хостовую систему?

Я так и делаю. Не факт, что бест практис, но всё же. Быстро и удобно.

подскажите плиз. заббикс плагин в графане, добавляю дашбоард, в квери пишу тупо * , и вижу тока 1 хостгруппу, а их в заббикс минимум с 10.. чо за шляпа?

За заббикс тут банят

пфф

не банят, а советуют пройти в канал заббикса

За заббикс тут банят

за вопросы чем он лучше/хуже или почему его любят/ненавидят

За заббикс тут банят

нет. банят не за него а за тщетные попытки доказать его превосходтство.

но да, проще пройти в про.заббикс какой-нибудь

ушел в прозабикс

там атмосфера не очень. проще тут спрашивать

подскажите плиз. заббикс плагин в графане, добавляю дашбоард, в квери пишу тупо * , и вижу тока 1 хостгруппу, а их в заббикс минимум с 10.. чо за шляпа?

тут ещё бабка надвое, заб это или графана... так чо

за вопросы чем он лучше/хуже или почему его любят/ненавидят

Ровно то же самое сейчас произошло и у меня - в конфе нутаникса забанили за вопрос чем же так плох проксмокс. Никого не защищаю, но если приходит человек с нормальным вопросом чем %productname1% лучше %productname2% - лучше обьяснить, чем банить, нет?

Ровно то же самое сейчас произошло и у меня - в конфе нутаникса забанили за вопрос чем же так плох проксмокс. Никого не защищаю, но если приходит человек с нормальным вопросом чем %productname1% лучше %productname2% - лучше обьяснить, чем банить, нет?

тут есть FAQ

в описании конфы

так как заббикс он не про метрики по факту (почему - см. FAQ) то тут принято банить за его обсуждение

вопросы по нему при этом принимаются

так как заббикс он не про метрики по факту (почему - см. FAQ) то тут принято банить за его обсуждение

Соглашусь, да.

вопросы вида "что на замену заббиксу?" тоже допускаются

просто каждый раз как кто-то поднимает тему "а что лучше, заббикс или X" не важно что за X это выливается в срач

я, кстати, так и не нашел, чем его заменить

ну и начальство приняло "волевое решение". придется есть кактусы

я, кстати, так и не нашел, чем его заменить

Плохо искали.

я, кстати, так и не нашел, чем его заменить

чем угодно же