И попробуйте в него уложиться

А то мониторить его с помощью графита ... Так себе идея;)

у нас сейчас 6 рабочих дней :) хотим меньше, но спасибо подумаю, вероятно и правда неправильный инструмент выбрал

в общем похоже придется выносить consul из swarm, на хост систему. так как не могу найти способ запустить кластер consul в swarm - там же надо чтобы был один сервер, а другие сервера должн конектится к нему через доп настройки указанные в строке запуска или конфиге. а для этого надо знать IP первого сервера. а в swarm это не получится сделать, так как IP всегда динамический и до старта его не узнать..

в общем похоже придется выносить consul из swarm, на хост систему. так как не могу найти способ запустить кластер consul в swarm - там же надо чтобы был один сервер, а другие сервера должн конектится к нему через доп настройки указанные в строке запуска или конфиге. а для этого надо знать IP первого сервера. а в swarm это не получится сделать, так как IP всегда динамический и до старта его не узнать..

сразу сказал. запускай на хосте.

да уж.. я уже дней 5 с этим бодаюсь, хотя постоянно переключаюсь на другие таски. и только вот сегодня пришло немного понимания как оно все устроено..

в общем похоже придется выносить consul из swarm, на хост систему. так как не могу найти способ запустить кластер consul в swarm - там же надо чтобы был один сервер, а другие сервера должн конектится к нему через доп настройки указанные в строке запуска или конфиге. а для этого надо знать IP первого сервера. а в swarm это не получится сделать, так как IP всегда динамический и до старта его не узнать..

Да ! Просто вымораживает. А мне босс сказал хочу кластер одним докерфайлом на одной ноде. После этого я узнал что у докероводов своя блин терминология что бридж не l2 а l3 как же меня бомбануло

ну технически это сделать можно.. вот https://github.com/xakraz/consul-cluster_docker-compose/blob/master/docker-compose.yml и вот https://github.com/emdem/consul-cluster-compose/blob/master/docker-compose.yml

парни. тут про метрики

Нельзя, консул отвечает запросом клиента кто из них троих мастер

но чето у меня не собирается оно.. первый инстанс стартует, а 2 и 3 нет. с такой ошибкой ==> Found address '10.0.0.30' for interface 'eth0', setting bind option... ==> Starting Consul agent... ==> Joining cluster... ==> 1 error(s) occurred: * Failed to join 10.0.0.51: dial tcp 10.0.0.51:8301: getsockopt: connection refused

каналы про докер другие.

простите..

@Zlokot тут про консул тоже хватит . @ru_hashicorp

этак ты его доки заставишь ещё читать :)

А тут можно или сделать

Или как выбрать только по job name не глядя на имя метрики?

Или как выбрать только по job name не глядя на имя метрики?

label_values({__name__=~"^.*$", job="tm"}, instance)

label_values({__name__=~"^.*$", job="tm"}, instance)

Спс, буду знать

Еще бы ограничение добавить на лэйбл, что он не пустой, типа так label_values({__name__=~".+", job="node_exporter", device!=""}, device)

а то будет пустое значени в списке, если у какой-то из метрик нет этого лейбла.

@alexanderzobnin а вы файрвокс за слайдеры не били ногами ?

Мы новую либу тестируем для того, чтобы не было такого.

гуд ньюс

Круто. 2017, нужна либа, чтобы слайдеры выглядели одинаково в браузерах.

слишком толсто

особенно для 17-го года

:D

https://github.com/graphite-project/graphite-web/releases/1.1.0-pre4 was tagged

https://github.com/graphite-project/carbon/releases/1.1.0-pre4 was tagged

https://github.com/yandex/ClickHouse/releases/v1.1.54318-stable was tagged

https://blog.hostedgraphite.com/2017/11/30/monitoring-coffee-tales-from-hosted-graphites-secret-lab/ - lol

Попробовал carbon-clickhouse + graphite-clickhouse - сказка прямо какая то

Ну прям сказкой я б не назвал, но приятные моменты есть. :)

Попробовал carbon-clickhouse + graphite-clickhouse - сказка прямо какая то

Сказочных подробностей в студию, пожалуйста! ?

Сказочных подробностей в студию, пожалуйста! ?

Ну он ощутимо лучше себя ведёт по отношению к диску и цпу, когда ты пишешь данные

И жмёт точки неплохо

┌─database─┬─table────┬─partition──────┬───────rows─┬─compressed_bytes─┬─compressed_gb─┬──bpp─┐ │ default │ graphite │ \'2017-11-29\' │ 2287235062 │ 4503227144 │ 4.19 │ 1.97 │ │ default │ graphite │ \'2017-11-30\' │ 2751455737 │ 6256355617 │ 5.83 │ 2.27 │ │ default │ graphite │ \'2017-12-01\' │ 1155828630 │ 2176300235 │ 2.03 │ 1.88 │ └──────────┴──────────┴────────────────┴────────────┴──────────────────┴───────────────┴──────┘

вот кусочек статистики с одного из серверов

два байта на точку, с партиционированием по дням - сказка! :P

@deniszh у меня distributed таблица поверх system.parts есть)

и я делаю следующий запрос: select sum(bytes) as size, sumIf(rows, active=1) as points, size/points as "bytes per point" from default.parts where table IN ('graphite_local', 'graphite_tree_local')

Ну я тоже, но я еще по партициям группирую

в общем у меня пока на тестовом кластерочке (2 сервера + репликация) выходит 2.86 байта на точку. Поток 1.5М в секунду.

но я кажется с партициями накосячил

можешь кстати показать как ты создавал таблицу с дневным партиционированием?

можешь кстати показать как ты создавал таблицу с дневным партиционированием?

ты про то что в доку не внесли ?

ты про то что в доку не внесли ?

да

там sql-ка лежит в проекте

052

в ней вся магия описана

ну я сделал, но кажется неправильно)

я пока не стал

у меня еще месяцок есть не греть голову про это

а потом всё равно таблицы придется хитро прееделывать

┌─partition───────────────┐ │ \'1970-01-01 01:00:17\' │ │ \'1970-01-01 05:50:51\' │ │ \'1970-01-01 05:51:01\' │

альтер то на эту тему не завезли

а потом всё равно таблицы придется хитро прееделывать

вроде в 310 синтаксис финальный уже

я не про синтаксис

текущие как то альтерить. видимо ренеймить и делать мерж таблицу между новой и старой

Сказочных подробностей в студию, пожалуйста! ?

Разница в хранимых объемах прям на порядок

Ну я тоже, но я еще по партициям группирую

А каким образом?

ERROR: S client not available

там sql-ка лежит в проекте

Где?

в github

https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00502_custom_partitioning_local.sql

Спасибо!

можешь кстати показать как ты создавал таблицу с дневным партиционированием?

SET experimental_allow_extended_storage_definition_syntax = 1; CREATE TABLE graphite_xui ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = GraphiteMergeTree('graphite_rollup') PARTITION BY Date ORDER BY (Path, Time);

текущие как то альтерить. видимо ренеймить и делать мерж таблицу между новой и старой

только както так CREATE TABLE IF NOT EXISTS default.graphite_new AS default.graphite_xui; INSERT INTO default.graphite_new SELECT * FROM default.graphite; RENAME TABLE default.graphite TO default.graphite_old, default.graphite_new TO default.graphite;

а где мерж таблица ?

SET experimental_allow_extended_storage_definition_syntax = 1; CREATE TABLE graphite_xui ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = GraphiteMergeTree('graphite_rollup') PARTITION BY Date ORDER BY (Path, Time);

я видимо перемудрил себя. У меня вышло так: ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{dc}-{cluster}-{shard}/graphite_tree_local', '{host}') PARTITION BY toStartOfDay(Date) ORDER BY (Level, Path) SETTINGS index_granularity = 8192;

а

ты переливаешь

только както так CREATE TABLE IF NOT EXISTS default.graphite_new AS default.graphite_xui; INSERT INTO default.graphite_new SELECT * FROM default.graphite; RENAME TABLE default.graphite TO default.graphite_old, default.graphite_new TO default.graphite;

там как-то можно делать атомарный ренейм, но я не помню как

нее. у меня нету столько места

не забывайте перед каждой операцией с новым форматом говорить SET experimental_allow_extended_storage_definition_syntax = 1; или вписать в конфиг сервера

я уже вписал)

это и есть атомарный ренейм

в user.xml что не очень очевидно

Также (насколько я понял) синтаксис может и финализовали, а вот формат таблиц - не факт

так что пока это все таки для эксперементов

И альтера который будет прям переливать партиции с месячных в произвольные я б не ждал в ближайшее время, врядли будет

а где мерж таблица ?

не уверен что мерж будет работать. хотя я не пробовал.

а чего бы ему не работать

мерж он же виртуальный

@Civiloid : у тебя много серваков в кластере?

@Civiloid : у тебя много серваков в кластере?

у меня пока 2 сервера куда пишутся данные и у каждого из них по реплике

а чего бы ему не работать

не, ну скорее всего должен, это я так.

А каким образом?

select database, table, partition, sum(rows) rows, sum(bytes) compressed_bytes, round(sum(bytes)/1024/1024/1024,2) compressed_gb, round(compressed_bytes/rows,2) bpp from system.parts where active group by partition, table, database order by partition, database, table;

select database, table, partition, sum(rows) rows, sum(bytes) compressed_bytes, round(sum(bytes)/1024/1024/1024,2) compressed_gb, round(compressed_bytes/rows,2) bpp from system.parts where active group by partition, table, database order by partition, database, table;

compressed_gb можно заменить на "formatReadableSize(sum(bytes))"

будет в итоге строка с единицами измерений

@deniszh мне кстати кажется чуть честнее считать полезные rows (where active=1) а вот размер полный

у меня это дает довольно большую разницу