А есть ли в ClickHouse возможность хранить в поле массивы Key => Value ?

https://clickhouse.yandex/reference_ru.html#Функции%20для%20работы%20с%20JSON%2F только так вроде

можете подсказать по словарям которые через executable

указал как CSVWithNames и получаю такую ругань:

Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected , before: useragent","os_family","os_type","os_version_major","os_manufacturer","browser_family","browser_type","browser_version_major","browser_manufacturer"",,,0,,,,0,\n: Could not print diagnostic info because two last rows aren't in buffer (rare case) : (at row 1), e.what() = DB::Exception

при этом:

# echo "Lavf53.32.100" | /opt/retroview/scripts/useragents.erl dict "useragent","os.family","os.type","os.version_major","os.manufacturer","browser.family","browser.type","browser.version_major","browser.manufacturer" "Lavf53.32.100",,,0,,"mag","stb",0,"infomir"

что должен отдавать скрипт?

это неотъемлемое свойство данных с биржи. Совершенно нормально получить мусор, скачки на 3 порядка, старые данные, повторы и прочий мусор. Если московская биржа ещё более менее что-то приличное отдает, то американские вместе дают жуткий шум

то есть можно не запарываться и ставить кликхауз, ибо биржи сами с данными бывает лажают?

ИМХО, если планируется данные с бирж потом чистить, то ClickHouse для этого кейса не оч подходит.

ИМХО, если планируется данные с бирж потом чистить, то ClickHouse для этого кейса не оч подходит.

Чистить надо сразу

На входе

Не всегда это возможно

Всем привет. Подскажите, пожалуйста, возможно ли как-то посмотреть % сжатия данных по определенным столбцам в таблицы?

Что-то такое ощущение, что колонки типа array практически не жмутся

я подумал и выбрал influxdb если что?

а есть бд, которая для этого лучше подходит?

Конечно. Есть база заточенная под стоки - кдб. Собственно во многих банках именно она.

Что-то такое ощущение, что колонки типа array практически не жмутся

Нашел в system.columns, в сжатом виде в 10 раз меньше, оригинального. Но все-равно, мне кажется мало. Массивы строковые, и значения практически одинаковые(на 200м эвентов(массивов), всего 1-2к уник строковых значений, с длинной 20-25 симоволов, в массиве в среднем 40 элементов) Помню в конфигах были какие-то настройки по сжатию. Они могут помочь? или не значительно?

я подумал и выбрал influxdb если что?

Для поиграть сгодится

Вот незадача: cache executable наплодил зомбей, cache http жалуется на connection refused

я подумал и выбрал influxdb если что?

Сочувствую

я подумал и выбрал influxdb если что?

Это оффтоп, но инфлакс не работает с мало мальски большими базами и запросами. Можешь погуглить какие в среднем проблемы с ним у людей сейчас.

двадцать мегабайт =)

сорок мегабайт, может даже больше... может даже шестьдесят

может кто-нибудь посоветовать, как отладить ситуацию с тем, что кликхаус говорит, что не может подключиться при исполнении запроса, в котором участвует доступ к http dictionary?

tcpdump/wireshark?

я подумал и выбрал influxdb если что?

я думал он уже умер давно))) база теряющая данные...

я думал он уже умер давно))) база теряющая данные...

ой. а есть прувы ? если не против давайте на эту тему в @metrics_ru тут не релевантно.

@the_real_jkee 700! поздравляю.

Ага, уже 700. Всех поздравляю!

Ура!)

tcpdump/wireshark?

помог strace. Я прописал 127.0.0.1, а коннект идет к [::1]

А есть ли в ClickHouse возможность хранить в поле массивы Key => Value ?

можно хранить Nested с массивами Keys и Values, для некоторых задач подходит.

Всем привет. Подскажите, пожалуйста, возможно ли как-то посмотреть % сжатия данных по определенным столбцам в таблицы?

select * from system.columns limit 4

data_compressed_bytes─┬─data_uncompressed_bytes

select table, name, data_uncompressed_bytes * 1.0 / data_compressed_bytes AS c from system.columns where data_compressed_bytes > 0 order by c desc ;

так, насчёт словарей такие замечания:

1) во-первых в http источник КХ засовывает несколько раз один и тот же ключ

2) во-вторых какая-то проблема с превращением 127.0.0.1 в [::1]

3) следующее — не очень понятно какой был рассчетный паттерн использования executable: запускается на очень маленькое количество ключей и часто дохнет. Хорошо бы поднимать процесс и долго его кормить

^ насчет ipv4/ipv6 недавно обсуждали может с этим как-то связано

у меня софтина не слушает на ipv6

а в конфиге КХ какой интерфейс на прослушивание указан?

если [::1], попробуйте на 127.0.0.1 поменять

обновил tabix, fix'ы и новые фичи https://tabix.io/doc/Changelog/#2017-05-29

если [::1], попробуйте на 127.0.0.1 поменять

<listen_host>::</listen_host>

<listen_host>::</listen_host>

ага, поможет, если 127.0.0.1 будет?

я пока сделал по-другому: я дал не 127.0.0.1, а внешний хостнейм, который разрезолвился в ipv4

а с dictionary и кешем ещё вопрос в том, что вот как бы так сделать, что бы кеш можно было сделать персистентным, т.е. хорошо бы что бы был файл, а если ключа нет в файле, тогда идти за executable к http серверу

Received exception from server: Code: 359. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Table fastnetmon.host_metrics was not dropped. Reason: 1. Table size (57.24 GB) is greater than max_table_size_to_drop (50.00 GB) 2. File '/var/lib/clickhouse/flags/force_drop_table' intedned to force DROP doesn't exist How to fix this: 1. Either increase (or set to zero) max_table_size_to_drop in server config and restart ClickHouse 2. Either create forcing file /var/lib/clickhouse/flags/force_drop_table and make sure that ClickHouse has write permission for it. Example: sudo touch '/var/lib/clickhouse/flags/force_drop_table' && sudo chmod 666 '/var/lib/clickhouse/flags/force_drop_table'. 0 rows in set. Elapsed: 0.222 sec.

занятная защита :)

тоже недавно наткнулся, офигел

ну, можно по партишенам удалять

не, мне нравится)

типа данные менее 50 гигов не шибко ценны, а вот больше - не смей, мужик!)

Привет всем! Можно ли в CH получить табличные данные на лету? Что-то вроде такого запроса в postgres: => select * from (values (1,2),(3,4)) v(a,b); a | b ---+--- 1 | 2 3 | 4 (2 rows)

Добрый день скажите плиз можно ли какие-то метрики с кликхаус снять для графита? может есть какая-то тулза ?

Есть https://github.com/yandex/graphouse/

Есть https://github.com/yandex/graphouse/

эт про другое )

если именно с кликхауса - в настройках можно указать )

эт про другое )

привет)) ты понял о чем я спрашиваю)

если именно с кликхауса - в настройках можно указать )

как-то снять нагрузку количество запросов и т.д. чтобы в графане мониторить. где в кликхаус искать?

там не так много метрик

там не так много метрик

и все же. какие именно? где рыть? может я в доке упустил про это

там не так много метрик

Server/config.xml ?

<graphite> в clickhouse-server/config.xml

там можно указать root_path (префикс метрик в графите)

host/port, interval

и 3 параметра

@maksim_melnichuk оно дампит в общем system.metrics, system.events и system.asynchronous_metrics

и 3 параметра

вижу. там две секции

мне только одну расскоментить и порт поменять

Ага

Ага

спасиб

Привет! Как на КХ лучше написать запрос, который на большой таблице фактов посчитает по выбранному измерению сумму последних (по времени) N фактов?

@Civiloid смотрю в графане все статы по нулям, хотя запросы идут. там две секции метрики и события

@Civiloid смотрю в графане все статы по нулям, хотя запросы идут. там две секции метрики и события

я пока не дошел до мониторинга кликхауса ) пока просто играюсь

я пока не дошел до мониторинга кликхауса ) пока просто играюсь

там только статы есть по AsynchronousMetrics

у меня есть все статы )

они правда с дырами иногда )

то есть у меня за 8 часов есть 3-4 пропущенные точки

у меня есть все статы )

а где можно глянуть описание по этим ключам стат? а то не совсем понятно что есть что

во всех метриках одинаковые )

а где можно глянуть описание по этим ключам стат? а то не совсем понятно что есть что

я боюсь в комментах в коде )

@Yandex дайте доку по метрикам )

MarkCacheBytes MarkCacheFiles вот по этим только есть. какой-то кеш

Всем привет! Может кто подсказать, как скормить в словарик данные через АПИ проекта, отдавая JSON?

или там только tsv?

https://clickhouse.yandex/reference_ru.html#Форматы

CSV, TSV и куча другого

А вниешние словари то соберутся если указать "кучу всего"?

должны собраться