Т.е. вам нужно для каждой записи с колонкой типа массив получить одну запись с кол-вом колонок - сколько элементов в массиве? 997900, 766.5039, 766.5039, 766.5039 так?

да

with qqq as qs select qs[1], qs[2], qs[3]

это баг или фича? пытаюсь распарсить json строку select visitParamExtractString('{"text":"<meta http-equiv=\"X-UA-Compatible\""}', 'text') выводит <meta http-equiv=

это нормально, что КХ съедает экранирование?

нормально работает, только если сделать двойное экранирование SELECT visitParamExtractString('{"text":"<meta http-equiv=\\"X-UA-Compatible\\""}', 'text’)

with qqq as qs select qs[1], qs[2], qs[3]

+1

Делаю запрос к таблице с MySQL-движком: SELECT ... FROM users u WHERE match(u.email, 'bk.ru') Получаю такую ошибку Code: 1000. DB::Exception: Received from localhost:9000, ::1. DB::Exception: mysqlxx::BadQuery: Operand should contain 1 column(s) (localhost:3306). Это я что-то не так в запросе указал или работа с регулярками для движка работает некоректно?

Привет Вот такая проблема: Материализованная вью вычитывает из Кафки (таблицы). И в таблице и во вью есть nullable поля, схемы одинаковые. Из Кафка таблицы данные исчезают, а в материализованную вью не попадают. Есть подозрение, что проблема именно в nullable полях. В логах ничего нет.

похоже КХ некорректно выводит \” - он удаляет экранирование оставляя только ”

соот-но невозможно распарсить корректный json если достать его из кх

похоже КХ некорректно выводит \” - он удаляет экранирование оставляя только ”

Наверное это экранирование в строковых литералах самого КХ

with qqq as qs select qs[1], qs[2], qs[3]

Отлично! спасибо!

Доброго дня! Есть такая конфигурация: кластер с двумя шардами, на каждом из которых есть по 2 реплики. На каждой реплике есть таблица с движком ReplicatedMergeTree. На основе этих таблиц созданы таблицы Distributed. Сейчас в Distributed-таблице порядка 20 миллионов строк. Каждую минуту происходит insert в ~2500 строк в одну из реплицируемых таблиц. Так вот иногда insert "залипает" на неопределённое время (до нескольких часов), не выводя никакого сообщения об ошибке(например, "Too much parts. Merges are processing significantly slower than inserts). Не подскажете, в с чем это может быть связано?

Доброго дня! Есть такая конфигурация: кластер с двумя шардами, на каждом из которых есть по 2 реплики. На каждой реплике есть таблица с движком ReplicatedMergeTree. На основе этих таблиц созданы таблицы Distributed. Сейчас в Distributed-таблице порядка 20 миллионов строк. Каждую минуту происходит insert в ~2500 строк в одну из реплицируемых таблиц. Так вот иногда insert "залипает" на неопределённое время (до нескольких часов), не выводя никакого сообщения об ошибке(например, "Too much parts. Merges are processing significantly slower than inserts). Не подскажете, в с чем это может быть связано?

1. так выводит сообщение об ошибке или не выводит? 2. покажите конфиг и схему шардирования (структуру таблицы и т.п.)

1. Не выводит. 2. Брался за основу этот репозиторий (https://github.com/count0ru/k8s-clickhouse-v2), config.xml оттуда. Добавилось internal_replication в true. Таблицы выглядят так: CREATE TABLE default.distributed_summaries_r2 ( eventDate Date DEFAULT toDate(eventTime), eventTime DateTime, pair String, volume Float64, high Float64, low Float64, last Float64 ) ENGINE = Distributed(k8s-prod, default, summaries_r2) CREATE TABLE default.summaries_r2 ( eventDate Date DEFAULT toDate(eventTime), eventTime DateTime, pair String, volume Float64, high Float64, low Float64, last Float64 ) ENGINE = ReplicatedMergeTree( '/clickhouse/tables/{shard}/summaries_r2', '{replica}', eventDate, pair, (eventDate, pair, eventTime), 8192 )

Поискал в system.replication_queue по таблице. Вот такое сообщение: "Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: clickhouse-2-0.crypto, e.what() = Host not found"

ну у вас в шардах прописан он и не находит его имя

используйте нормальные доменные имена или просто айпи

Извините, не совсем понятно, что именно поменять и где?

Сделали эксперимент без nullable полей - все заработало

Это бага или что-то мы неправильно готовим?

Извините, не совсем понятно, что именно поменять и где?

ну в конфиге нормальные имена прописать

Извините, не совсем понятно, что именно поменять и где?

Попробуйте clickhouse-2-0.crypto в hosts прописать.

что это черт подери за имя то для сервера clickhouse-2-0.crypto

откуда оно должно знать куда оно ведет

ну в конфиге нормальные имена прописать

В конфиге имена clickhouse-2.crypto

что это черт подери за имя то для сервера clickhouse-2-0.crypto

dns

@ansible:~# ping clickhouse-2.crypto ping: unknown host clickhouse-2.crypto

нет такого в днсе

@ansible:~# ping clickhouse-2.crypto ping: unknown host clickhouse-2.crypto

Это в вашем:)

ну очевидно из лога что и в вашем тоже нет

нет такого в днсе

Он в кубе, локальный dns резолвит правильно

каком кубе то

провероьте на кх сервере он точно не резолвит

kubernetes

Собственно, изначально он работает, спустя время начинаются такие ошибки

ну не резолвит он там днс из лога это очевидно

используйте норм доменные имена и будет ок

ну и учитесь готовить кубернетес

Собственно, изначально он работает, спустя время начинаются такие ошибки

SYSTEM DROP DNS CACHE

Я, вот не помню, делали TTL для DNS или нет, если нет, то надо сделать - это от части решит проблему.

Есть момент, в конфиге прописаны имена для сервисов (грубо говоря прокси над инстансом clickhouse) и у них имена clickhouse-0/1/2/3.crypto, они резолвятся и кластер изначально при первичной инициализации работает

Вопрос, зачем он пытается соединиться по прямым адресам нод, а не тем что прописано? В табличке clusters в поле host_name имена корректные

Вопрос, зачем он пытается соединиться по прямым адресам нод, а не тем что прописано? В табличке clusters в поле host_name имена корректные

они прописаны в конфиг

они прописаны в конфиг

там это https://github.com/count0ru/k8s-clickhouse-v2/blob/master/build_image/config.xml#L63

А в этом поле если будет hostname, он будет следить за обновлением ip? <interserver_http_host>NODENAME.NAMESPACE</interserver_http_host>

там это https://github.com/count0ru/k8s-clickhouse-v2/blob/master/build_image/config.xml#L63

remote_servers к репликации никакого отношения не имеет, для репликации используется interserver_http_host или, если не указано, - hostname

В общем, проблема скорее всего решится. Спасибо)

А зачем вам Кубернетис?

Потому что в нём удобно держать обвязку и всё прочее. Инстансы clickhouse хранят данные напрямую на хостовых машинах (baremetal)

ansible + lxd решают эти задачи куда лучше

Думаю, эти вещи вообще не сравнимы.

Если хотите работать с КХ в контейнерах, то лучше уже сейчас начинать отказываться от Docker и kubernetes )

Почему? Я понимаю, что держать prod БД в кубе - это порочная практика. Но иногда, когда очень хочется, то можно

Так то да, как external serivce можно подключить

В кубернетисе много лишнего и ненужного, у докера "сложные" отношения с лимитами и прочей прелестью контейнеров. LXC/LXD на ванильном ядре гораздо лучше или, если есть возможность, OpenVZ с их ядрами

Что lxc, что docker, все работают по одному принципу.

Только получается у них по-разному )

Что lxc, что docker, все работают по одному принципу.

работали до определенного момента\года (2015) когда Docker слез с lxc на libcontainer

Если будет нужно, я вынесу базу на железо. Пока удобнее так.

Привет всем

Если я создаю таблицу с движком MergeTree, у меня много стобцов и каждый из них может использоваться в запросе как фильтр, значит ли это что все мои столбцы мне нужно передавать в первичный ключ?

нет, не нужно

почему?

потому что первичный ключ задает сортировку, сортировка у вас одна, запросы без условия на префикс ключа все равно дадут фуллскан

тогда первичный ключ у меня должен быть пустой?

то что всегда будет фильтрации в запросе, то добавляйте, добавление остальных атрибутов скорее всего ничего вам не ускорит.

если у вас пересечение всех фильтров в общем случае пустое, то можно начинать разговаривать на предмет того, а что же вы делаете.

я не очень точно выразился, в каждом запросе есть day

уже что-то. хотя бы будет по чему партиционировать

ну если есть дей то какая разница он будет разжить нужную колонку по дню

надо только чтобы парты по дням партицировались

если у вас пересечение всех фильтров в общем случае пустое, то можно начинать разговаривать на предмет того, а что же вы делаете.

Есть одна большая таблица с записями событий, нужно по ним стросить агрегаты, скажем найди все такие события у которые такое то поле равно тому-то и просуммируй поле такое то

Есть одна большая таблица с записями событий, нужно по ним стросить агрегаты, скажем найди все такие события у которые такое то поле равно тому-то и просуммируй поле такое то

ну это по дефолту будет хорошо работать если есть день и партицирование по дням

Есть одна большая таблица с записями событий, нужно по ним стросить агрегаты, скажем найди все такие события у которые такое то поле равно тому-то и просуммируй поле такое то

сколько строк в день, сколько колонок, за какое число дней запросы, с какой скоростью сейчас работает

сколько строк в день, сколько колонок, за какое число дней запросы, с какой скоростью сейчас работает

колонок примерно ~50, при чем многие из них нулевые, данных прилетает примерно 30 гб в день чистыми, не жатыми, строк сколько так с ходу не скажу. Сейчас все работает на hive'e

ну тогда все будет просто летать )))

надеюсь, сейчас просто у нас запросы простые работают десятки минут

ох вы удивитесь как зальете данные в кх

надеюсь :)

просто там в сотни раз или даже в тысячи мне кажется ускорились некоторые запросы у нас, я когда их впервые гонял просто не верил глазам , бац несколько секунд и готово

ух :)

Подскажите пожалуйста, есть у меня 3 сервера. На каждом стоит КХ. Соответственно я хочу из них сделать реплику. Что и главное где надо указать в конфиге? Сразу попрошу помочь со вторым вопросом. Есть у меня также кластер zookeeper. Я правильно понимаю, что мне достаточно в конфиге КХ указать <zookeeper> <node index="1"> <host>server1</host> <port>2181</port> </node> <node index="2"> <host>server2</host> <port>2181</port> </node> <node index="3"> <host>server3</host> <port>2181</port> </node> </zookeeper> Спасибо

просто там в сотни раз или даже в тысячи мне кажется ускорились некоторые запросы у нас, я когда их впервые гонял просто не верил глазам , бац несколько секунд и готово

первое время тоже кликхаусу удивлялся, а теперь обратный эффект :) смотришь на постгре, а он на нескольких миллионах записей расчеты по 5-10 минут делает и как-то грустно становится

Подскажите пожалуйста, есть у меня 3 сервера. На каждом стоит КХ. Соответственно я хочу из них сделать реплику. Что и главное где надо указать в конфиге? Сразу попрошу помочь со вторым вопросом. Есть у меня также кластер zookeeper. Я правильно понимаю, что мне достаточно в конфиге КХ указать <zookeeper> <node index="1"> <host>server1</host> <port>2181</port> </node> <node index="2"> <host>server2</host> <port>2181</port> </node> <node index="3"> <host>server3</host> <port>2181</port> </node> </zookeeper> Спасибо

Да, в конфиге нужно указать Zookeeper и создать реплицируемые таблицы

Да, в конфиге нужно указать Zookeeper и создать реплицируемые таблицы

А самим нодам КХ в конфиге друг про друга ничего указывать не надо же? Я про секцию <shard><replica>

А самим нодам КХ в конфиге друг про друга ничего указывать не надо же? Я про секцию <shard><replica>

надо если используете дистрибьютед таблицы

А как иначе без таких таблиц реплицировать данные? В чем смысл от только зуукипера?

дистрибьютед таблтицы не имеют отношения к реплике если вы используете реплику через зукипер, а не через них

Если честно, то я теперь совсем запутался.