а вы эти данные агрегируете чтобы что с ними потом делать?

@kshvakov SELECT count() as count FROM ( SELECT DISTINCT arrayJoin(groups.id) as hash FROM table FINAL WHERE 1=1 AND value_hash = 416243762347354 ) а в другой рутине действительно идет запрос на выборку четырех колонок.

делать запросы по ним. Например сколько за месяц мы получили запросов из конкретных стран

ok, попробую воспроизвести

притом, приложение нормально работает в проде в течение пары дней, потом начинаются такие проблемы. перезаливка опять нивелирует эти проблемы.

можете куда-нибудь выложить пример того как у вас там запросы обрабатываютя, прям куском кода чтоб было видно где Query открываются и в горутины распихиваются, если делать query от Tx в разных горутинах то может быть все что угодно

все поля есть в построчной таблице, может быть например request_id date country device 1 2017-08-29 US desktop 2 2017-08-29 UK desktop 3 2017-08-29 US mobile 4 2017-08-29 US desktop текущий аггрегат такой: date_time requests 2017-08-29 15:10:00 4 2017-08-29 15:15:00 15

запросы, по идее, выполняются вообще в разных коннекшенах к базе. Tx не беру. Можем в личку?

если вы хотите а) группировать по какому-то набору колонок б) фильтровать по какому-то набору колонок в) непременно положить все в агрегированную табличку, то в этой табличке должны быть данные, агрегированные по всем потенциально используемым колонкам. или у вас должно быть какое-то множество таблиц, с нужными подмножествами из них.

А что за GUI если не секрет?

Exhibitor

Кто использует Zookepper, гляньте плиз, есть ли у вас такие пути.

Если так спросить SELECT * FROM system.zookeeper WHERE path = '/clickhouse/tables/01/model/block_views_sharded/log' and name not like '%log%' limit 40 пусто

Кто использует Zookepper, гляньте плиз, есть ли у вас такие пути.

Получилось как- был реплицируемый мат.вью (stat) на основную таблицу. По непонятным причинам данные во вью и основной таблице разъехались. Решили дропнуть mat.view, и пересоздать. Но после drop table stat, в Zookepere осталась нода с данными вьюхи. Хотя сама таблица stat удалилась на СН серверах. Решили руками удалить эту ноду, но наткнулись на непонятный путь (* Exception *). Из-за него не возможно удалить ноду, и соответственно пересоздать вью. Запрос "SELECT count() FROM system.zookeeper WHERE path = '/clickhouse/tables/01/stat/log' возвращает 286000

Господа, в конфиге кх есть строки про компрессию <!— Uncomment if you want data to be compressed 30-100% better. Don't do that if you just started using ClickHouse. —> чем мотивирована вторая строка ?

Блин, второй день бьюсь - понять не могу. Собираю кластер с такими конфигами https://gist.github.com/count0ru/e0bb494634b3edaaf68fad948a811e03 делаю базу на одной из нод create database test; Потом пытаюсь добавить таблицу шардированную CREATE TABLE test.testTable_sharded ( event_date Date DEFAULT toDate(event_time), event_time DateTime DEFAULT now(), body_id Int32, viwes Int32 ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01/test/testTable_sharded', '02', event_date, (event_time, body_id), 1892); пишет что Can't create replicated table without ZooKeeper что не так? Запрос на CREATE TABLE, или у меня действительно зукипер не работет просто?

Это значит, что конфигурация zookeeper некорректная - либо в нужном месте в конфиге вовсе нет описания zookeeper, либо сервер не может к нему подключиться. Для начала, посмотрите в config-preprocessed.xml. Там должна быть подставленная конфигурация zookeeper, вида: <zookeeper optional="true"> <node> <host>zoo01.example.net</host> <port>2181</port> </node> <node> <host>zoo02.example.net</host> <port>2181</port> </node> <node> <host>zoo03.example.net</host> <port>2181</port> </node> </zookeeper> Потом посмотрите в лог. Если сервер не может подключиться к ZK, он это напишет.

У кого есть опыт хранения айпишников в clickhouse.... В каком типе вы их храните?

Назревает ситуация, когда имеющего объёма стораджа под кликхаус перестанет хватать и до апгрейда не дотянуть. Прокатит ли такой костыльный выход: отцепить N старых помесячных партиций (через detach?), складировать их файлы до лучших времён на других серваках, а после апгрейда вернуть на место? Все таблицы - MergeTree на одном сервере. Или есть более подходящие рецепты?

всем привет. запрос падает с DB::Exception: Timeout exceeded: elapsed 15.261051418 seconds, maximum: 15 делал set max_execution_time=60; параметр применился, но ничего не изменилось, запрос так же падает

Я не знаю есть ли set global, но это все можно через конфиг править :)

пробовал в глобальную секцию вставлять и в <default>

А max_query_size можно глобально поменять как то?

Говпода, а о чём может сигнализировать state - "exit 70" при попытке запустить кх сервер в докер контейнере? подгружаю официальный образ (https://hub.docker.com/r/yandex/clickhouse-server/) , в докер компосере кроме собственно образа, прописан только проброс портов

Подскажите, может кто то сталкивался - ZooKiper 3.4.5 (built on 06/10/2013) Обслуживает 3 шарда и 3 реплики Начал падать послдение несколько дней- при увеличении нагрузки, Вчера поправили конфиги из доки CH - эффекта не заметили ZK вслед за собой заваливает кластер CH 1.1.54276 - ноды по очереди теряются ... Размер снапшота -rw-r--r-- 1 zookeeper zookeeper 2725042154 Aug 28 04:40 snapshot.4700f32b75 Помимо старой версии ZK что может быть ?

В версии 54276 есть неприятный баг - при некоторых условиях некоторые ноды в ZK не удаляются и растёт размер снэпшота. Мы на днях подготовили hotfix - 52484. Уже выложено.

а, PK похоже не поменять вообще, только новую таблу создавать на основе текущей

а кто-нибудь менял метод сжатия? как работает?

Привет! Никто ещё не сделал kernel или magic для jupyter для ClickHouse? Я немного потерялся, вроде очевидная вещь, но ничего не нашел)

что может означать ошибка Duplicate interserver IO endpoint: DataPartsExchange: ?

Получилось как- был реплицируемый мат.вью (stat) на основную таблицу. По непонятным причинам данные во вью и основной таблице разъехались. Решили дропнуть mat.view, и пересоздать. Но после drop table stat, в Zookepere осталась нода с данными вьюхи. Хотя сама таблица stat удалилась на СН серверах. Решили руками удалить эту ноду, но наткнулись на непонятный путь (* Exception *). Из-за него не возможно удалить ноду, и соответственно пересоздать вью. Запрос "SELECT count() FROM system.zookeeper WHERE path = '/clickhouse/tables/01/stat/log' возвращает 286000

Добрый день. хочу рассмотреть clickhouse как column oriented dbms для проекта. у нас будет большая таблица и около 260-520 колонок. но вот по этим колонкам нужно уметь выбирать (где то в запросах будут учавствовать 16-32 колонок, причём от запроса к запросу набор колонок разный, определяется в runtime). собственно хочется для большого набора отдельных колонок иметь отдельные индексы. есть по этому поводу какой нибудь engine? или с такими запросами не к clickhouse

Привет! Пробую новый тип UUID. Имею следующие проблемы. > select distinct(uuid) from ( > select toUUID(1) as uuid union all select toUUID(1) > ) DB::Exception: Logical error: numeric column has sizeOfField not in 1, 2, 4, 8. > select uniqExact(uuid) from ( > select toUUID(1) as uuid union all select toUUID(1) > ) DB::Exception: Illegal type UUID of argument for aggregate function uniqExact Есть какое то решение?

есть таблица src и Summing MV на неё src_country CREATE TABLE default.src ( date Date, datetime DateTime, userId UInt64, countryId UInt8, typeId UInt8 ) ENGINE = MergeTree(date, (userId, datetime), 8192) CREATE MATERIALIZED VIEW default.src_country ( date Date, datetime DateTime, userId UInt64, recordsByCountryMap Nested( countryId UInt8, records UInt64 ) ) ENGINE = SummingMergeTree(date, (date, datetime, userId), 8192) AS SELECT date, toStartOfMinute(datetime) AS datetime, userId, [countryId] as recordsByCountryMap.countryId, [count()] AS recordsByCountryMap.records FROM default.src GROUP BY date, datetime, userId, countryId В документации движка SummingMergeTree указано, что производится суммирование для столбцов заканчивающихся на 'Map'. Но если данные вставлены в разных пачках, то их суммирует только optimize либо они сами "когда-то" просуммируются. Вопрос - есть ли агрегирующая функция, которая сложит соотвествующие значения по ключам? Или до-агрегацию в таком случае производить на стороне клиента в коде? Пример: SELECT * FROM src_country ┌───────date─┬────────────datetime─┬─userId─┬─recordsByCountryMap.countryId─┬─recordsByCountryMap.records─┐ │ 2017-01-01 │ 2017-01-01 00:00:00 │ 1 │ [10] │ [4] │ └────────────┴─────────────────────┴────────┴───────────────────────────────┴─────────────────────────────┘ ┌───────date─┬────────────datetime─┬─userId─┬─recordsByCountryMap.countryId─┬─recordsByCountryMap.records─┐ │ 2017-01-01 │ 2017-01-01 00:00:00 │ 1 │ [10] │ [4] │ └────────────┴─────────────────────┴────────┴───────────────────────────────┴─────────────────────────────┘ ┌───────date─┬────────────datetime─┬─userId─┬─recordsByCountryMap.countryId─┬─recordsByCountryMap.records─┐ │ 2017-01-01 │ 2017-01-01 00:00:00 │ 1 │ [10,11] │ [4,3] │ └────────────┴─────────────────────┴────────┴───────────────────────────────┴─────────────────────────────┘ SELECT datetime, groupArray(recordsByCountryMap.countryId), groupArray(recordsByCountryMap.records) FROM src_country WHERE userId = 1 GROUP BY datetime ┌────────────datetime─┬─groupArray(recordsByCountryMap.countryId)─┬─groupArray(recordsByCountryMap.records)─┐ │ 2017-01-01 00:00:00 │ [[10],[10],[10,11]] │ [[4],[4],[4,3]] │ └─────────────────────┴───────────────────────────────────────────┴─────────────────────────────────────────┘

Проще перечислить, какие настройки не требуют перезапуска: - конфиги словарей; - описания кластеров; - настройки в users.xml (кроме отдельных, которые имеют эффект при старте сервера - background_pool_size);

спасибо. тоесть в целом лучше сделать рестарт при изменениях в конфигурации чем не сделать его ?

В таблице 7 столбцов Nested map, array join не прокатит, он только для одного сработает.

да я понял логику. просто в процедуру раската не просто занунуть такую кастомную логику.

В таблице 7 столбцов Nested map, array join не прокатит, он только для одного сработает.