Ну тогда какой смысл то?

В приведённом мной примере, взялось несколько кусков, которые в один тред мёржатся. есть мнение, что если один тред будет мёржить только 2 куска, то merge sort может быть повеселее и побыстрее

Ну а какая разница то, на вашем конфиге, все равно все идёт в фоне

Или у вас триллионы записей в час?

Или у вас триллионы записей в час?

Ну, не триллионы, но миллиарды

Ну на миллиардах вроде нет проблем таких

А что Ла выше 24 или диск ио больше гигабайта в секунду?

Диск курит бамбук :)

Ну что то не то

А вставляете пачками по миллиону?

Раз вы говорите что изменять ограничения на мёржи нет смысла, единственным вариантом, видимо, остаётся уменьшать размер пула бекграундных тредов?

А вставляете пачками по миллиону?

Сотнями тысяч

Ну мелковато для миллиардов в час

Надо же две вставки в секунду примерно

Образно говоря

На хост/шард/кластер?

Ну на реплику

Да на все видимо

При 100% INSERT загрузке на сервере вообще не видно использования CPU

Не пользуюсь сейчас дистрибьютед для вставки, про нее не могу сказать

SSD легко втыкают при интенсивной записи, в этом случае обычный диск и последовательная запись куда производительнее может быть

если там есть null - он в качестве результата должен дать null это стандартное поведение же

Я там выше пробовал намекнуть что это якобы стандартное поведение вовсе не так уж стандартно. Никакого Null'a вам sum() не вернет, он Null просто пропускает. Ни в кликхаус, ни (например) в Mysql, ни в MS SQL агрегатные функции так не работаеют. И эту конструкцию можно в ClickHouse написать гораздо проще. Например как sumIf()

Я там выше пробовал намекнуть что это якобы стандартное поведение вовсе не так уж стандартно. Никакого Null'a вам sum() не вернет, он Null просто пропускает. Ни в кликхаус, ни (например) в Mysql, ни в MS SQL агрегатные функции так не работаеют. И эту конструкцию можно в ClickHouse написать гораздо проще. Например как sumIf()

в случае sumif - я не могу вывести else, а вот мне бы туда null надо

т.е сейчас я фактически все оборачиваю длинной конструкций if then else...

Ну вот я и пробую у вас узнать зачем вам этот null :)

При использовании внутри агрегатной функции - он ничего не дает.

а вы используете его как раз внутри агрегатной функции.

Ну вот я и пробую у вас узнать зачем вам этот null :)

для меня null - отсутствие определенной метрики т.е дырка в данных, при использовании метрики с null - у меня вся формула должна уйти в null т.е использование 0 - не корректно

Ну так она не уйдет в null таким образом.

на старой версии прекрасно уходит

mysql> select sum(a) from (select NULL a union all select 1) x; +--------+ | sum(a) | +--------+ | 1 | +--------+ 1 row in set (0.03 sec)

Ms SQL: http://sqlfiddle.com/#!18/9eecb/17225

@milovidov_an Похоже на сложных ключах партиционирования КХ читает те партиции, которые читать не нужно CREATE TABLE test.testy(d Date, n Int64, k Int64) ENGINE = MergeTree Partition by (n, toStartOfMonth(d)) Order by (k); insert into test.testy select toDate('2018-05-01') as d, 33 n, 0 from numbers(1); insert into test.testy select toDate('2018-05-03') as d, 33 n, 0 from numbers(20000000); SELECT count() FROM test.testy PREWHERE (n = -1); 0 rows in set. Elapsed: 0.010 sec. Processed 19.92 million rows, 159.38 MB (1.92 billion rows/s., 15.34 GB/s.) в реальном проде миллиарды читаются из совершенно "левых" партиций, причем иной порядок в Partition by (toStartOfMonth(d), n) ничего не исправляет. https://github.com/yandex/ClickHouse/issues/2342

Postgres: http://sqlfiddle.com/#!17/9eecb/14140

на старой версии прекрасно уходит

Наверное это был какой-то баг, который был поправлен :)

Если хотите чтоб при наличии единственного NULL в группе - вся группа вернула NULL, то нужно состряпать что-то типа: :) select CASE WHEN anyIf(1, a IS NULL) THEN NULL ELSE sum(a) END from (select NULL a union all select 1) x;

Или (чуть короче): select if( anyIf(1, a IS NULL), NULL, sum(a) ) from (select NULL a union all select 5) x;

Или (чуть короче): select if( anyIf(1, a IS NULL), NULL, sum(a) ) from (select NULL a union all select 5) x;

неплохая идея, спасибо!

А не известно случаем, то, что в groupArray нельзя положить INT и NULL - это баг или фича?

Нужно чтоб был общий тип данных.

ЕМНИП там нужно явно все кастовать - тогда проглотит

ЕМНИП там нужно явно все кастовать - тогда проглотит

т.е если у меня уже есть int64 + нулл мне его еще раз кастовать?

хотя groupArray и так похоже пропускает Null.

хотя groupArray и так похоже пропускает Null.

у меня нет :Exception: Nested type Array(Int64) cannot be inside Nullable type.

Я в том смысле что groupArray не собирает в таблицу NULL'ы при группировке. А про этот эксепшен - есть Array(Nullable(Int64)) но не бывает Nullable(Array(Int64))

Таблица не может быть Null. Она может быть или пустая или содержать Null.

Я в том смысле что groupArray не собирает в таблицу NULL'ы при группировке. А про этот эксепшен - есть Array(Nullable(Int64)) но не бывает Nullable(Array(Int64))

так у меня именно первый вариант, но что то не хочет

а если я оберну в groupArray(ifNull(counter, 0))- ок

что то у меня совсем голова кипит от этого...

мда, убрал remote из поля from и ровно тот же запрос прекрасно заработал.... ну я даже не знаю

А можете показать запрос?

Приветствую, подскажите, пожалуйста, если ли какая-то возможность оптимизировать запрос (сколько определенных действий выполнили люди пришедшие по конкретной utm)? SELECT countIf((url = '/registration') AND (response = 200)) AS cnt_reg, countIf((url = '/order') AND (response = 200)) AS cnt_order FROM events WHERE user_uid IN ( SELECT user_uid FROM events WHERE utm_source = 'vk' ) а то он какой-то слишком тяжелый получается, 3 секунды на 15млн строк

Приветствую, подскажите, пожалуйста, если ли какая-то возможность оптимизировать запрос (сколько определенных действий выполнили люди пришедшие по конкретной utm)? SELECT countIf((url = '/registration') AND (response = 200)) AS cnt_reg, countIf((url = '/order') AND (response = 200)) AS cnt_order FROM events WHERE user_uid IN ( SELECT user_uid FROM events WHERE utm_source = 'vk' ) а то он какой-то слишком тяжелый получается, 3 секунды на 15млн строк

а нельзя сразу так: SELECT countIf((url = '/registration') AND (response = 200)) AS cnt_reg, countIf((url = '/order') AND (response = 200)) AS cnt_order FROM events WHERE utm_source='vk' ?

а нельзя сразу так: SELECT countIf((url = '/registration') AND (response = 200)) AS cnt_reg, countIf((url = '/order') AND (response = 200)) AS cnt_order FROM events WHERE utm_source='vk' ?

вроде нельзя, события-то разные, сначала зашел, погулял, а потом только что-то сделал через некоторое время

все, запрос вообще неверный получился, потому что время событий не учитывалось, а с sequenceMatch вообще беда получилась: SELECT count() FROM ( SELECT user_uid FROM events GROUP BY user_uid HAVING sequenceMatch('(?1)(?2)')(toDateTime(event_time), utm_source = 'vk', url = '/order') ) вот такая штука выполняется столько, что ждать устанешь

1 rows in set. Elapsed: 69.224 sec. Processed 15.58 million rows, 2.40 GB (225.10 thousand rows/s., 34.65 MB/s.)

все, запрос вообще неверный получился, потому что время событий не учитывалось, а с sequenceMatch вообще беда получилась: SELECT count() FROM ( SELECT user_uid FROM events GROUP BY user_uid HAVING sequenceMatch('(?1)(?2)')(toDateTime(event_time), utm_source = 'vk', url = '/order') ) вот такая штука выполняется столько, что ждать устанешь

А так? SELECT countIf(1, step1_time != toDateTime(0)) AS registrations, countIf(1, step2_time != toDateTime(0)) AS orders_after_registrations FROM ( SELECT user_uid, minIf(event_time, url = '/registration' AND response = 200) AS step1_time, arrayFilter(time -> ((step1_time != toDateTime(0)) AND (time > step1_time)), groupArrayIf(event_time, url = '/order' AND response = 200 ))[0] AS step2_time FROM events GROUP BY user_uid HAVING anyIf(1, utm_source = 'vk' ) )

ага, только там нужно чтоб utm_source было в начале (сейчас может быть где угодно)

ух ты, ну теперь дома доберусь - проверю)

спасибо!

Всем привет! Подскажите, пожалуйста, а материлизованные вьюхи работают со вложенными селектами?

Всем привет! Подскажите, пожалуйста, а материлизованные вьюхи работают со вложенными селектами?

Если селекты к одной и той же таблица - должны работать

С JOIN к другим таблицам точно не рабоет

конструкция вида select max(a) from (select avg(b) as a from (... from table))

Очень глупый вопрос: а где и как хранить версию схемы базы данных для самого clickhouse'а? Я думал, что подойдёт отдельная таблица, но т.к. update'ы не поддерживаются, то пометить была миграция или нет не получится.

ух ты, ну теперь дома доберусь - проверю)

Так правильно (три шага друг за другом): SELECT countIf(1, step1_time != toDateTime(0)) AS vk_entry, countIf(1, step2_time != toDateTime(0)) AS registrations_after_vk_entry, countIf(1, step3_time != toDateTime(0)) AS orders_after_registrations_after_vk_entry FROM ( SELECT user_uid, minIf(event_time, utm_source = 'vk') AS step1_time, arrayReduce('min', arrayFilter(time -> ((step1_time != toDateTime(0)) AND (time > step1_time)), groupArrayIf(event_time, url = '/registration'))) AS step2_time, arrayFilter(time -> ((step2_time != toDateTime(0)) AND (time > step2_time)), groupArrayIf(event_time, url = '/order'))[1] AS step3_time FROM events WHERE response = 200 and ( utm_source = 'vk' OR url in ('/registration', '/order') ) GROUP BY user_uid )

Очень глупый вопрос: а где и как хранить версию схемы базы данных для самого clickhouse'а? Я думал, что подойдёт отдельная таблица, но т.к. update'ы не поддерживаются, то пометить была миграция или нет не получится.

А зачем вам апдейты для этого? Храните лог изменения версий, запись с максимальным таймстампом и есть версия.

А как же транзакции? Типа, "начали миграцию", "закончили миграцию"? Так же доп. строчками в лог?

угу.

тут гляньте ещё: https://github.com/filimonov/ClickHouse/wiki/Clickhouse-database-schema-migrations

в go-migrate как раз такой подход и реализован

Можно. Вообще, немного не хватает update'ов для мелочи. Я понимаю, что это не профиль clickhouse'а, но простенький движок для маленьких данных (типа конфигурации), хоть даже и на sqlight'е был бы ценен.

При небольших таблицах игнорирование удаленных / обновленных версий той же строки - тривиально, и практически не ощутимо. Но да, запросы и схема таблицы для имитации update/delete - режут глаза своей костыльностью, по сравнению с нормальными UPDATE / DELETE.

:)

Можно. Вообще, немного не хватает update'ов для мелочи. Я понимаю, что это не профиль clickhouse'а, но простенький движок для маленьких данных (типа конфигурации), хоть даже и на sqlight'е был бы ценен.

один китаец пилит insert / update / delete для таблиц engine = mysql, вроде активно пилит.

Добрый вечер. Подскажите, как добавить ClickHouse JDBC в gradle-проект?

https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc/0.1.39 compile group: 'ru.yandex.clickhouse', name: 'clickhouse-jdbc', version: '0.1.39'

мда, SELECT count() FROM test.testy WHERE (n = 34 ); 1 rows in set. Elapsed: 0.002 sec. optimize table test.testy; SELECT count() FROM test.testy WHERE (n = 34 ); 1 rows in set. Elapsed: 0.007 sec. Processed 10.00 million rows, 80.00 MB (1.38 billion rows/s., 11.07 GB/s.)

https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc/0.1.39 compile group: 'ru.yandex.clickhouse', name: 'clickhouse-jdbc', version: '0.1.39'

Спасибо

один китаец пилит insert / update / delete для таблиц engine = mysql, вроде активно пилит.

Для них это относительно просто сделать, но, всеравно нужен какой-то отдельный сервер, а вот вкрутить SQLite Engine наверное можно и даже нужно.

Для них это относительно просто сделать, но, всеравно нужен какой-то отдельный сервер, а вот вкрутить SQLite Engine наверное можно и даже нужно.

если на каждой ноде КХ будет своя собственная база с sqlite, то в чем профит?

mysql() при наличии более двух колонок в WHERE начинает выгружать всю таблицу ? 0_o WHERE updated_at > '2018-05-11 14:55:03' OR id > 12313412341

mysql() при наличии более двух колонок в WHERE начинает выгружать всю таблицу ? 0_o WHERE updated_at > '2018-05-11 14:55:03' OR id > 12313412341

У меня он вообще падает )

С криками, что колонка не существует

Подскажите пожалуйста. Допустим есть колонка Int8. Но при суммировании значений при запросе - сумма выходит за рамки Int8. Clickhouse обрежет ее до макс. значения Int8 или преобразует в нужный тип Int32 или Int64?

Или это нужно в явном виде задать чем-то вроде type casting'а?

:) select cast(10000 as UInt8) + cast(9876 as UInt8); SELECT CAST(10000 AS UInt8) + CAST(9876 AS UInt8) ┌─plus(CAST(10000, \'UInt8\'), CAST(9876, \'UInt8\'))─┐ │ 164 │ └─────────────────────────────────────────────────────┘

просто в качестве догадки

опс, нет, фиговая догадка

Подскажите пожалуйста. Допустим есть колонка Int8. Но при суммировании значений при запросе - сумма выходит за рамки Int8. Clickhouse обрежет ее до макс. значения Int8 или преобразует в нужный тип Int32 или Int64?

Значение переполнится. Нужен каст аргумента к нужному типу.

:) select cast(250 as UInt8) + cast(255 as UInt8); SELECT CAST(250 AS UInt8) + CAST(255 AS UInt8) ┌─plus(CAST(250, \'UInt8\'), CAST(255, \'UInt8\'))─┐ │ 505 │ └──────────────────────────────────────────────────┘

Значение переполнится. Нужен каст аргумента к нужному типу.

хм, а обычное сложение норм работает

сложение хитрое. оно возвращает общий тип, в который влезает сумма

можно вызвать toTypeName и проверить, какой получится результат

:) select cast(255 as UInt8) * 100; SELECT CAST(255 AS UInt8) * 100 ┌─multiply(CAST(255, \'UInt8\'), 100)─┐ │ 25500 │ └─────────────────────────────────────┘ 1 rows in set. Elapsed: 0.003 sec. :) select cast(255 as Int8) * 100; SELECT CAST(255 AS Int8) * 100 ┌─multiply(CAST(255, \'Int8\'), 100)─┐ │ -100 │ └────────────────────────────────────┘