Работает только для последнего

@f1yegor да, я тоже так подумал уже после того, как написал )

@the_real_jkee когда я так делаю я получаю только для всех строчек

Totals: ┌─variant_id─┬─feature_instance_id─┬─uniq(session_id)─┬─count()─┐ │ 0 │ │ 1080 │ 15033 │ └────────────┴─────────────────────┴──────────────────┴─────────┘

select uniq(id) from events group by a, b with totals.

Так и должно быть, это я и имею в виду

можно открыть FR на olap-cube statistic, чтобы with totals работало для подгрупп?

Давно обсуждается

Возможно, уже открыто

спасибо, если не найду до ночи - то заведу

я нашел примерную документацию

https://oracle-base.com/articles/misc/rollup-cube-grouping-functions-and-grouping-sets. соответственно подразумевается rollup функциональность

а runningAccumulate это даже близко не то, да?

привет, подскажите, как реализовать максимум из двух значений, типа max((select ...), (select ...))? Функция max принимает только один аргумент, а если давать ей массив/кортеж, то она возвращает его целиком. Подозреваю, что ей нужно передавать столбец, но вот как его сделать из значений? Спасибо

:) SELECT max(arr) FROM (SELECT arrayJoin([123, 456, 789]) AS arr) если я правильно понял

даже проще, SELECT max(arrayJoin([123, 456, 789]))

туплю ))

а runningAccumulate это даже близко не то, да?

подозреваю что это наподобие runningDifference, нет, они по разному будут работать, если только не научиться задавать условие обнуления. здесь вроде такое обсуждалось

привет, подскажите, как реализовать максимум из двух значений, типа max((select ...), (select ...))? Функция max принимает только один аргумент, а если давать ей массив/кортеж, то она возвращает его целиком. Подозреваю, что ей нужно передавать столбец, но вот как его сделать из значений? Спасибо

greatest?

кстати да :О

черт, я ж ее в документацию добавлял %))

даже проще, SELECT max(arrayJoin([123, 456, 789]))

maxArray

:(

@iamigor @orantius спасибо!

На мой взгляд, ее лучше переименовать в arrayMax, чтобы была похожа на остальные фунции с массивами

тоже об этом подумал. но это комбинатор, как -If

кого?

Также мне казалось, есть аналог fold для массива, но в документации не вижу

т.е. логично, что есть sum(), sumIf(), sumArray(); min(), minIf(), minArray() итд

arrayReduce('max', [123, 456])

точно

И все же просится все называть array*

ваще да, плюсую

Алексей говорил вроде, что планируются алиасы для функций

было бы здорово оптимизировать вложенные запросы к одинаковым таблицам - чтобы данные только 1 раз доставались.

> Одинаковые подзапросы тоже склеиваются. можно, наверное, делать одинаковые подзапросы и фильтровать их потом снаружи?

т.е. например select (select count() from t where date =today()) as today, (select count() from t where date=today()-1) as yesterday пусть бы оптимизатор объединял условия и доставал данные как для where date=today() or date=today()-1 а потом бы уже отдавал каждую строку конвееру соотв. запросов.

я проверял - не склеиваются. Делаю два одинаковых селекта - время вырастает вдвое.

щас еще раз проверю

хм, и правда, у меня тоже дважды выполняются :( но я с помощью sleep() проверил, :) SELECT * FROM (SELECT 1, sleep(1)) ANY LEFT JOIN (SELECT 1, sleep(1)) USING 1; не знаю, насколько это корректно

Connected to ClickHouse server version 1.1.54112. :) select (select count() from traffic) as c1 SELECT ( SELECT count() FROM traffic ) AS c1 1 rows in set. Elapsed: 0.402 sec. :) select (select count() from traffic) as c1, (select count() from traffic) as c2 SELECT ( SELECT count() FROM traffic ) AS c1, ( SELECT count() FROM traffic ) AS c2 1 rows in set. Elapsed: 0.872 sec.

Кстати, тоже сталкивался с тем, что одинаковые запросы не склеивались.

Просится простой explain, где показано сколько из каждой таблицы выгребается и сколько уходит на join

т.е. например select (select count() from t where date =today()) as today, (select count() from t where date=today()-1) as yesterday пусть бы оптимизатор объединял условия и доставал данные как для where date=today() or date=today()-1 а потом бы уже отдавал каждую строку конвееру соотв. запросов.

ну кстати, вот этот пример можно решить так: SELECT anyIf(total, date = today()) AS today, anyIf(total, date = yesterday()) AS yesterday FROM ( SELECT date, count() AS total FROM test WHERE date >= yesterday() GROUP BY date );

если обновили сервер 54083 до 54127, можно ли обратно до 54083 откатиться без (очевидных) проблем? там никаких изменений в формате хранения данных, например, нету? upd: вроде норм откатились, эх, жалко что вообще пришлось :(

ну кстати, вот этот пример можно решить так: SELECT anyIf(total, date = today()) AS today, anyIf(total, date = yesterday()) AS yesterday FROM ( SELECT date, count() AS total FROM test WHERE date >= yesterday() GROUP BY date );

более универсальный вариант select countIf(cond1),countIf(cond2) where cond1 or cond2

спасибо огромное!

Есть таблица: CREATE TABLE traffic ( EventDate Date DEFAULT today(), Timestamp UInt32, UserID String, UserIDHash UInt64 DEFAULT sipHash64(UserID), ...) ENGINE = MergeTree(EventDate, (UserIDHash, EventDate, Timestamp), 8192) когда я делаю запрос select * from traffic WHERE EventDate=toDate('2017-01-01') limit 10 запрос выполняется моментально когда добавляю ORDER BY UserIDHash select * from traffic WHERE EventDate=toDate('2017-01-01') ORDER BY EventDate,UserIDHash limit 10 запрос выполняется 7 секунд и сканирует дофига гигабайтов данных. По моим представлениям EventDate должно было ограничить чтение одним куском данных, в котором записи расположены в порядке : UserIDHash, EventDate, Timestamp т.е. надо было просто взять первые 10 строк и должно выполняться так же быстро как вариант без ORDER BY что я понял не так?

второй запрос: select * from traffic WHERE EventDate=toDate('2017-01-01') ORDER BY UserIDHash limit 10

Не совсем. Таблица партиционированна по EventDate, но в рамках партиции данные уже отсортированы по UserIDHash, EventDate, Timestamp

запрос требует в первую очередь сортировать по EventDate, это не так как физически лежат данные

select * from traffic WHERE EventDate=toDate('2017-01-01') ORDER BY UserIDHash limit 10 быстро выполняется?

это опечатка была, я правильный запрос след. сообщением отправил

нет

тоже 6 секунд

Привет! Есть необходимость развернуть на одной машине две базы, при этом, базы должны светиться http интерфейсом на разные порты. Есть ли возможность для разных баз прописать свой порт в рамках одного инстанса сервера, или надо поднимать второй инстанс кликхауса с отдельными настройками?

Привет! Есть необходимость развернуть на одной машине две базы, при этом, базы должны светиться http интерфейсом на разные порты. Есть ли возможность для разных баз прописать свой порт в рамках одного инстанса сервера, или надо поднимать второй инстанс кликхауса с отдельными настройками?

Нельзя

Уащпе?

А чем не устраивает поднять на одном сервере с разными пользователями?

устроит, если это сработает.

Уащпе?

Это ну крайне редкий функционал. Не знаю ни одну бд которая бы так умела

Согласен

устроит, если это сработает.

Конечно сработает. У пользователя можно написать к каким базам у него будет доступ

Ну, то есть, грубо говоря, так сделать в рамках одного сервера можно :)

отлично! спасибо большое, про пользователей я не подумал.

попробовал выполнить: select UserIDHash from traffic WHERE EventDate=toDate('2017-01-01') ORDER BY UserIDHash limit 10 запрос выполнился за 0.1 секунды, при этом просканировал гигабайт данных

Да, действительно долго, тогда Леша точнее ответит

можно where на prewere попробовать заменить, возможно быстрее будет

попробовал, получается дольше (0.2 сек вместо 0.1) при выборке только UserIDHash, при выборке всех полей время не изменилось. Объем сканируемых данных от WHERE/PREWHERE тоже не меняется.

я не помню точно, вроде порядок полей в pk имеет значение что если сделать рядом табличку с таким движком и попробовать на ней? MergeTree(EventDate, (EventDate, UserIDHash, Timestamp), 8192)

т.е. дату в самое начало вынести хотя PREWHERE в таком случае все равно спас бы

нет, PREWHERE работает до сортировки, поэтому тут не роляет

угу

а по поводу таблички - да, может сработать. Тут пожоже дело в том, что при структуре (UserIDHash, EventDate, Timestamp) запрос where все равно должен прочитать партицию с сделать фильтрацию по дате.

WHERE EventDate=toDate('2017-01-01') ограничивает список партиций в которых надо выполнять поиск, но в партиции может лежать больше одного дня. (партиции склеиваются до месяца)

и потом по партиции делается поиск по useridhash, а не по дате не уверен, что я правильно выразился сейчас :( в общем, интересно, изменится ли что-нибудь есть порядок ключей поменять

нет, не похоже. Тогда без OrderBY движок тоже должен был бы всю партицию сканировать чтобы дату отфильтровать и это занимало бы столько же времени. А если ORDER BY UserIDHash убрать, то select UserIDHash from traffic WHERE EventDate=toDate('2017-01-01') limit 10 выполняется за 0.01 секунды (в 10 раз быстрее) и сканирует 4Мб, а не гигабайт данных

мм.. ну, ORDER BY же выполняется раньше, чем LIMIT 10 т.е. ему надо взять все хэши за эту дату, отсортировать их, и уже среди отсортированных взять первые 10

а последний запрос проще - он просто берет первые 10 в том порядке, что есть, и берет хэши только для этих 10

получается, эти 4 мб это как раз один за блок данных и все

а он разве не должен учитывать что данные внутри чанка уже отсортированы по ключу? т.е. по моим представлениям раз данные в кусе уже отсортированы по выражению, которое я прошу - все данные читать не надо и сортировать отдельно тоже не надо - надо просто взять тот порядок что есть.

кстати результат с сортировкой и без - отличается, т.е. видимо сервер читает данные не в том порядке или там кусков больше почему-то и он их все сливает при сортировке.

а он разве не должен учитывать что данные внутри чанка уже отсортированы по ключу? т.е. по моим представлениям раз данные в кусе уже отсортированы по выражению, которое я прошу - все данные читать не надо и сортировать отдельно тоже не надо - надо просто взять тот порядок что есть.

where работает до order by. Соответсвенно ему сначала нужно применить фильтр по дате и только потом выбрать 5 записей. Фильтр по дате = просмотр всей партиции

т.е. если есть фильтр и сортировка - весь чанк сначала фильтруется, потом сортируется, потом лимит. а если сортировки нет, то лимит применяется прямо во время фильтрации (where) ?

Нас ровно три сотни! ?

combot.org/chat/-1001080295593