что-то вроде NVL()

Это частый баг репорт :( Пока есть плохие способы через UNION ALL ещё одного запроса.

coalesce нет?

coalesce есть, но скалярный подзапрос при отсутствии результата возвращает не NULL, а вообще ничего (после этого кидается исключение). Только что подумал, что это легко исправить.

Можно заменить 'dt = (select max() ... )' на 'dt in (select max() ... )' -- тогда ошибки нет, просто пустой результат

Запрос dt in (select max() ...) не будет использовать индекс

Вот это куда более существенный баг, на мой взгляд.

вместо T тип столбца в словаре

и в кавычках название словаря и атрибута например, dictGetString('test', 'a', 1) или dictGetUInt64('test', 'a', 1) в зависимости от того, какого типа у вас 'a' в словаре 'test'

ок. понял)

Запрос dt in (select max() ...) не будет использовать индекс

Серьёзно? На самом деле мне нужно dt > (select max()...) делать. Здесь тоже что ли индекс не будет задействован?

Судя по коду должен быть задействован. Проверь ;)

ясно :)

Добрый день. Подскажите в чём проблема: Есть две таблицы: CREATE TABLE fact (campaignId String, ...) ENGINE = Distributed(...) CREATE MATERIALIZED VIEW campaignJoin (campaignId String, campaignName String) ENGINE = Join(ANY, LEFT, campaignId) AS ... Пытаюсь выполнить запрос: select campaignId, campaignName FROM (SELECT campaignId FROM fact) ANY LEFT JOIN campaignJoin USING campaignId Получаю: DB::Exception: Method read is not supported by storage Join По документации, вроде корректно использовать таблицы с движком Join в качестве правой таблицы, как в запросе.

а забрать поле по другому столцбу словаря (не id) не представляется возможным? complex key не подходит, ибо другая часть составного ключа может быть неизвестна :( соотв. надо несколько словарей создавать?

Да, несколько словарей

Доброго времени суток! Подскажите пожалуйста есть 2 таблицы, 1. переходы по ссылкам с clickID - id клика, countryID - код страны 2. успешные конверсии по переходам, clickID - id клика, payout - сумма оплаты Нужен отчет по сумме конверсий по стране. Для amazon redshift был такой ---------- select countryID , sum(p.payout) as payout from redirects sr, postbacks p where sr.cid = p.cid group by countryID order by payout desc ------ Никак не соображу как сделать похожий запрос в clickhouse

select countryId, sum(p.payout) as payout from redirects ALL INNER JOIN postbacks USING (cid) group by countryID order by payout desc

надо почитать вот это https://clickhouse.yandex/reference_en.html#JOIN clause

спасибо))

Удобнее было бы, если конверсии и переходы пишутся в одну таблицу; столбец countryID заполняется у всех строк, а payout заполняется для конверсий и равен нулю для переходов. Тогда запрос получается обычным GROUP BY, без JOIN.

а есть возможность сравнить производительность redshift vs clickhouse?

@milovidov_an есть ли какие-то планы сделать explain/analyze для запросов?

а есть возможность сравнить производительность redshift vs clickhouse?

@alekspav

У нас clickhouse в продакшн Пробовали перейти на redshift, т.к. с ним куча аналитических сервисов работает, например, chartio Споткнулись на вставке данных

тестировали redshift cluster on 3 dc1.large machines dc1.large has 15 Memory (GiB), 2 CPU, 160 GB SSD clickhouse на одном DO droplet 16 GB Memory / 60 GB Disk + 200 GB redshift не успевал обрабатывать запросы на вставку данных, нужно было мудрить с загрузкой данных сначала на s3 потом в redshift. Как-то сложно там все(( Зато кластер мышкой можно запустить через интерфейс

@milovidov_an есть ли какие-то планы сделать explain/analyze для запросов?

Да, это есть в планах.

доброе утро. вопрос: что случится если у меня прийдет 3 жирные query и их суммарное потребление будет больше чем на хосте?

будет очередь или фолт?

пытается ли scheduler вычислить сколько потребуется памяти для запроса?

когда я делаю

FROM ( SELECT <right table columns>, * FROM (

и * для <left-table columns> будут ли колонки которые не учитываются во внешней квери убраны?

Не то баг, не то... баг. ClickHouse-client считает валидным подзапрос с несуществующим полем, если он указан в IN: :) select Level from graphite_tree where Path in (select Path from graphite_tree where Version > asdfaf); SELECT Level FROM graphite_tree WHERE Path IN ( SELECT Path FROM graphite_tree WHERE Version > asdfaf ) Ok. При этом отдельно этот подзапрос выдает ошибку, конечно: :) select Path from graphite_tree where Version > asdfaf; SELECT Path FROM graphite_tree WHERE Version > asdfaf Received exception from server: Code: 47. DB::Exception: Received from localhost:19000, ::1. DB::Exception: Unknown identifier: asdfaf. 0 rows in set. Elapsed: 0.066 sec.

Господа, балуюсь с кликхаусом, поднял его в докере. понапихал данных, потыкал их перезапустил контейнер, база в которую пихал данные пропала. данные главно лежат

а в кликхаусе таблицы нету

пути все перепроверил всё должно быть

куда смотреть ?

А что в папке metadata?

а нету такой

Ну без нее и таблиц не будет

ага

В /opt/clickhouse/metadata лежит ddl для всех таблиц. Его кх применяет на старте

куда смотреть ?

ATTACH TABLE. Должно помочь если схемы таблиц где-то остались, если нет можно попробовать ее восстановить по /opt/clickhouse/data/<DB>/<table>/<NUMBERS>/columns.txt

тоесть вот так в docker-compose было мало ? volumes: - ./clickhouse/config:/etc/clickhouse-server - /data/analitics/data:/opt/clickhouse/data

/opt/clickhouse/metadata обязательно нужна

лучше целиком /opt/clickhouse/

ок

сейчас что бы данные старые вернуть можно попроьовать залить данные еще раз, получить работающий /opt/clickhouse/metadata/dbname.sql

и подсунуть старые данные

ага ?

/opt/clickhouse/DB_NAME/TABLE_NAME.sql

в sql файле должен быть обычный create table, только вместо create - ATTACH

Как лучше поступить, если нужно ходить в кликхаус, расположенный на отдельной машине? открыть порт http интерфейса наружу или хайли рекоммендед закрыться nginx-ом?

планируется много записи и чтения

Как лучше поступить, если нужно ходить в кликхаус, расположенный на отдельной машине? открыть порт http интерфейса наружу или хайли рекоммендед закрыться nginx-ом?

Ходите через ssh тунель.

Ходите через ssh тунель.

Очень странное решение

Как лучше поступить, если нужно ходить в кликхаус, расположенный на отдельной машине? открыть порт http интерфейса наружу или хайли рекоммендед закрыться nginx-ом?

Просто отрыть наружу, желательно сделать ползователя с паролем

Народ, использует ли кто http словари? Столкнулся с проблемой, если http отдал, допустим 500ю ошибку, то кликхаус не обновляет этот словарь долго и упорно.

Смысла закрывать nginx не вижу

кто может пояснить как делается join 3х таблиц на уровне данных? т.е. не ясен момент: в документации говорится что будет полная выборка правой таблицы и левая будет заджойнена стримом. если делаешь второй джойн, то значит все предыдущие данные должны умещаться в память?

я сейчас получаю "Memory limit (for query) exceeded: would use 9.34 GiB", знаю что могу увеличить. но надо же сначало понять

@AndreevDm Ок, спасибо!

скажите, можно ли как-то из cli заставить clickhouse обновить словари?

Из клиента сейчас никак, но Яндекс собирается сделать команду

На сервере самое простое -- touch файла конфига.

а как сейчас можно обновить словари ?

просто тач ?

Да. Но вообще там стоит по дефолту раз в 5 минут обновление (в xml словаря)

у меня http словарь

у меня стояло 3600 и словарь обновлялся очень давно.

да без разницы какой источник, не?

тогда вообще странно, так как у меня lifetime стоит min=30 max=60

или если получил 500 от хттп источника, обновляет еще реже, чем раз в минуту?

до сих пор выдает: Code: 86. DB::Exception: Received from 127.0.0.1:9000. DB::Exception: Received error from remote server http://local-host/publisher_sites.php. HTTP status code: 500, body: .

если дернуть курлом ссылку, все ок

В формате json возвращается параметр rows_before_limit_at_least. Насколько понял, он вычисляется приближенно и часто он возвращает какие-то левые значения. Подскажите, можно ли как-то получить гарантированно точное количество строк (до применения лимита) в одном запросе с применением limit ?

select count() ...

в sql файле должен быть обычный create table, только вместо create - ATTACH

спасибо так помогло

какие люди)

какие люди)

Привет! :) Присматриваемся к ch для своих задач

@milovidov_an кто может пояснить как делается join 3х таблиц на уровне данных? т.е. не ясен момент: в документации говорится что будет полная выборка правой таблицы и левая будет заджойнена стримом. если делаешь второй джойн, то значит все предыдущие данные должны умещаться в память?

еще как быстрое улучшение прогресса, можно добавить memory_usage в вывод?

Подскажите, пожалуйста, кто-нибудь экспериментировал с настройкой sql ide (например datagrip) + jdbc драйвер ch ? Вообще тема рабочая?

А неплохо было бы перевести click house на блокчейн

Реализовать нечто подобное http://www.bigchaindb.com

Но это наверное все переписывать надо

один парень хотел переписать кликхаус на блокчейн