superset / redash. мы пользуемся вторым.

SSRS, Power BI

Хм, PowerBI умеет только к себе затягиывать, как я понимаю? А не отображать запросы к KH с фильтрами и т.п.?

PowerBi умеет в онлайн запросы, но только на SSAS и еще вроде что-то, все остальное тянет к себе

через ODBC только экпорт

PowerBi умеет в онлайн запросы, но только на SSAS и еще вроде что-то, все остальное тянет к себе

Мне кажется вы что то путаете http://myscreenshot.info/i/0007/398981500988940600342240341978.html

в чем противоречие скрина и моих слов?

особенно, когда вы реально подключаетесь, а не просто тыкаете в кнопочки

На скриншоте видно возможность выбора, между закачать к себе и прямой запрос в базу

https://powerbi.microsoft.com/ru-ru/documentation/powerbi-desktop-use-directquery/

Не все источники позволяют использовать DirectQuery - https://powerbi.microsoft.com/ru-ru/documentation/powerbi-desktop-directquery-data-sources/

Также обратите внимание на то, что "некоторые сложные запросы в DirectQuery работать не будут"

Тут есть лайфхак

Нужно на стороне MSSQl сделать odbc linked server к Clickhouse

тогда подключение будет рабочим, а запросы будут пробрасываться

Вы уже пробовали использовать такую связку, или же говорите о потенциальной возможности?

Я сделал такую связку для Ipmala

Для кликхаус не получилось, завел ишью

И DirectQuery корректно это скушал?

Привет! Я хочу опять попросить помощи в сборке. Пытался прилинковать libdbms.a, но получил сообщение /usr/bin/ld: /home/x4m/clickhouse/build/dbms/libdbms.a(Connection.cpp.o): relocation R_X86_64_32 against `.rodata.str1.8' can not be used when making a shared object; recompile with -fPIC Мне нужно Clickhouse собрать в PIC или есть какой-то другой способ? В Connection.cpp я экспортировал несколько функций (своих) как extern "C", видимо надо что-то по-другому экспортировать :)

cmake -DCMAKE_POSITION_INDEPENDENT_CODE=1

Когда я делал еще не было Power я дергал процедуру через эксель. я думаю что проблем возникнуть не должно

cmake -DCMAKE_POSITION_INDEPENDENT_CODE=1

Спасибо

Привет не подскажете как решить вот такую задачу. Нужно псчитать arraySum( maxIf(value, key = 'metric_01') , maxIf(value, key = 'metric_02') , ... maxIf(value, key = 'metric_N') , ) Можно это сделать как-то не выписывая все названия метрик в явном виде? Чтобы не переписывать запрос при появлении новых метрик. В key могут быть только 'metric_01' ... 'metric_N' то есть все возможные значения key можно получить groupUniqArray(key)

Как-то так sum(arrayMap(x -> maxIf(value, key = x), groupUniqArray(key))) да?

В правой части лямбды в CH может стоять maxIf ?

а как можно распарсить initial_address из system.query_log?

Всем привет. А стоит ли в Primary Key добавлять уникальное значение, если по нему будет выборка? Например, есть date, counterID, и я хочу добавить еще hit_id - чтобы вытаскивать одну запись. Будет ли смысл добавлять его в Primary Key (date, counterID, hit_id) - если запрос будет по всем трем полям?

Привет! Вот такую штуку можно переписать как нибудь, чтобы работало SELECT arrayMap(x -> maxIf(value, key = x), groupUniqArray(key)) FROM mbo_flume_ng WHERE (key LIKE 'mbo-models-morphline-%.morphline_updateCounter_loadSolrSuccessCount.Count') AND (timestamp > 1500504303) AND (timestamp < 1500504603) Received exception from server: Code: 47. DB::Exception: Received from health-house.market.yandex.net:9000, 2a02:6b8:0:3400::3:209. DB::Exception: Unknown identifier: x.

Добрый день. У меня наверно не очень умный вопрос. Запрос может быть лимитирован кол-вом символов или кол-вом входящих параметров? Например мне нужно сделать запрос вида SELECT user, groupUniqArray(item) FROM table WHERE user IN(user1, user2) GROUP BY user на выходе имею username : [item1, item2 ... ] Сколько я могу передать в IN() параметров единовременно?

max_query_size = 262144 Окей)

max_query_size = 262144 Окей)

еще в max_ast_elements можно упереться

а как можно распарсить initial_address из system.query_log?

IPv6NumToString(initial_address)

Как-то так sum(arrayMap(x -> maxIf(value, key = x), groupUniqArray(key))) да?

Только arraySum вместо sum.

Привет! Вот такую штуку можно переписать как нибудь, чтобы работало SELECT arrayMap(x -> maxIf(value, key = x), groupUniqArray(key)) FROM mbo_flume_ng WHERE (key LIKE 'mbo-models-morphline-%.morphline_updateCounter_loadSolrSuccessCount.Count') AND (timestamp > 1500504303) AND (timestamp < 1500504603) Received exception from server: Code: 47. DB::Exception: Received from health-house.market.yandex.net:9000, 2a02:6b8:0:3400::3:209. DB::Exception: Unknown identifier: x.

Да, так не выйдет. Надо что-то другое придумать...

max_query_size = 262144 Окей)

Ограничение сделано на всякий случай. Можете увеличивать, если надо.

Ограничение сделано на всякий случай. Можете увеличивать, если надо.

ура!

Да, так не выйдет. Надо что-то другое придумать...

А в какую сторону тут еще покопать можно?

Может быть можно что-то с arrayJoin придумать. Пока не очевидно.

Может кто-то сталкивался. Есть таблица с Enum столбцом, необходимо обновить тип добавив в него новые значения. В таблицу записи идут через Buffer таблицу. При обновлении alter table.. modify column ... основной таблицы все проходит ок. Далее, пересоздаем buffer таблицу create table table_buffer as .... Все ок, desc показывает одинаковые схемы. Начинаем писать в Buffer-таблицу, но при сбросе данных из нее в основную происходит ошибка: Type mismatch for column Enum... , и в описании ошибки типы действительно отличаются. Локально эту ситуацию не удается повторить. Версия КХ 1.1.54236

а что делать с ошибкой Code: 49. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: DDL background thread not initialized.. ?

IPv6NumToString(initial_address)

Благодарю

Может кто-то сталкивался. Есть таблица с Enum столбцом, необходимо обновить тип добавив в него новые значения. В таблицу записи идут через Buffer таблицу. При обновлении alter table.. modify column ... основной таблицы все проходит ок. Далее, пересоздаем buffer таблицу create table table_buffer as .... Все ок, desc показывает одинаковые схемы. Начинаем писать в Buffer-таблицу, но при сбросе данных из нее в основную происходит ошибка: Type mismatch for column Enum... , и в описании ошибки типы действительно отличаются. Локально эту ситуацию не удается повторить. Версия КХ 1.1.54236

Это возможно, если в Buffer таблице остались старые данные. То есть, если её не пересоздали.

а что делать с ошибкой Code: 49. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: DDL background thread not initialized.. ?

Это значит, что в конфигурационном файле не включен distributed DDL: https://github.com/yandex/ClickHouse/blob/master/dbms/src/Server/config.xml#L249 По-умолчанию это включено, но у вас может отсутствовать секция в конфиге, если новый конфиг не был установлен при обновлении.

Добрый вечер

добрый

вылезла странная проблема с кликхаусом, есть кластер из 3х нод, на одной ноде вырос la PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 12782 clickho+ 20 0 1975908 835872 25940 S 2375 0.4 249:20.65 clickhouse-serv

в логах ничего криминального кроме zookeeper 2017-07-25 14:45:02,250 - INFO [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@651] - Got user-level KeeperException when processing sessionid:0x35d7af9cab10002 type:setData cxid:0x5977ae0e zxid:0xd0000f586 txntype:-1 reqpath:n/a Error Path:/clickhouse/tables/Traffic/block_numbers/201707/block-0000738003 Error:KeeperErrorCode = NoNode for /clickhouse/tables/Traffic/block_numbers/201707/block-0000738003

причем ругается на разные таблицы

при рестарте зоокипер и кликхаус проблема кочует по кластеру

в какую сторону посмотреть чтобы как-то локализовать проблему, сейчас идей вообще никаких нет :(

в логах ничего криминального кроме zookeeper 2017-07-25 14:45:02,250 - INFO [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@651] - Got user-level KeeperException when processing sessionid:0x35d7af9cab10002 type:setData cxid:0x5977ae0e zxid:0xd0000f586 txntype:-1 reqpath:n/a Error Path:/clickhouse/tables/Traffic/block_numbers/201707/block-0000738003 Error:KeeperErrorCode = NoNode for /clickhouse/tables/Traffic/block_numbers/201707/block-0000738003

Эти сообщения в логах ZK - нормальная работа и не говорит о какой-либо проблеме. Посмотрите SHOW PROCESSLIST на том сервере, который загружен.

сейчас попробовал уменьшить max_distributed_connections и рестартанул кластер, пока живет. посмотрю, спасибо

Эти сообщения в логах ZK - нормальная работа и не говорит о какой-либо проблеме. Посмотрите SHOW PROCESSLIST на том сервере, который загружен.

то, что эти сообщения сыпят только на одном кипере нормально? видимо на том, который работает в параллеле загруженной ноде

то, что эти сообщения сыпят только на одном кипере нормально? видимо на том, который работает в параллеле загруженной ноде

Сообщения "user-level KeeperException" в логах ZooKeeper не имеют никакого значения.

понял, спасибо

Доброй ночи, хочу прикуртить таблицу postgres, как внешний словарь. Следовал этому ману https://github.com/hatarist/clickhouse-faq/wiki/PostgreSQL_ODBC_ru данного файлы у меня почему-то нет /usr/local/lib/psqlodbcw.so

Доброй ночи, хочу прикуртить таблицу postgres, как внешний словарь. Следовал этому ману https://github.com/hatarist/clickhouse-faq/wiki/PostgreSQL_ODBC_ru данного файлы у меня почему-то нет /usr/local/lib/psqlodbcw.so

Поищи в чате либо в личку могу ссылку

Доброй ночи, хочу прикуртить таблицу postgres, как внешний словарь. Следовал этому ману https://github.com/hatarist/clickhouse-faq/wiki/PostgreSQL_ODBC_ru данного файлы у меня почему-то нет /usr/local/lib/psqlodbcw.so

без него не работает?

через утилиту isql я могу подключиться, а через кх No such dictionary: recalc_reason

select * from system.dictionaries

ERROR: S client not available

SELECT * FROM system.dictionaries Ok. 0 rows in set. Elapsed: 0.047 sec.

после создания конфига сервер рестартовал?

нет

Не помню точно, но по моему они не подхватываются без рестарта.

После рестарта сразу смотри логи про этот словарь. Там будет селект в твою таблицу и ошибка если она будет

проще даже наверное просто после рестарта дернуть запрос select * from system.dictionaries. Там и ошибка будет если что

Всем привет. А стоит ли в Primary Key добавлять уникальное значение, если по нему будет выборка? Например, есть date, counterID, и я хочу добавить еще hit_id - чтобы вытаскивать одну запись. Будет ли смысл добавлять его в Primary Key (date, counterID, hit_id) - если запрос будет по всем трем полям?

нет

cmake -DCMAKE_POSITION_INDEPENDENT_CODE=1

теперь линкуется, но ещё не работает :) postgres=# create extension clickhouse_fdw; ERROR: could not load library "/home/x4m/project/lib/postgresql/clickhouse_fdw.so": /home/x4m/project/lib/postgresql/clickhouse_fdw.so: undefined symbol: _ZTVN10__cxxabiv117__class_type_infoE Я так понимаю, нужно ещё прилинковать что-то из библиотек КликХауса?

теперь линкуется, но ещё не работает :) postgres=# create extension clickhouse_fdw; ERROR: could not load library "/home/x4m/project/lib/postgresql/clickhouse_fdw.so": /home/x4m/project/lib/postgresql/clickhouse_fdw.so: undefined symbol: _ZTVN10__cxxabiv117__class_type_infoE Я так понимаю, нужно ещё прилинковать что-то из библиотек КликХауса?

Скорее оно не может найти правильную версию прилинкованной библиотеки

Такое может ещё быть если у тебя постгрес собран гцц 4.х каком нибудь, а кх 6.х

Скорее оно не может найти правильную версию прилинкованной библиотеки

ничего кроме libstdc и libdbms.a не прилинковано

ааа, точно, оно же в процесс постгреса грузится

туда вяской колбасы налинковано, и да, колбаса собрана 3.8 или чем-то типа того

туда вяской колбасы налинковано, и да, колбаса собрана 3.8 или чем-то типа того

Ну вот возможно стоит попробовать постгресу подсунуть другую стандартную плюсовую библиотеку (ту с которой собирал плагин для кх)

А лучше пересобрать постгрес той же гццой, что и кх

посмотрел, он 5.4 собран

попробую, спасибо. Но, вообще, как-то странно, что для использования расширения нужно пересобирать сам постгрес

попробую, спасибо. Но, вообще, как-то странно, что для использования расширения нужно пересобирать сам постгрес

Ну у тебя расширение может ещё просто брать не ту стандартную библиотеку плюсов

По какой нибудь ещё причине

по идее оно на С, без плюсов вообще

только кликхаусные плюсы :)

по идее оно на С, без плюсов вообще

cxxabi в ошибке говорит что плюсы у расширения как минимум :)

может оно не вкомпилило stdc++ в libdbms.a и думало что найдётся оно в постгресе? а в постгресе его нет

@x4mmm посмотри через например ldd что оно тянет за либы?

может оно не вкомпилило stdc++ в libdbms.a и думало что найдётся оно в постгресе? а в постгресе его нет

Линковка не так работает

И она не очень то думать умеет

ldd clickhouse_fdw.so linux-vdso.so.1 => (0x00007ffefcd73000) libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fca531d0000) libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fca52e06000) /lib64/ld-linux-x86-64.so.2 (0x00005627b6c9b000)

А ldd на постгресовый сервер что говорит?

x4m@U04:~/project/bin$ ldd postgres linux-vdso.so.1 => (0x00007ffc197f7000) librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007fb3ce0aa000) libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fb3cdea6000) libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fb3cdb9c000) libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fb3cd7d2000) libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fb3cd5b5000) /lib64/ld-linux-x86-64.so.2 (0x000056227925e000)