Можно вставлять с вызовом функции UUIDStringToNum, но вроде, бы только в формате Values.

echo "('2016-12-16', UUIDStringToNum('1a06aed6-fe8b-410d-a0ca-99baae516a73'))" | curl "http://127.0.0.1:8123/?query=INSERT+INTO+test_uuid_fill+(date,+uuid)+FORMAT+Values" --data-binary @- типа того

Можно вставлять с вызовом функции UUIDStringToNum, но вроде, бы только в формате Values.

Большое спасибо! Наверное строка в документации не совсем актуальна уже: "Ни один из форматов данных не позволяет использовать в качестве значений выражения. То есть, вы не можете написать INSERT INTO t VALUES (now(), 1 + 1, DEFAULT)."

Хм, не знаю, лучше пусть кто-нибудь из Я подтвердит) Я где-то видел, что просили что-то подобное, но нашел только такие тикеты: https://github.com/yandex/ClickHouse/issues/67 https://github.com/yandex/ClickHouse/issues/75 а они вроде немного не про то

Кстати, вот было бы клёво иметь возможность написать что-то вроде такого: CREATE TABLE ... ( uuid FixedString(16) DEFAULT UUIDStringToNum(uuid) ) Чтобы это выражение отрабатывало только один раз, при INSERT'е, и не ругалось на cyclic aliases. Но это неочевидно было бы, наверное, и/или труднореализуемо нормально.

Выглядит так что действительно никак, но можно попробовать придумать

Да интересная задачка, что правильнее в нашем контексте 2*2=5 или 2*2=4.7 ) На наших данных ближе всего к final такое : round(medianIf(value,sign>0)) AS val_sign_median Интересно что если делается GROUP BY toStartOfFiveMinute(event_time), то без FINAL, т/е данные группируются "расхлопнутыми", среднее лучше/ближе через avgIf(value,sign>0) чем sum(value * sign)/ sum(sign)

Или мы где-то "закривили" руки себе ))

Большое спасибо! Наверное строка в документации не совсем актуальна уже: "Ни один из форматов данных не позволяет использовать в качестве значений выражения. То есть, вы не можете написать INSERT INTO t VALUES (now(), 1 + 1, DEFAULT)."

Это почти актуально. Поддержка вычисляемых выражения была добавлена в VALUES, но при их использовании, всё становится очень неэффективно.

Кстати, вот было бы клёво иметь возможность написать что-то вроде такого: CREATE TABLE ... ( uuid FixedString(16) DEFAULT UUIDStringToNum(uuid) ) Чтобы это выражение отрабатывало только один раз, при INSERT'е, и не ругалось на cyclic aliases. Но это неочевидно было бы, наверное, и/или труднореализуемо нормально.

Была идея сделать INSERT SELECT expr ... FROM input() - то есть, произвольные вычисления от вставляемых в INSERT-е данных.

Товарищ пердлагает 50К рублей за ODBC драйвер для КХ http://www.sql.ru/forum/1243052/perepisat-drayver-odbc-na-windows-50-000r

Если это тот, о ком я думаю, то драйвером дело не ограничится )

гениально!

Это тот кто спрашивал на митапе "хочу продавать clickhouse за деньги"? =)

только начал не с 5-10 млн, а поскромнее

А, наоборот, он покупает

Виктор, а планируется опубликовать рейтинг фич реквестов?

Вспомнил, вы говорили про открытие вашего внутреннего багтрекера по КХ наружу, я правильно помню?

Да, планируется

И то и то

Пока не успеваем

Да, планируется

Круто. Будет виден интерес сообщества к разным фичам и на всякие побочные штуки (которые не в "ядре") можно будет кикстартер устраивать :) Типа как "50К за ODBC" :)

reset?

http://unix.stackexchange.com/questions/79684/fix-terminal-after-displaying-a-binary-file

stty sane

или reset

Спасио

КХ умеет аггрегировать вычисляемые значения по дате? типа GROUP BY toYear(event_date)

Я так понимаю бинарные данные лучше в стринг не засовывать?

КХ умеет аггрегировать вычисляемые значения по дате? типа GROUP BY toYear(event_date)

да, без проблем

Я так понимаю бинарные данные лучше в стринг не засовывать?

вроде без разницы, можно в String, можно в FixedString

Пытаюсь сделать так select toYear(event_date) as y, toMonth(event_date) as m, count() as total from tbl where user_id=29 group by toMonth(event_date) получаю Code: 215, e.displayText() = DB::Exception: Column event_date is not under aggregate function and not in GROUP BY., e.what() = DB::Exception

y в GROUP BY указать забыли )

GROUP BY y, m - можно так

точно. спасибо)

вроде без разницы, можно в String, можно в FixedString

Есть ли какая то встроенная функция для экранирования бинарных данных?

Есть ли какая то встроенная функция для экранирования бинарных данных?

данные экранируются на уровне форматов, насколько я помню есть еще hex и ipv6/uuid-функции (которые превращают бинарно хранящиеся айпишники и уиды в человекочитабельные)

вроде бы TabSeparated и CSV по-максимуму все экранируют, но я точно не помню

JSON/JSONCompact еще

а, нет, TabSeparated только при парсинге экранирует \x00 всякие

Его и использую в веб морде приложения, но хочется посмотреть из базы данные в консоли

JSON/JSONCompact еще

ну, можно JSONEachRow, он компактнее, но читабельность страдает, конечно

но больше ничего вроде бы нету, может скрытые функции какие-то или в функциях для работы с json че-нить есть

Спасибо, буду думать

hex() совсем не подходит?(

Сейчас попробую

Отлично, с ним хотя бы не крешиться

можно еще в lower() обернуть, если lowercase больше нравится, и с помощью substring обрезать, чтоб в табличку помещался (это если не нужны все данные, конечно)

простите за невнимательность, но вот свежеобновил кликхаус, а UUIDNumToString вроде как ещё нет. Или не там смотрел?

SELECT UUIDNumToString(server_id),count() FROM retroview_production.sessions group by server_id FORMAT Pretty

Code: 46, e.displayText() = DB::Exception: Unknown function UUIDNumToString, e.what() = DB::Exception

сервер тоже обновили же?

одного клиента недостаточно, если что)

у меня сейчас в 1.1.54121 есть, и в 1.1.54112 (или 54113) было вроде

SELECT version() что показывает?

1.1.54112

буду обновлять

а, но это последняя версия в репозитории. Видимо вы из исходников ставили?

вообще, они могли не дойти еще до стабильной версии

документация из master'а (нестабильной ветки) отображается сразу на clickhouse.yandex)

ага

завел тикет на всякий случай, https://github.com/yandex/ClickHouse/issues/270

hex() совсем не подходит?(

Наверное лучше на клиенте делать hex() и писать в базу чистую строку

чистую - в смысле?

не бинарную типа?

ну хз, смотрите сами, что важнее, читабельность или экономия ресурсов я для сравнения загрузил пару месяцев данных в разные таблицы - с fixedstring(16) и string (в которой были 36-символьные уиды) uuidы использовались в основном в качестве ключа для джойнов между разными таблицами fixedstring(16) оказался в среднем в два раза шустрее, чем обычная строка. и отображать ее (в моем случае), в принципе, редко надо, только если при разборе полетов

сейчас это так:

replaceRegexpOne(lower(hex(server_id)),'(.{8})(.{4})(.{4})(.{4})(.{12})','\\\\1-\\\\2-\\\\3-\\\\4-\\\\5') as server_id

и toFixedString(unhex(replaceAll(" ++ ServerId ++ ",'-','')),16) AS server_id

гыгыгы, да

особенно когда столбцов с уидами несколько, выглядит эпично

больше добивает обожаемое мультиэкранирование

хм, а мне двух бекслешей достаточно было

ну да, зависит от языка/формата, неважно

ага

Всем привет. Можно ли с++ драйвер для Cassandra положить в contrib? В рамках фичи словари в Cassandra.

А где описание фичи?

Интересно

описание в названии - возможность подгружаться словари из кластера Cassandra

у меня сейчас в 1.1.54121 есть, и в 1.1.54112 (или 54113) было вроде

В последней stable ещё нет.

завел тикет на всякий случай, https://github.com/yandex/ClickHouse/issues/270

Можно легко, но чуть-чуть сомневаюсь. Всё-таки часто правим в документации какие-нибудь ошибки и удобно, что они сразу выкладываются. А отдельно в stable ничего нельзя коммитить (обновляется скриптом при релизе, с помощью git reset).

Всем привет. Можно ли с++ драйвер для Cassandra положить в contrib? В рамках фичи словари в Cassandra.

Привет. Можно. Обязательно добавить в инструкцию по сборке. Если получается нетривиально - надо сделать флаг, чтобы отключалось.

спасибо

А как правильно подключать внешний источник с помощью ODBC? Я указал <source> <odbc> <connection_string>DSN=ClickhouseDict</connection_string> <table>os</table> </odbc> </source> при вызове dictGet* дёргается ODBCDictionarySource, но ничего не происходит: [ 4 ] <Debug> executeQuery: (from [::ffff:127.0.0.1]:59280) select dictGetString('os', 'name', 1) [ 4 ] <Trace> InterpreterSelectQuery: FetchColumns -> Complete [ 4 ] <Trace> ODBCDictionarySource: SELECT id, name FROM os; но iusql -v ClickhouseDict подключается успешно. Пробовал connection_string вплоть до <connection_string>DSN=ClickhouseDict;UID=igor;PWD=;HOST=127.0.0.1;PORT=5432;DATABASE=clickhouse_dict</connection_string> DSN определен в ~/.odbc.ini, кликхаус запускается под тем же юзером.

о, добавил DRIVER=/usr/local/lib/psqlodbcw.so туда же, теперь хотя бы ошибку "Connection:Not applicable" пишет %)

Попробуйте lazy load у словарей отключить, тогда он при старте будет пытаться загрузить словари и в лог ошибки сыпать. Подключал ODBC справочник. Конфиги похожи на ваши.

В DSN указывал только драйвер. Остальные параметры в connection_string. Но это из-за особенностей драйвера, скорее всего.

Ну lazyload сыпет теми же ошибками, что и при попытке вызова функций dictGet. но похоже, это уже не проблема КХ, а че-то в связке unixodbc <-> psqlodbc <-> postgresql косячит. надо в убунте будет проверить. Спасибо в любом случае )

Как я делал с постгресным драйвером: sudo apt-get install -y unixodbc sudo apt-get install -y odbcinst sudo apt-get install -y odbc-postgresql В /etc/odbc.ini: [DEFAULT] Driver = myconnection [myconnection] Description = PostgreSQL connection to norma Driver = PostgreSQL Unicode Database = norma Servername = 10.... (твой хост) UserName = uname Password = pwd Port = 5432 Protocol = 9.3 ReadOnly = No RowVersioning = No ShowSystemTables = No ConnSettings = <dictionary> <name>table_name</name> <source> <odbc> <table>postgresql_table</table> <connection_string>DSN=myconnection</connection_string> <!— может потребоваться UID=norma;PWD=norma;, но по идее не должно —-> </odbc> </source> <lifetime> <min>300</min> <max>360</max> </lifetime> <layout> <flat/> </layout> <structure> <id> <name>id</name> </id> <attribute> <name>some_column</name> <type>Int32</type> <null_value>-1</null_value> </attribute> ... </structure> </dictionary>

Так все взлетало без проблем

Коллеги, может быть уже обсуждалось, а можно ли через jdbcTemplate.update некоторый параметр поставить null, чтобы это заинсертить в КХ

или функция нужна какая-то обязательная, а то пишет Code: 48, e.displayText() = DB::Exception: NULL literals are not implemented yet: (at row 1), e.what() = DB::Exception

хотя сделать, что если float32 равно 0, то ничего не добавляется, чтобы место сэкономить

в кликхаусе же нет нуллов?