libc6 не заменишь же

собери пакет под 16.04 и будет тебе счастье

можешь поправить зависимость и рассказать нам что сломалось потом

оказывается, в этом гайде https://clickhouse.yandex/#download надо было вместо deb http://repo.yandex.ru/clickhouse/trusty прописать deb http://repo.yandex.ru/clickhouse/xenial

и все станет хорошо

точнее встанет хорошо

а можно в CH как-то разбить значения поля по диапазонам (размеры файлов) и затем посчитать для них статистику(это понятно что можно)? или разбивать надо руками?

а default expressions поддерживаются при импорте из json?

CREATE TABLE default.test ( id String, ts UInt64, date Date DEFAULT toDate(CAST((ts / 1000) AS UInt64))) ENGINE = MergeTree(date, (date, id), 8192);

insert into test (id, ts) values ('1', 1472604916259)

SELECT * FROM test ┌─id─┬────────────ts─┬───────date─┐ │ 1 │ 1472604916259 │ 2016-08-31 │ └────┴───────────────┴────────────┘

как-то странно что этот чат у меня обновляется только в мобильном telegram-клиенте

а default expressions поддерживаются при импорте из json?

неа > JSONEachRow > При этом, в качестве значений по умолчанию используются нули, пустые строки и не поддерживаются сложные значения по умолчанию, которые могут быть заданы в таблице.

а можно в CH как-то разбить значения поля по диапазонам (размеры файлов) и затем посчитать для них статистику(это понятно что можно)? или разбивать надо руками?

эквивалент width_bucket изображается легко, произвольную сетку через multiIf тоже можно сделать, хоть и длинновато получится. встроенных функций по-моему нет, для обоих случаев.

я недавно нашел встроенную, которая человекопонятные размеры в байтах делает ))

че-нибудь типа такого SELECT extract(formatReadableSize(size), '[a-zA-Z]+') AS size_, count() AS c, sum(size) AS s FROM files GROUP BY size_ ORDER BY size_;

или через CASE/multiIf, да SELECT CASE WHEN size BETWEEN 0 AND 1024 THEN '0-1 KB' WHEN size BETWEEN 1024+1 AND 1024*10 THEN '1-10 KB' WHEN size BETWEEN 1024*10+1 AND 1024*100 THEN '10-100 KB' WHEN size BETWEEN 1024*100+1 AND 1024*200 THEN '100-200 KB' ELSE 'too large' END AS size_, count(), sum(size) FROM files GROUP BY size_

Ну таки имхо как раз в стандарте отсутствует очень много моментов. Тех же CountIf/SumIf мне очень сильно не хватает

count(case when f1=1 then 1 end)

выглядит как sum(f1)

Вопрос к тем, кто использует кликхаус в докере, как вы решаете проблему с логами? По дефолту сервер в контейнере запускается без --daemon, которая переключает stdout на логфайлы из конфига, получается достать логи можно только через docker logs, и как организовать их ротацию и хранение непонятно. А если добавить --daemon в строчку запуска сервера, то контейнер не взлетает без каких-либо сообщений.

Arthur через docker log driver

Спасибо, изучу вопрос)

https://docs.docker.com/engine/admin/logging/overview/

Благодаря сообществу, guiclickhouse.smi2.ru стал поддерживать английский язык, спасибо a5i за pull request )

thx, поправил )

Привет

??

А уже есть слой совместимости кликхауса с графаной?

Насколько я понимаю - агрегация в бэкграунде есть

https://github.com/lomik/graphite-clickhouse + carbonapi

grafana?

не графит

Через слой совместимости с графитом

а на прямую графану с кх никто не связывал?

Нужно плагин писать под графану

Угу, все ясно, спасибо

Без гоулэнга не обошлось :(

а ты его внезапно разлюбил?

Угу

Не то чтобы совсем внезапно, но да

чего так?

Я на нем довольно долго писал за деньги

so, what is clickhouse bad at, in which cases it's is definitely a very bad choice?

Без гоулэнга не обошлось :(

Да там весь код простой довольно

Можно таски которые METR-* in github писать немного более развернутое описание?

so, what is clickhouse bad at, in which cases it's is definitely a very bad choice?

1. OLTP workload. 2. key-value workload: high amount of very simple queries. 3. Using as document/BLOB store for unstructured data.

Митап по ClickHouse уже послезавтра. На этот раз будем говорить про перспективы развития продукта. Записывайтесь, если вы уже контрибъютор или если вы хотите им стать. https://events.yandex.ru/events/meetings/14-dec-2016/

Видео будет с митапа?

а это ок, что ipv6/uuid функций нет в injective_function_names? вообще, что обозначает injective? значение конвертируется еще на клиенте и сервер не тратит CPU на перекодирование?

injective означает, что функция сохраняет отличия, т.е. x!=y => f(x)!=f(y). используется для оптимзации запросов, например select f(x)... group by f(x) => select fx) ... group by x

Hello, clickhouse join is a hash join or sort merge join? And why so?

или через CASE/multiIf, да SELECT CASE WHEN size BETWEEN 0 AND 1024 THEN '0-1 KB' WHEN size BETWEEN 1024+1 AND 1024*10 THEN '1-10 KB' WHEN size BETWEEN 1024*10+1 AND 1024*100 THEN '10-100 KB' WHEN size BETWEEN 1024*100+1 AND 1024*200 THEN '100-200 KB' ELSE 'too large' END AS size_, count(), sum(size) FROM files GROUP BY size_

спасибо, большое. сделал ту выборку, что хотел :)

injective означает, что функция сохраняет отличия, т.е. x!=y => f(x)!=f(y). используется для оптимзации запросов, например select f(x)... group by f(x) => select fx) ... group by x

аа, спасибо!

а можно еще глупый вопрос по поводу работы с partition'ами? понадобилось исправить данные в таблице mergetree за декабрь. я могу сделать так, без DROP или ATTACH'а? ALTER TABLE corrupted_table DETACH PARTITION 201612; INSERT INTO corrupted_table SELECT * FROM correct_table; (в correct_table данные только за декабрь, конечно)

Вроде да

а это ок, что ipv6/uuid функций нет в injective_function_names? вообще, что обозначает injective? значение конвертируется еще на клиенте и сервер не тратит CPU на перекодирование?

Наверное забыли добавить. Значит можно улучшить.

ой, как раз хотел предложить синонимы для функций и типов данных )

Для агрегатных функций, кстати, уже сделали.

а это ок, что ipv6/uuid функций нет в injective_function_names? вообще, что обозначает injective? значение конвертируется еще на клиенте и сервер не тратит CPU на перекодирование?

Ещё вспомнил, что функции преобразования UUID, а также hex/unhex (но только для строк) являются монотонными. Это используется для анализа индекса. Если x в первичном ключе и функция f монотонна на каком-то диапазоне, то индекс может работать, даже если написать условие на f(x). См. IFunction::getMonotonicityForRange и примеры в коде... Вот простейший пример, как обозначить, что функция везде монотонна: Monotonicity getMonotonicityForRange(const IDataType & type, const Field & left, const Field & right) const override { return { true }; }

Hello, clickhouse join is a hash join or sort merge join? And why so?

It is hash join. Right part of join should be less than memory. Hash join is faster but require enough memory.

It is hash join. Right part of join should be less than memory. Hash join is faster but require enough memory.

Thanks

как можно полечить ошибку: "Exception on client: Code: 209. DB::NetException: Timeout: connect timed out: "? выдает ее даже по: SHOW TABLES

аээ.. а сервер точно работает?

если telnet my_server 9000 сделать - подключится? а по 8123?

я б начал с последних сообщений в логах сервера (с log level'ом trace)

Для агрегатных функций, кстати, уже сделали.

кстати, для форматов тоже алиасы было бы удобно :-[ "TSV" вместо "TabSeparated", например

ну как минимум происходит вот так: clickhouse-client —host=my_server ClickHouse client version 1.1.54046. Connecting to my_server:9000. Connected to ClickHouse server version 1.1.54080. :)

тогда да, тогда логи. может он до реплик/шардов достучаться не может?

да у нас только 1 сервер пока)

Пробовал собрать clickhouse на OSX по инструкции. Наткнулся на то что на стадии cmake требуется libiconv.a, пофиксил это (пока только у себя). Но оно всё равно сломалось при сборке на iconv. Ковыряю дальше. Сейчас если не соберется, скину ошибку, ок?

(libiconv.a не собирается в рекомендованной brew кеге, так что пришлось её пропатчить)

я тоже ковырял несколько дней

победить не получилось

только если с USE_STATIC_LIBRARIES=0

https://github.com/yandex/ClickHouse/issues/232

TLDR: USE_STATIC_LIBRARIES=0 cmake .. make -j $THREADS и будет счастье. главное потом ничего из зависимостей в homebrew не удалять и не обновлять %))

а, и, возможно, я libiconv с --enable-static собирал при этом. уже не помню :(

если чо, стабильная версия 1.1.54074 у меня в макоси вообще без проблем скомпилилась есть скомпиленные бинарники для нескольких версий: https://github.com/excitoon/ClickHouse/releases/download/1.1.54059/clickhouse-client-1.1.54059.tar.gz https://github.com/hatarist/homebrew-clickhouse/releases/download/1.1.54074/clickhouse-1.1.54074.tar.gz но если excitoon еще (вроде бы) сотрудник яндекса, то я уже нет :)

http://pastebin.com/VgAnH9fu

ага, валится всё равно. я могу так-то и в докере запустить. спасибо за ссылки на сборки, хотя бы клиента возьму

по второй ссылке если что универсальный бинарник, если сделать симлинк с именем clickhouse-client, то будет вести себя как клиент. или если clickhouse --client запустить

так там еще и brew!

поставил себе нативного клиента, спасибо

range() как-то странно себя ведет иногда. я ему подаю аргументом toUInt32(max_value - min_value), а получаю ошибку > A call to function range would produce 413329556 array elements, which is greater than the allowed maximum of 100000000 отследить, какое именно число заставляет его так себя вести, еще не получилось это можно как-нибудь исправить? (версия сервера 1.1.54083)

при этом сделав SELECT max(max_value - min_value), получаю 16777215, оно должно в 24 бита помещаться

по-моему 100М в данном случае это максимальный разрешенный суммарный размер длин range() по всем строкам.

аааа! да, похоже на правду

из яндекса кто-то есть в эфире?

до некоторой степени.

Есть, да.

Тут есть сам Алексей :)

У яндекса же есть какая - то поддержка стартапов? https://vc.ru/n/ya-local эти говорят, что есть. Или это ложь и промоакция? вопрос оффтоповый (и я прошу прощения за это), но ваш pr отдел видимо слишком сильно загружен. хз.

кто "эти"? в твоей статье ни слова об этом