типа runningSum? не помню есть ли такое. Народ давно ждет

пока не вполне очевидно, как такого добиться

Можно попробовать домножить колонку на -1 и сделать runningDifference(x)

есть недокументированный runningAccumulate

примеры использования можно найти поиском по чату

это же все равно фулскан потребует, если надо считать сумму от начала времен?

ага

Спасибо, попробую

Все же хочется верить что это просто ошибка в документации.

Да, документация в этом месте устарела. default не нужен

А от куда вы о не докумментированных функциях узнаёте?

(тоже хочу)

А от куда вы о не докумментированных функциях узнаёте?

Github - там можно не только следить за всеми "новинками", но и самому парочку новых функций придумать и закоммитить - нужно только C++ уметь :)

Github - там можно не только следить за всеми "новинками", но и самому парочку новых функций придумать и закоммитить - нужно только C++ уметь :)

а, т.е просто коммиты смотрите, а я думал может есть еще какой подпольный чат (:

Коллеги, а Пентаху уже кто-нибудь подружил с КХ? Очень уж хочется выкинуть вертику, но последние тесты месяца 2-3 назад успехом не увенчались..(

тут недавно проскакивал драйвер odbc - не подойдет?

он собирается и видится пентахой. а вот на стадии запросов они не дружились пару месяцев назад. может быть что-то поменялось, как раз интересуюсь

подозреваю, нужно ждать до реализации "SELECT db.table.column", так как падало на этом.

он собирается и видится пентахой. а вот на стадии запросов они не дружились пару месяцев назад. может быть что-то поменялось, как раз интересуюсь

https://github.com/yandex/clickhouse-odbc/releases последний билд 8 дней назад

Да, документация в этом месте устарела. default не нужен

Николай, спасибо. Кто-то у вас поправит документацию, или пулл-реквекст вам выслать?

https://github.com/yandex/clickhouse-odbc/releases последний билд 8 дней назад

Так они и по jdbc дружились нормально. Они на уровне реализации sql языка не дружились, кажется.

Николай, спасибо. Кто-то у вас поправит документацию, или пулл-реквекст вам выслать?

пулл-реквест, конечно, было-бы идеально :) дукоментация сейчас несколько отстает от действительности

а как можно реализовать группировку по произвольным интервалам времени? например по 5 минут?

возможно, group by toUInt32(date_time) // (5 * 60) ?

Хотел бы я посмотреть на фаерволл который будет проверять какой логин пользователь указал при подключении по бинарному протоколу. :) Был ли это действительно его логин или defauly :)

level7 делает такое легко. Но дорогие операции

Ребят, подскажите есть у меня 2 таблицы. Они каждый день пополняются данными. Я их хочу соединить, через ключевые столбцы. И при запросе получать актуальные данные на каждый день. Какой движок таблицы использовать?

По умолчанию - MergeTree. Остальные для более узкоспециализированных задач.

По умолчанию - MergeTree. Остальные для более узкоспециализированных задач.

А нет ли где то best practice по ReplacingMergeTree в частности использования OPTIMIZE VS Final

Не использовать его)

Позиция офф. доки

Это отлично, но по другому не выйдет или придётся очень сильно усложнять логику...

Не знаю ничего кроме документации. Если кратко, то ReplacingMergeTree стоит использовать, если есть проблемы со слишком большим размером таблицы. А OPTIMIZE или FINAL лучше не использовать. :)

Но тогда что бы мне выбрать только последнее значение (из дублирующихся) мне придётся делать подзапрос и join так?

Значений много ?

2-4М ?

Использую в проде историческую таблицу МеrgeTree- по 5М каждую минуту складирую записей -> достаю так FROM model.last_state WHERE key_date=( SELECT max(key_date) FROM model.last_state_marker_model WHERE event_date = today() ) AND event_time=( SELECT max(event_time) FROM model.last_state_marker_model WHERE event_date = today() ) - достать последнии записи Может не совсем красивый путь - но путь решения хранения обновляемой истории

Коллеги а в каких случаех при репликации нужно юзать zookeeper ?

или можно вообще без него

Если вы используете движок Distributed и все инсерты идут через него - тогда он может сразу во все реплики отправлять данные без зоокипера, но никаких гарантий при этом что реплики 100% синхронизированы не будет. С зоокипером и internal_replication - всё намного надежнее.

как минимум изза гарантии доставки надо юзать

?\

Из документации:

У каждого шарда в конфигурационном файле может быть указан параметр internal_replication. Если он выставлен в true, то для записи будет выбираться первая живая реплика и данные будут писаться на неё. Этот вариант следует использовать, если Distributed таблица “смотрит” на реплицируемые таблицы. То есть, если таблица, в которую будут записаны данные, будет сама заниматься их репликацией. Если он выставлен в false (по умолчанию), то данные будут записываться на все реплики. По сути, это означает, что Distributed таблица занимается репликацией данных самостоятельно. Это хуже, чем использование реплицируемых таблиц, так как не контролируется консистентность реплик, и они со временем будут содержать немного разные данные.

см. https://clickhouse.yandex/docs/ru/table_engines/distributed.html

Приветствую всех Не подскажите ли вот какую вещь. Есть у меня запрос из базы mysql через внешний словарь: select dictGetString('api_keys','descr', number) from system.numbers where number in (1365,1,933,1437,669,1114) limit 5; который работает как нужно и есть еще один запрос: select api_key_id from store where api_key_id = 23 Который тоже хорошо работает. Но вместе они никак не хотят работать. Пробовал вот так: select dictGetString('api_keys','descr', number) from system.numbers where number in (select api_key_id from store where api_key_id = 23) limit 5; ошибку выдает

Разные integer типы?

Там вроде бы сообщение об ошибке должно быть информативное.

Michal минутку

select dictGetString('api_keys','descr', toUInt64(number))

так попробуйте

Michal вот ошибка Code: 53. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Types of column 1 in section IN don't match: UInt32 on the right, UInt64 on the left..

попробую Ваш вариант

Угу. Разные целочисленные типы. В кликхаус нужны явные приведения типов в таких случаях.

Michal сделал, но все равно ту же ошибку дает DB::Exception: Types of column 1 in section IN don't match: UInt32 on the right, UInt64 on the left..

api_key_id какой тип?

Ну в том запросе выше приведение типов нужно в другом месте. number in (select toUInt64(api_key_id) from store where api_key_id = 23)

papa show create table store говорит api_key_id UInt32 DEFAULT CAST(0 AS UInt32)

Michal и @orantius спасибо!!! получилось я добавил еще и в селект select toUInt64(api_key_id)

Гайз, есть идеи, как сделать group by с попарной функцией? Например group by levenshtein_distance(first_name1, first_name2)<2? Джойн таблицы с собой не влезает в память

сделайте джойн половины таблицы

думаю что левенштейн тут не виноват, можно поменять условие на group by first_name1 = first_name2

Расстояние не меньше 1, конечно, опечатка Меньше двух, например

сделайте джойн половины таблицы

Как вариант можно делить на части, да. Но неизвестно, сколько потребуется таких частей в итоге, а каждый такой джойн довольно долго считается Интуитивно кажется, что джойн это слегка избыточно для задачи, но не уверен, можно ли сделать элегантнее

К Tableau, к сожалению, не понятно как подключаться. Единственный вариант - это или допиливать ODBC драйвер, или писать WebConnector. WebConnector, насколько мне известно, не умеет в live mode, только в extract.

К Tableau, к сожалению, не понятно как подключаться. Единственный вариант - это или допиливать ODBC драйвер, или писать WebConnector. WebConnector, насколько мне известно, не умеет в live mode, только в extract.

Пропустил предыдущие сообщения, если они были. Мы как раз анонсировали работу ClickHouse с Tableau. Работает с Tableau под Windows.

Ого!

Пошёл искать сообщения выше

Спасибо

Скопировал кусок инструкции: https://gist.github.com/alexey-milovidov/b42380a845d96aaa6e5426c142602277

Подскажите, как переименовать столбцы, в справке не нашел

оно?

https://clickhouse.yandex/docs/ru/query_language/queries.html#rename

https://clickhouse.yandex/docs/ru/query_language/queries.html#rename

это про таблицы, не про столбцы

Подскажите пожалуйста, У меня есть: таблица1 движок MergeTree, 9 милиардов строк, 160GB - неагрегированные данные таблица2 движок SummingMergeTree, 6 милиардов строк, 64GB - теже данные, но по агрегированные по первичному ключу сериями по 5 минут Но почему-то SELECT'ы из таблицы1 на 10-20% быстрее, чем из таблицы2. Кто-нибудь работает с движком SummingMergeTree, сталкивался с подобным? И еще я не могу найти объяснение, почему после агрегации по 5 мин количество строк сократилось на 30%, а занимаемое место а ж на 60%. Из доп данных могу сказать, что в таблице 32 колонки, из которых 29 - первичный ключ.

Михаил про место, мне кажется, сжатие стало просто эффективнее

Ребят, подскажите пожалуйста в чем прикол такой реакции на вьюху: :) CREATE TABLE test (s String, d Date) ENGINE = MergeTree(d, s, 8192) Ok. :) insert into test select 's', toDate('2017-01-01') Ok. :) create view test_view as select s_s AS s_s_s from (select s AS s_s from default.test) Ok. :) insert into test select 's', toDate('2017-01-01') Received exception from server: Code: 10. DB::Exception: Received from localhost:9000, 10.31.143.240. DB::Exception: Not found column s_s in block. There are only columns: s, d. Версия 1:1:54245

думаю, что как и в mysql, view не поддежживают subqueries

ПАрни, а можно использовать такую схему: Есть шардирование. Возьмем 1 шард. Можно ли сделать сервер на запись скажем на амазоне, и сделать репликацию на сервер скажем в хетцнер. в разных датацентрах то есть

то есть на запись это типа мастер - амазон, слейв на хетцнер

для чтения

Ребят, туплю, не могу найти: как зафикисровтаь количество знаков после запятой для Float64 ?

ПАрни, а можно использовать такую схему: Есть шардирование. Возьмем 1 шард. Можно ли сделать сервер на запись скажем на амазоне, и сделать репликацию на сервер скажем в хетцнер. в разных датацентрах то есть

Да, конечно. Ребята из яндекса рассказывали про свою схему, там 3 разных ДЦ.

Пропустил предыдущие сообщения, если они были. Мы как раз анонсировали работу ClickHouse с Tableau. Работает с Tableau под Windows.

Алексей, а еще BI-системы рассматриваете для взаимодействия? Если да, то какие в ближайших планах?

думаю, что как и в mysql, view не поддежживают subqueries

Да, похоже на то, было бы круто конечно, чтобы при создании view появлялась соответствующая ошибка. А не падала загрузка в исходную таблицу.

Да, похоже на то, было бы круто конечно, чтобы при создании view появлялась соответствующая ошибка. А не падала загрузка в исходную таблицу.

+1, если это действительно так

Привет всем! Подскажите как можно результат вывода FORMAT JSON вернуть в select. примерно так select s from (select .... FORMAT JSON) as s;

FYI, добавили поддержку tabix в chproxy ( https://github.com/Vertamedia/chproxy ) . Теперь не нужно устанавливать readonly=2 для юзера, чтобы можно было работать с ним через tabix. Нового бинарника пока нет, поэтому используйте go get -u github.com/Vertamedia/chproxy .

У меня табикс так тормозит, когда в хроме работаю ) select и жду )))

Привет! Подскажите, пожалуйста, где можно посмотреть статистику, которая используется для load_balancing? Под нагрузкой запросы в distributed отправляются на реплики, не можем понять почему. Используем перекрестную репликацию и для нас это не очень выгодно. load_balancing стоит в in_order

Добрый день. Можно каким-либо образом развернуть массив массивов как несколько (или аналог union) arrayJoin, то есть из [[1,[1,2],[2,[3,4]] или аналогичной структуры хочется получить 1 1 1 2 2 3 2 4 Не используя Dictionary :)

Как-то так можно (только структуру нужно немного изменить, так как в массиве должны быть элементы одного типа) SELECT first_elem, arrayJoin(elems) AS sec_elem FROM ( SELECT b[1][1] AS first_elem, b[2] AS elems FROM ( SELECT arrayJoin(a) AS b FROM ( SELECT [[[1], [1, 2]], [[2], [3, 4]]] AS a ) ) ) ┌─first_elem─┬─sec_elem─┐ │ 1 │ 1 │ │ 1 │ 2 │ │ 2 │ 3 │ │ 2 │ 4 │ └────────────┴──────────┘

О спасибо. Короче это будет так: SELECT b[1][1] AS first_elem, arrayJoin(b[2]) AS elems FROM ( SELECT arrayJoin([[[1], [1, 2]], [[2], [3, 4]]]) AS b )

Недавно набросали вот такую штуку, чтобы лить данные в clickhouse через akka-stream: https://github.com/findify/clickhouse-akka-stream

О спасибо. Короче это будет так: SELECT b[1][1] AS first_elem, arrayJoin(b[2]) AS elems FROM ( SELECT arrayJoin([[[1], [1, 2]], [[2], [3, 4]]]) AS b )

Теоретический вопрос. Почему первый элемент в каждом из массивов должен быть массивом и не может быть интом?

потому что тип у всех элементов массива одинаковый.

FYI, добавили поддержку tabix в chproxy ( https://github.com/Vertamedia/chproxy ) . Теперь не нужно устанавливать readonly=2 для юзера, чтобы можно было работать с ним через tabix. Нового бинарника пока нет, поэтому используйте go get -u github.com/Vertamedia/chproxy .

Спасибо попробую, добавлю в доку к tabix

У меня табикс так тормозит, когда в хроме работаю ) select и жду )))

Я собрал, пока локально beta версию где удалось, как мне кажется - выжать максимум из используемого JS стека. Фризы и мемлики ушли)

подскажите пожалуйста, делаю ANY LEFT JOIN, в первой подзапросе нет данных - во втором есть, результат JOIN - пусто. Как сделать так чтобы был результат из любого подзапроса?

http://take.ms/S0C8h