Только через group by

Exception: Storage ReplicatedMergeTree doesn't support FINAL.

а в ReplicatedCollapsing ОК? круто

Ну да, для Collapsing работает FINAL

для любого

ну да, у меня раньше было ReplacingMergeTree, я для HA мигрировал в ReplicatedMergeTree, и дедупликацию по неосторожности потерял

т.е. в ReplicatedReplacingMergeTree будет все работать?

ReplicatedReplacingMergeTree о_О

Я не особо знаю про Replacing честно говоря

да, он не документирован

Тогда лучше Лёшу спрашивать

@milovidov_an

попробовал. работает FINAL в ReplicatedReplacingMergeTree

да, я уже тоже попробовал)

А он работает в смысле не падает или работает в смысле работает?

Ключи то схлопывает?

схлапываются

еще глупый вопрос - когда начал команду вводить, и еще не запустил, как ее отменить и начать ввод новой? т.е. получить пустую строку

никак, похоже. Ctrl+D игнорируется, если текущая строка не пуста, Ctrl+C выходит из CLI

Ctrl-A Ctrl-K ?

кстати да, как вариант, если всего одна строка

если много - проще ctrl+c up enter :))

я обычно ставлю ; и жму enter

ругается на ошибку и даёт писать заново =)

ну или если не -m то можно и без ;

с другой стороны, history засоряется :(

Кстати, всем рекомендую clickhouse-client -m

да, multiline прекрасен

у меня alias прописан cm = clickhouse-client -m

у меня еще -f PrettyCompactMonoBlock (который мне, конечно, лень добавить в конфиг)

А то prettycompact как-то стремно делит результаты на отдельные таблицы :)

писали почему моноблок может работать плохо, потому что ему надо дожидаться всех данных

дада ну, это меня не смущает, лишь бы КРАСИВО :)

Если делается group by, то это не важно

но было бы хорошо сделать обработку Ctrl^C

Когда запрос выполняется, оно работает нормально.

В смысле - отменяет запрос

А когда запрос не дописан, действительно можно просто enter нажать же

нужно отменять когда еще не выполняется, как в консоли

Наверное, да.

Сделаешь pull request? =)

у меня с C++ не очень

Можешь поставить issue в гитхабе, кто-нибудь сделает, я думаю.

Задача для новичка самое то.

это сделаю

Отлично, спасибо!

так вот, если у меня таблица events = ReplicatedMergeTree(.../events), и мне надо перелить ее в другую Replicated таблицу, т.е. я хочу сделать events = Replicated....MergeTree(../events), то как это сделать без даунтайма? т.е. проблема в том что я не смогу потом у таблицы изменить пути зукипера

Не отвечу, лучше письмом на рассылку или в гугл групс

Допустим у нас есть таблица со столбцами: key version value key + version = уникальный ключ key = индексный столбец version = версия данных value = сами данные Как делать запрос с WHERE ... GROUP BY key, но чтобы в результатах учавствовали только строки с максимальными значениями поля version в пределах ключа key с учетом WHERE? Например, если взять вот такие данные для примера: 1 1 10 1 2 20 1 3 30 #строка с максимальной версией для key=1 2 1 100 2 2 200 #строка с максимальной версией для key=2 то такой запрос должен выдать: 1 30 2 200

Это попытка реализовать апдейт данных на "неограниченном" жёстком диске? :)

Сase использования: допустим, мы забираем статистику по API у какого-то сервиса. Ключи остаются теми же, а цифры всегда растут каждый час и при очередной вставке мы увеличиваем version. А при выборке гарантией самых свежих данных из API будет то, что мы всегда выбираем строки с максимальным version в пределах ключа.

Это попытка реализовать апдейт данных на "неограниченном" жёстком диске? :)

:) Что-то типа этого. Кейс использования я привел выше. В реляционных СУБД с этим замечательно справляется INSERT ON DUPLICATE KEY UPDATE

Допустим у нас есть таблица со столбцами: key version value key + version = уникальный ключ key = индексный столбец version = версия данных value = сами данные Как делать запрос с WHERE ... GROUP BY key, но чтобы в результатах учавствовали только строки с максимальными значениями поля version в пределах ключа key с учетом WHERE? Например, если взять вот такие данные для примера: 1 1 10 1 2 20 1 3 30 #строка с максимальной версией для key=1 2 1 100 2 2 200 #строка с максимальной версией для key=2 то такой запрос должен выдать: 1 30 2 200

Group by не используют при таких раскладах, т.к. производительность будет в Ж... Делают оконными функциями или подзапросами в WHERE

replacingmergetree смотрел? или materialized view на основе replacingmergetree?

Group by не используют при таких раскладах, т.к. производительность будет в Ж... Делают оконными функциями или подзапросами в WHERE

Я GROP BY привел, т.к. эти SELECTы подразумевают SUM,AVG.

Допустим у нас есть таблица со столбцами: key version value key + version = уникальный ключ key = индексный столбец version = версия данных value = сами данные Как делать запрос с WHERE ... GROUP BY key, но чтобы в результатах учавствовали только строки с максимальными значениями поля version в пределах ключа key с учетом WHERE? Например, если взять вот такие данные для примера: 1 1 10 1 2 20 1 3 30 #строка с максимальной версией для key=1 2 1 100 2 2 200 #строка с максимальной версией для key=2 то такой запрос должен выдать: 1 30 2 200

я бы просто уникальный ключ даунгрейднул до просто key и обновлял по мере обновления самих данных

replacingmergetree смотрел? или materialized view на основе replacingmergetree?

Читал, но поверхностно - еще почитаю.

я бы просто уникальный ключ даунгрейднул до просто key и обновлял по мере обновления самих данных

Да, согласен - если мы выбираем максимальную версию, то version в уникальном ключе нам вообще не нужен.

Я GROP BY привел, т.к. эти SELECTы подразумевают SUM,AVG.

Оконные функции

Допустим у нас есть таблица со столбцами: key version value key + version = уникальный ключ key = индексный столбец version = версия данных value = сами данные Как делать запрос с WHERE ... GROUP BY key, но чтобы в результатах учавствовали только строки с максимальными значениями поля version в пределах ключа key с учетом WHERE? Например, если взять вот такие данные для примера: 1 1 10 1 2 20 1 3 30 #строка с максимальной версией для key=1 2 1 100 2 2 200 #строка с максимальной версией для key=2 то такой запрос должен выдать: 1 30 2 200

select key,argMax(value, version) from (select 1 as key, 1 as version, 10 as value union all select 1 ,2,20 union all select 1, 3, 30 union all select 2,1,100 union all select 2,1,200) group by key

Читал, но поверхностно - еще почитаю.

документации к replacing нет. вот тут пара строк в комментах https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/StorageFactory.cpp#L524

Ого

в последней строке опечатка, должно быть 2,2,200, тогда отдается 2 200.

Всем огромное спасибо, поизучаю!

по ReplacingMergeTree просто посмотри тесты в репозитории

по ReplacingMergeTree просто посмотри тесты в репозитории

Угу, понял.

джва года ждал (с)

еще бы адаптировать CH под Anchor model и цены ему не будет...

что за модель

Да-да, мы когда на кликхаус пересели, я долго не мог поверить, что это не закешированные данные, а посчитанные на лету.

что за модель

http://www.anchormodeling.com/

http://www.anchormodeling.com/

Я бы тоже в булушную на Самосвале ездил бы , а че , колеса есть ) Руль то же круглый и мтотор мощный.. - Я правильно понимаю что Anchor создавался для ERP шек ?

Я бы тоже в булушную на Самосвале ездил бы , а че , колеса есть ) Руль то же круглый и мтотор мощный.. - Я правильно понимаю что Anchor создавался для ERP шек ?

Сравнение скорее пойти пешком на другой конец мира, вместо того, чтобы полететь... И Anchor не совсем для ERP, на его основе отлично строится гибкий DWH

Я бы тоже в булушную на Самосвале ездил бы , а че , колеса есть ) Руль то же круглый и мтотор мощный.. - Я правильно понимаю что Anchor создавался для ERP шек ?

Про сравнение разных подходов к моделированию, в приложении к Вертике, https://habrahabr.ru/post/227111/ Про анкор там тоже есть.

Про сравнение разных подходов к моделированию, в приложении к Вертике, https://habrahabr.ru/post/227111/ Про анкор там тоже есть.

Да да, Николай Голов очень много про это рассказывает на примере внедрения Vertica в Avito

Вот еще до кучи: http://synthesis.ipi.ac.ru/sigmod/seminar/s20151126

еще бы адаптировать CH под Anchor model и цены ему не будет...

Анкор же можно представить снежинкой с огромным количеством "лучиков"?

Или даже звездой?

Набором звезд.

не совсем

у Anchor три сущности, а не две

там 6NF, идет избыточность таблиц, но это дает полную гибкость в плавном подключение новых сущностей, без затрагивания существующих

сделать это на CH можно, но проблема состоит потом собрать это JOIN'ами

там 6NF, идет избыточность таблиц, но это дает полную гибкость в плавном подключение новых сущностей, без затрагивания существующих

Я поэтому и провел аналогию с набором звезд. Таблица фактов, вокруг 100500 таблиц с отдельными атрибутами. Какая третья сущность нужна?

Таблицы атрибутов = словари в КХ

Я поэтому и провел аналогию с набором звезд. Таблица фактов, вокруг 100500 таблиц с отдельными атрибутами. Какая третья сущность нужна?

Ознакомьтесь внимательнее, хотя бы с презентацией

Ознакомьтесь внимательнее, хотя бы с презентацией

Чтение одних и теже книг редко приводит к одним и тем же выводам ))

Ознакомьтесь внимательнее, хотя бы с презентацией

Я знакомился. Только давно. На пальцах поясните, плиз, почему сущности анкор-модели не получится смоделировать через небольшое кол-во таблиц фактов и словарей.

я не сказал, что не получится