да. Например так: 1. DETACH TABLE your_mv 2. ATTACH MATERIALIZED VIEW your_mv .... AS SELECT — новый запрос

подскажите, пожалуйста, из документации следует, что на вставке работает дедупликация на 100 последних блоков по 1024*1024 строк я вижу в ЗК 100 блоков с такими именами: 201306_8678794571666799576_12325821975888246852 201206_8513629327671602293_8620505148521418253 ... 201503_9239880878605046059_12399300442886076662 я правильно понимаю исходя из названия, что в блоке лежит только один месяц?

скорее всего это id партиции

Да. При вставке вставляемый блок разделяется по ключу партиционирования, и дальше каждый такой блок вставляется независимо.

То есть если в случае дефолтного партиционирования по месяцу, в вставляемом блоке содержатся данные за разные месяцы, он разделится на несколько блоков, в каждом из которых месяц одинаковый.

спасибо

да. Например так: 1. DETACH TABLE your_mv 2. ATTACH MATERIALIZED VIEW your_mv .... AS SELECT — новый запрос

Спасибо!

Спасибо!

Только когда будете создавать делайте CREATE MATERIALIZED VIEW MV TO T, тут ключевое слово TO, т.е. на заранее созданую таблицу, чтоб при DROP не терять данные.

Привет. Подскажите плиз, не менялась ли логика RENAME в последнее время? Внезапно перестал работать rename table между базами, причем со странным сообщением об ошибке. RENAME TABLE etl.apps_temp TO maindb.apps Received exception from server: Code: 0. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Directory not empty: /var/lib/clickhouse//data/etl/apps_temp.

Только когда будете создавать делайте CREATE MATERIALIZED VIEW MV TO T, тут ключевое слово TO, т.е. на заранее созданую таблицу, чтоб при DROP не терять данные.

А зачем делать DROP? Я же привел пример с DETACH

А зачем делать DROP? Я же привел пример с DETACH

Сори, я уже не до конца слова читаю, только первые буквы)

yandex/ClickHouse was tagged: v1.1.54383-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54383-stable Release notes: v1.1.54383-stable

Коллеги, подскажите пожалуйста, а когда эта фича будет на проде? https://github.com/yandex/ClickHouse/pull/2263

Спасибо

server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 Это прописать на всех серверах , которые создают кластер зукипера?

на всех серверах кластера скорее

а какая из доступных сейчас в кх реализаций хеша наиболее устойчива к коллизиям?

Парни, привет. Помогите плиз понять. Есть table1 с движком MergeTree. Есть MatView, которая берет данные из другого места (таблица с движком Kafka) и кладет данные в эту таблицу table1. Есть другое MatView которое смотрит на table1 и оно не отрабатывает при появлении новых данных. Если я руками сделаю INSERT в table1, то все ок. Это ведь неправильное поведение?

а какая из доступных сейчас в кх реализаций хеша наиболее устойчива к коллизиям?

sipHash128 - криптографический 128 битный хэш. Но он более медленный. А если брать 64-битные хэши, то для них коллизии неизбежны после нескольких миллионов значений из-за birthday paradox: https://en.wikipedia.org/wiki/Birthday_problem#Cast_as_a_collision_problem

спасибо

sipHash128 - криптографический 128 битный хэш. Но он более медленный. А если брать 64-битные хэши, то для них коллизии неизбежны после нескольких миллионов значений из-за birthday paradox: https://en.wikipedia.org/wiki/Birthday_problem#Cast_as_a_collision_problem

а можно все-же чуть-чуть раскрыть? для особо тупых? ну и заодно определить что такое "неизбежен"

Всем привет. Обновили КХ с 1.1.54343 до 1.1.54381. Есть VIEW, в котором одно поле задается константой 'field_value' as field. При запросах с этим полем вида SELECT field FROM db.view вылезает ошибка: Cannot convert column field because it is non constant in source stream but must be constant in result. На версии 1.1.54343 такого не было. Константные поля можно каким-то другим способом получить? Или же это баг?

а можно все-же чуть-чуть раскрыть? для особо тупых? ну и заодно определить что такое "неизбежен"

если у вас есть выборка из M независимых случайных величин равномерно распределенных в диапазоне 0..N, что в какой-то степени похоже на m хешей, то вероятность того, что uniq!=count см формулу на вики.

и?...

т.е. я-то посмотрел, а ты?

sipHash128 - криптографический 128 битный хэш. Но он более медленный. А если брать 64-битные хэши, то для них коллизии неизбежны после нескольких миллионов значений из-за birthday paradox: https://en.wikipedia.org/wiki/Birthday_problem#Cast_as_a_collision_problem

Мне кажется нынче меньше 256 смысла брать нет

только хардкор, только 2048!

Мне кажется нынче меньше 256 смысла брать нет

Зависит от threat model :) Впрочем, я не специалист в компьютерной безопасности. SHA256 тоже есть, но он совсем медленный.

и?...

Если брать N-битную хэш-функцию, то при количестве хэшируемых объектов примерно 2^(N/2) вероятность коллизии существенно больше 0. Так что можно просто считать, что они есть.

а что такое "существенно"?

и какое отношение имеют миллионы к миллиардам?

Ах вот вы к чему. Действительно, в моём сообщении "миллионы" следует читать как "миллиарды" :)

какая мелочь, действительно!

ну окей, при миллиарде объектов получаем p=0.03

т.е. в одной из тридцати инсталяций у нас будет коллизия.

это значит "существенно"?

Вот так вот вопрос по clickhouse и уплыл без ответа(

Вот так вот вопрос по clickhouse и уплыл без ответа(

Матвью при записи не тригерит другие матвью

Ясно. Спасибо

А не подскажете, товарищи, как бы можно решить задачу в мое случае? Есть таблица KAFKA, матвью из нее берет данные и кладет в "главную" таблицу. Как на эту главную таблицу другие матвью натравить?

А не подскажете, товарищи, как бы можно решить задачу в мое случае? Есть таблица KAFKA, матвью из нее берет данные и кладет в "главную" таблицу. Как на эту главную таблицу другие матвью натравить?

У вас "главная таблица" была отдельно создана или мы только запрос на создание матвью сделали?

У синтаксиса матвью есть возможность указать в какую таблицу заливать данные. Возможно тогда будет работать вторая матвью

главная создается через "create table" отдельно. И отдельно есть creat mat... view ... to 'maintable'

Не, так тоже работать не будет

А триггерит именно МатВью, которое ПИШЕТ данные в главную таблицу? Я думал сама таблица должна говорить смотрящим на нее МатВью:, что у нее что-то есть новое

То есть, когда мы вызываем INSERT из консоли, то именно он тригеррит матвьюхи?

Там все примерно так: Мы создаем вью, запрос разбирается и вытаскивается таблица которая FROM - к ней и привязываем вьюху. При заливке данных ищем связаные вьюхи с таблицей и применяем запрос из них к вставляемому блоку данных

И тогда получается, что схему, как я описал, не реализовать видимо

И тогда получается, что схему, как я описал, не реализовать видимо

Сейчас нет, а вообще можно, но тут легко выстрелить себе в ногу и помочь это сделать другим.

Прискорбно) будем думать дальше. Прям облом, все так хорошо получалось)

Когда при создании матвью с populate все работало, я прям обрадовался(

Можете запилить эту фичу под себя и поделиться потом со всеми сделав PR

У не умею в С(

Я правильно формулирую, что проблема в итоге в том, что Mat View при вставке данных в таблицу не обращает внимания на другие MatView, которые смотрят на целевую таблицу. Именно в этом дело?

Не совсем, сейчас попробую как-то понятнее объяснить

Добрый день. Есть 2 разных базы клика с разными набором таблиц. Нужно получить результат джойна двух таблиц из разных баз. Возможно ли это сделать средставми кликхауса, без привлечения внешних скриптов?

Добрый день. Есть 2 разных базы клика с разными набором таблиц. Нужно получить результат джойна двух таблиц из разных баз. Возможно ли это сделать средставми кликхауса, без привлечения внешних скриптов?

Да, есть https://clickhouse.yandex/docs/ru/single/#remote

Благодарю, почитаю :)

Я правильно формулирую, что проблема в итоге в том, что Mat View при вставке данных в таблицу не обращает внимания на другие MatView, которые смотрят на целевую таблицу. Именно в этом дело?

Так, если проще то действительно все примерно так. При вставке запрос разбирается и выбираются привязаные к таблице представления, дальше данные просто пишутся минуя весь этот механизм разбора

Да, ясно. Спасибо. Придется, видимо, писать свою прослойку, что будет в главную таблицу данные вставлять, а уж там будут навешены матвью

привет. подскажите, ClickHouse поддерживает common table expression (WITH clause)?

привет. подскажите, ClickHouse поддерживает common table expression (WITH clause)?

Нет

https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00490_with_select.sql эмммм

https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00490_with_select.sql эмммм

Это - алиасы для выражений

Подскажите, был ли в кликхаусе explain?

CTE в общем виде with (select .... ) as A, (select ....) as B нет

Подскажите, был ли в кликхаусе explain?

Нет. И т.к. оптимизатора выполнения запроса де-факто нет, то в нем пока нет большого смысла.

Нет. И т.к. оптимизатора выполнения запроса де-факто нет, то в нем пока нет большого смысла.

Спасибо, мне просто админ лечит, что он был но после последнего апдейта пропал))

Спасибо, мне просто админ лечит, что он был но после последнего апдейта пропал))

В логах иногда выводится дерево stream'ов, использующихся для выполнения запроса, но его вроде не выпиливали.

А не подскажете, товарищи, как бы можно решить задачу в мое случае? Есть таблица KAFKA, матвью из нее берет данные и кладет в "главную" таблицу. Как на эту главную таблицу другие матвью натравить?

Если есть возможность привежите матьвью от главной таблицы,к той которая читает из потока Кафки,тогда все работает. По крайней мере у меня работало

Ребят, а параметр <max_query_size> должен быть прописан в профиле или в квотах?

В профиле

а http словари поддерживают null ? <http> <url>http://localhost/test1.tsv</url> <format>TabSeparated</format> </http> <attribute><name>testfloat</name><type>Float32</type><null_value>-42.34</null_value></attribute> пишу в test1.tsv /N получаю Float32, ERROR: text "/N<TAB>/N<TAB>/N<TAB><TAB>" is not like Float32

а ну да \N , причем для строк работает, а для флоат Float32, ERROR: text "<BACKSLASH>N<TAB>2018-05" is not like Float32

Кликхаус научился в NULL ?

На любых данных умеет в null ?

День добрый. Подскажите, из-за чего при join запросах может выпадать Code: 47 ? Пример запроса: select * from post_feedback pfb any left join post p on p.social_id=pfb.social_id limit 1 Ответ сервета: Code: 47. DB::Exception: Received from bigdata. DB::Exception: Unknown identifier: p.social_id.

День добрый. Подскажите, из-за чего при join запросах может выпадать Code: 47 ? Пример запроса: select * from post_feedback pfb any left join post p on p.social_id=pfb.social_id limit 1 Ответ сервета: Code: 47. DB::Exception: Received from bigdata. DB::Exception: Unknown identifier: p.social_id.

В КХ ON для JOIN пока не реализован

День добрый. Подскажите, из-за чего при join запросах может выпадать Code: 47 ? Пример запроса: select * from post_feedback pfb any left join post p on p.social_id=pfb.social_id limit 1 Ответ сервета: Code: 47. DB::Exception: Received from bigdata. DB::Exception: Unknown identifier: p.social_id.

В КХ join записывается не так. Смотрите документацию

или через вложенные запросы, или через столбцы с одинаковыми названиями?

Спасибо, помогло

или через вложенные запросы, или через столбцы с одинаковыми названиями?

Да, пока так. Давно обещают исправить, ждём

за ночь вылезло несколько варнингов с несколькими кусками: 2018.05.23 07:30:09.658813 [ 12 ] <Warning> db..inner.table_local (Merger): Unexpected number of parts removed when adding 20180523_20180523_58861_60349_712: 0 instead of 2 2018.05.23 08:41:07.659032 [ 18 ] <Warning> db..inner.table_local (Data): Tried to add obsolete part 20180523_20180523_58861_60722_1085 covered by 20180523_20180523_58861_60724_1087 (state Committed) чтобы это значило?