можно как-то дропнуть таблицы по маске имени? то есть вот так я их могу выбрать select name FROM system.tables WHERE name like '%__tmp%' а как дроп прикрутить?

может выгрузить названия таблиц в файл через 'DROP TABLE ' || tablename; его потом запустить через параметр в clickhouse-client

да, спасибо, как вариант, думал может есть что-то с меньшим количеством шагов

Ну и еще один вопрос. Если у меня есть таблица-полу-справочник (больше 1 млн записей), в которых регулярно происходят обновления атрибутов. Я ее объявляю таким образом. CREATE TABLE runner_catalog ( selection_id UInt64, runner_name String, handicap UInt64, sort_priority UInt8, version UInt64 ) ENGINE = ReplacingMergeTree(version) PARTITION BY intHash64(selection_id) ORDER BY (selection_id, runner_name); Я все правильно делаю? В качестве первичного ключа исползьую selection_id. Но из документации, не совсем понял зачем указывать ORDER BY.

Меня смущает, что в документации написано, что слияние происходит в фоне. Значит ли это, что можно столкнуться с ситуацией, когда в таблице runner_catalog будет больше одной записи с одинаковым selection_id?

Ну и еще один вопрос. Если у меня есть таблица-полу-справочник (больше 1 млн записей), в которых регулярно происходят обновления атрибутов. Я ее объявляю таким образом. CREATE TABLE runner_catalog ( selection_id UInt64, runner_name String, handicap UInt64, sort_priority UInt8, version UInt64 ) ENGINE = ReplacingMergeTree(version) PARTITION BY intHash64(selection_id) ORDER BY (selection_id, runner_name); Я все правильно делаю? В качестве первичного ключа исползьую selection_id. Но из документации, не совсем понял зачем указывать ORDER BY.

Секция partition by - это не первичный ключ, это ключ разбиения на секции. В случае со словарем подозреваю, что вам не нужен партишионинг

А то, что вы называете первичным ключем - это секция order by (при этом это все же не совсем первичный ключ, это ключ сортировки)

да, не нужен. Спасибо.

И да, записи с одним ключем будут повторяться в какие- то моменты времени. Это решается либо вызовом optimize, либо запросом с группировкой

Спасибо. Получилось так. create table runner_catalog ( selection_id UInt64, runner_name String, handicap UInt64, sort_priority UInt8, version UInt64) Engine = ReplacingMergeTree(version) ORDER BY (selection_id);

https://youtu.be/PLMSA_gDdyM

А есть следующий уровень? =) У меня нездоровый, можно даже сказать, академический, интерес к представлению данных. На 10:55 Алексей рассказывает "Как работает индекс". Он упоминает файлы индекса (primary.idx), засечек (.mrk) и данных (.bin). С кем можно обсудить формат этих файлов? https://www.youtube.com/watch?v=PLMSA_gDdyM&t=655

@fediq , исходники?

Обсуждать с исходниками - это когда тебя совсем никто не любит. =(

зато они никогда не введут в заблуждение, даже невольно

@fediq https://events.yandex.ru/lib/talks/5800/ Вот хороший обзор внутренностей MergeTree движка

Обсуждать с исходниками - это когда тебя совсем никто не любит. =(

Уже определили сумму которую готовы выложить за прекрасные новые знания?

open ! = free

Тоже вариант. В ПМ?

@fediq https://events.yandex.ru/lib/talks/5800/ Вот хороший обзор внутренностей MergeTree движка

Спасибо! Посмотрю.

Для default пароль не задавайте, это поведение нужно поправить, считайте что пока это фича такая.

Спасибо! Помогло. Только жаль, что это нигде в документации не описано...

Добрый день. Может еще кто то знает еще одна ошибка Очистка Materialized View работает только на том сервере, где была создана, на любых других выходит ошибка: ip-172-31-16-10.us-west-2.compute.internal :) truncate table db1.r_test_transactions; TRUNCATE TABLE db1.r_test_transactions Received exception from server (version 18.6.0): Code: 48. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Can't proxy this query. Unsupported query type. 0 rows in set. Elapsed: 0.080 sec. А тут Materialized View была создана и все работает: ip-172-31-16-11.us-west-2.compute.internal :) truncate table db1.r_test_transactions :-] ; TRUNCATE TABLE db1.r_test_transactions Ok. 0 rows in set. Elapsed: 0.047 sec. Это ошибка CH или я опять где-то что то не так делаю?

Подскажите пожалуйста, ClickHouse не позволяет создавать таблицы с одинаковыми наименованием столбцов? engine = log, Хотела создать таблицу, которая имеет пару одинаковых наименования полей как в ранее созданных таблиц, тогда выдает ошибку DB::Exception: Column ID already exists.

Это из за того что движок LOG или в целом clickhouse не позволяет повторение наименование столбцов

новичок в ClickHouse, подскажите плиз не моге найти инфу

одинаковые столбцы это как? Это вообще законно?

А какая бд позволяет?

У меня ранее скажем создана таблица "A" с колонками (id Int32, Name String) engine = log, и скажем я пытаюсь создать таблицу "B" с колонками ( id Int32, City String) engine = log

и тогда у меня возникает ошибка DB::Exception: Column ID already exists.

У меня ранее скажем создана таблица "A" с колонками (id Int32, Name String) engine = log, и скажем я пытаюсь создать таблицу "B" с колонками ( id Int32, City String) engine = log

Это простой пример

Кажется я поняла в чем причина

Gulya, в чем? Тоже интересно стало.

Спасибо! Помогло. Только жаль, что это нигде в документации не описано...

А это "фича" и её нужно поправить

Кажется я поняла в чем причина

Плюсую интерес к причине.

Народ

такая штука select one, 2 as one from (select 1 as one, 2 as two)

в результате будет 2 2, а не 1 2

это баг или фича ?

А если select one, select 2 as ne_one...?

если алиасы разные будут то значения правильные вернутся

получается что при таком запросе insert into table (id, name) select 2 as id, 'test' as name, from table where id = 1

выбирается на запись с id = 1, а запись с id 2

Здравствуйте Кто-то сталкивался с подобной проблемой: "Poco::Exception. Code: 1000 ... Malformed message: Field value too long/no CRLF found"? Отправляю external_data через curl. Передаю список. Если длинной менее 1000, все ок. Больше - ошибка Через клиент все работает без проблем.

привет всем, а у кого-то есть пример как залить сsv в кликхаус на golang?

привет всем, а у кого-то есть пример как залить сsv в кликхаус на golang?

А почему бы просто через хттп запрос не лить?

зачем голанг, если есть cli?

зачем голанг, если есть cli?

???)

clickhouse-client умеет csv закидывать на серввер

clickhouse-client умеет csv закидывать на серввер

я знаю, спасибо) Просто странный вопрос от вас)

А почему бы просто через хттп запрос не лить?

Спасибо, хотел просто ссылку на готовый пример или вроде того, чтобы не писать самому, не смог найти на просторах(

Пост запрос в теле цсв а урл "/query=insert into TABLENANE format csv"

Пост запрос в теле цсв а урл "/query=insert into TABLENANE format csv"

?

Дмитрий Мищенко (0) увеличил репутацию Max Grigoriev (1)

через cli: clickhouse-client --host=... --query="INSERT INTO ... FORMAT CSV" < /path/to/data.csv

/stat@combot

combot.org/c/-1001080295593

Всем доброго дня! Ребят подскажите или киньте ссылочку где можно почитать, каким способом кроме пересоздания таблицы можно изменить параметры внутри Engine? Есть таблица с типом SummingMergeTree с явным указанием колонок для суммирования, нужно добавить еще одну колонку в таблицу и включить её в колонки для суммирования! Спасибо!

А лучше всего как убрать с Engine явно заданные колонки, чтобы остался просто ключ по которому будет идти суммирование

Всем доброго дня! Ребят подскажите или киньте ссылочку где можно почитать, каким способом кроме пересоздания таблицы можно изменить параметры внутри Engine? Есть таблица с типом SummingMergeTree с явным указанием колонок для суммирования, нужно добавить еще одну колонку в таблицу и включить её в колонки для суммирования! Спасибо!

никак

никак

Спасибо!

Dmitriy Lazarchuk (0) увеличил репутацию Dmitry Alekseev (1)

combot.org/c/-1001080295593

Всем доброго дня! Ребят подскажите или киньте ссылочку где можно почитать, каким способом кроме пересоздания таблицы можно изменить параметры внутри Engine? Есть таблица с типом SummingMergeTree с явным указанием колонок для суммирования, нужно добавить еще одну колонку в таблицу и включить её в колонки для суммирования! Спасибо!

Не то что поменять движок, даже набор колонок в ПК нельзя поменять

Читал в этом чате что в конец ключа можно добавлять, вроде даже тесты на эту фичу написаны

кстати, рендерер md->html не работает с картинками, кажется

в md на гитхабе все в порядке

Читал в этом чате что в конец ключа можно добавлять, вроде даже тесты на эту фичу написаны

Можно добавляеть если не меняется сортировка для ПК (т.е. в ключ добаляются поля с дефалтовыми значениями) и работает только для MergeTree.

Привет! Увидел в тикете на github (https://github.com/yandex/ClickHouse/issues/1178) такую конструкцию: OPTIMIZE TABLE tablename [FINAL] DEDUPLICATE; Про DEDUPLICATE в документации ничего не нашел. Кто нибудь знает что именно делает DEDUPLICATE и работает ли это вообще?

А кто-нибудь пользуется Kafka и кворумной записью? Не возникнет ли там каких-то граблей?

А есть какой-то магический вариант задавать в самом начале запроса переменную которая потом будет использоваться в запросах включая подзапросы?

WITH expr AS ident SELECT ...

Если бы еще табикс можно как-то приучить нормально форматировать такие выборки :)

WITH expr AS ident SELECT ...

Это не попадает во вложенные селекты и юнионы же

Всем привет! Подскажите, пожалуйста, как использовать IPv4StringToNum в JDBC

Пытаюсь sendRowBinaryStream stream.writeString("IPv4StringToNum(" + lfadto.getIp4() + ")") , строка вставляется, но что-то явно идет не так. Переписываются другие поля

Подскажите пожалуйста, как использовать кликхаус в качестве backend'а в проекте django?

Подскажите пожалуйста, как использовать кликхаус в качестве backend'а в проекте django?

Вам только для чтения нужно?

Да только чтение

Ну тогда использование orm неоправданно. Просто обращайтесь к вашим ch-табличкам через http интерфейс.

Хорошо, а если понадобится запись?

а можно ли в tsv поставить значение today() в поле типа Date?

а можно ли в tsv поставить значение today() в поле типа Date?

нельзя: ERROR: Date must be in YYYY-MM-DD format.

А кто-нибудь пользуется Kafka и кворумной записью? Не возникнет ли там каких-то граблей?

У нас Kafka, но кворум победить не смогли. Задолбало ловить рандомно конфликты нод ZooKeeper, волево вырубили кворум.

Привет! Увидел в тикете на github (https://github.com/yandex/ClickHouse/issues/1178) такую конструкцию: OPTIMIZE TABLE tablename [FINAL] DEDUPLICATE; Про DEDUPLICATE в документации ничего не нашел. Кто нибудь знает что именно делает DEDUPLICATE и работает ли это вообще?

Недавно наткнулись на проблему с дедупликацией при инсертах, когда приходили две одинаковых строки на вставку, а в итоге записывалась только одна! В общем дедупликация нужна в том случае когда не ждешь или когда не нужно иметь в таблице две одинаковых строки! По умолчанию она включена, чтобы выключить нужно установить insert_deduplicate в конфиге в 0.

Подскажите пожалуйста, как использовать кликхаус в качестве backend'а в проекте django?

Мне кажется, вы на стопку граблей наступите, когда Django будет генерировать запросы. Кучу всего руками править — то же создание моделей в базе уже со старта не совместимо.

Мне кажется, вы на стопку граблей наступите, когда Django будет генерировать запросы. Кучу всего руками править — то же создание моделей в базе уже со старта не совместимо.

Что тогда посоветуете?

Что тогда посоветуете?

Ничего. :) На деле кворум и Кафка — это разные штуки. Мы об кворум бились при разных источниках данных. Возможно, выкрутитесь через "не получил 200, попробуй записать ещё раз", но, емнип, тут мы уже огребали с дедупликацией, но толком уже не помню. А Кафка норм, как накопитель вполне. Тут ещё несколько человек её так используют.

Что тогда посоветуете?

Блин, не на то ответил. С ORM и ClickHouse пока толком ничего нет, кажется.

Да и зачем? Сила евойная в аналитике, которую можно спихнуть на базу и она не крякнет. Аналитику сию делать на таблицах с большим количеством колонок. Соответственно, у вас и модели раздутые будут. А полезные запросы всё равно вне ORM писать. Если вам всё-таки тут прям очень нужен ORM, кажется, проще наваять своё ровно под свои задачи.

алхимию пользуем в связке с кх, особо не жалуемся

благо что запросы там можно какие угодно строить