Всем привет! А можно ли добавить колонку в сразу во все таблицы Distributed и ReplicatedMergeTree DDL-запросом (ON CLUSTER cluster)? Чтото у меня не получается, ошипки пишет - или такое еще не реализовано? Два шарда по две реплики в кластере.

кластер в кластере - это еще один вариант. Я имел ввиду создать "плоский" кластер, содержащий все ноды из обеих кластеров. "кластер в кластере" - это когда создается кластер на основе двух Distributed таблиц, покрывающих каждый кластер.

Добрый вечер! Скажите пожалуйста, а со словарями все еще мучиться через XML ? Обещали упросить процедуру

Всем привет!Может глупый вопрос, но спрошу. Можно ли заселектить данные только из выбранной партиции? Надо чтоб быстрее запрос проходил, нам не нужно парсить всю базу а хочется только один песяц=партиции. Номер партиции я определил запросом SELECT * FROM system.parts WHERE active ORDER BY max_date ... Дальше пробловал IN PARTITION "" - не смог

Всем привет!Может глупый вопрос, но спрошу. Можно ли заселектить данные только из выбранной партиции? Надо чтоб быстрее запрос проходил, нам не нужно парсить всю базу а хочется только один песяц=партиции. Номер партиции я определил запросом SELECT * FROM system.parts WHERE active ORDER BY max_date ... Дальше пробловал IN PARTITION "" - не смог

Есть семлирование

Привет, никто с таким DB::Exception: Cannot convert column adgroup because it is non constant in source stream but must be constant in result не встречался? Очень похоже на https://github.com/yandex/ClickHouse/issues/2034 Версия 1.1.54381

Есть семлирование

Мне как раз нужны все данные, но за определенную партицию

Кх же вроде по индексу необходимые партиции поднимает, нет?

Исходя из запроса и PK

ну я попробовал Дейтом ограничивать запрос с PWHERE, работал запрос еще дольше, не похоже что он парсил только часть данных

ну я попробовал Дейтом ограничивать запрос с PWHERE, работал запрос еще дольше, не похоже что он парсил только часть данных

Покажите структуру таблицы. И запрос

Храню метрики графита, запрос SELECT Path, Value FROM default.graphite WHERE Timestamp > 1529415686 ну или пробовал SELECT Path, Value FROM default.graphite PREWHERE ((Date >='2018-06-06' AND Date <= '2018-06-07')) WHERE Timestamp > 1529415686

CREATE TABLE graphite ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = GraphiteMergeTree(Date, (Path, Time), 8192, 'graphite_rollup');

база занимает около 800 гиг

Храню метрики графита, запрос SELECT Path, Value FROM default.graphite WHERE Timestamp > 1529415686 ну или пробовал SELECT Path, Value FROM default.graphite PREWHERE ((Date >='2018-06-06' AND Date <= '2018-06-07')) WHERE Timestamp > 1529415686

Сколько записей в таблице и сколько просканировал каждый из запросов

есть традиционная для CH таблица со всякими событиями, индекс по event_datetime. как эффективно найти минутные, например, периоды, в которых НЕ было указанного события (т.е. или вообще нет строк в базе, или нет строк, попадающих под where)?

Храню метрики графита, запрос SELECT Path, Value FROM default.graphite WHERE Timestamp > 1529415686 ну или пробовал SELECT Path, Value FROM default.graphite PREWHERE ((Date >='2018-06-06' AND Date <= '2018-06-07')) WHERE Timestamp > 1529415686

У вас ключ партиционирования Date, второй запрос должен отсеч лишние данные

должен заходить только в одну партицию (в некоторые парты), это видно и можно проверить в логе сервера. а вам вообще-то по хорошему для '2018-06-06' AND Date <= '2018-06-07' надо либо partition by date либо order by date, Path, Time и почему time? а в запросе timestamp?

должен заходить только в одну партицию (в некоторые парты), это видно и можно проверить в логе сервера. а вам вообще-то по хорошему для '2018-06-06' AND Date <= '2018-06-07' надо либо partition by date либо order by date, Path, Time и почему time? а в запросе timestamp?

+1. Возможно в первичном ключе нужно так GraphiteMergeTree(Date, (Timestamp, Path), 8192, 'graphite_rollup'); Но это если не нужно искать по Path. Вообщем смотрите логи и в консоле - там пишет сколько прочитано

а если Timestamp это таже дата что и date и time , то вообще у вас велосипед с квадратными колесами тут. и можно выкинуть поля date, time partition by toYYYYMMDD(toDate(Timestamp)) order by path, Timestamp

а если Timestamp это таже дата что и date и time , то вообще у вас велосипед с квадратными колесами тут. и можно выкинуть поля date, time partition by toYYYYMMDD(toDate(Timestamp)) order by path, Timestamp

Это, судя по доке graphite-clickhouse без таймстемпа не взлетит. Ок, спасибо, будем пробовать

Привет! Подскажите, пожалуйста. Такая ситуация: добавили новые реплики на новых серверах, погасили и удалили часть реплик на старых серверах. После этого стали пухнуть ноды /log в зукипере. Такое впечатление, что кликхауз перестал удалять старые записи, т.к. ждёт какого-то подтверждения от реплик, которые уже не существуют. Вероятно, при выводе реплик из кластера надо что-то почистить в зукипере?

Уважаемый чат, из https://clickhouse.yandex/docs/en/roadmap/ исчез пункт про predicate push-down (проброс условий во view) - он в мастере/релизе ?

вроде нет. ClickHouse server version 1.1.54386 create table test(a Int64, b String) Engine= MergeTree partition by tuple() Order by a; insert into test select number, toString(number) from numbers(1000000); create view testv as select * from test where a%2=0; select count() from test where a=1; 1 rows in set. Elapsed: 0.001 sec. Processed 8.19 thousand rows, 65.54 KB (6.98 million rows/s., 55.86 MB/s.) select count() from testv where a=1; 0 rows in set. Elapsed: 0.005 sec. Processed 1.00 million rows, 8.00 MB (186.52 million rows/s., 1.49 GB/s.) drop table testv; create view testv as select * from test; select count() from testv where a=2; 1 rows in set. Elapsed: 0.002 sec. Processed 1.00 million rows, 8.00 MB (465.28 million rows/s., 3.72 GB/s.)

Господа! ALTER TABLE logs ADD COLUMN jvm_line Int32 AFTER reporter; ~ 1 лярд записей Почему может висеть х.з сколько времени?

- 404 на https://clickhouse.yandex/docs/ru/docs/ru/operations/settings/settings/#format_csv_delimiter баг или фича ?) - В релиз 1.1.54381 format_csv_delimiter не включен ?

По прежнему пишет Bad arguments: unrecognised option '--format_csv_delimiter=;'

Господа! ALTER TABLE logs ADD COLUMN jvm_line Int32 AFTER reporter; ~ 1 лярд записей Почему может висеть х.з сколько времени?

висит и ничего не делает или есть какая-то активность? что в логах особенно про тот тред [ число ]

висит и ничего не делает или есть какая-то активность? что в логах особенно про тот тред [ число ]

доступа к логам не было, но вылечилось отключением чтения из этой таблицы :-\

версия какая?

1.1.54385

в последних версиях так быть не должно, может быть и баг.

там еще несколько сотен запросов от графаны с elapsed в сотни минут

графану остановили, запросы кильнули, после этого все ALTER'ы нормально отработали

возможно deadlock попался

там еще несколько сотен запросов от графаны с elapsed в сотни минут

используйте графану в связке с chproxy - он убивает такие запросы сам

используйте графану в связке с chproxy - он убивает такие запросы сам

Спасибо, посмотрю

Добрый день, есть ли готовые инструменты для формаирования словарей в CH внутри CH? Ну а вдруг….

те есть CSV с данными, хочу пару стобцов загнать в словари

а зачем? просто таблицу сделайте или в чем вопрос ?

понятно что можно самому написать , но думается что задача уже давно решена

одна из идей чтобы скрыть некоторую инфу от людей которым не нужно смотреть эти данные

понятно что это так себе решение

непонятно пока в чем проблема

есть csv c данными, есть пару столбцов котоые хочется распизхать по словарям

словарь в CH

те в файле значение стообца

aaa

aaa

bbb

ccc

aaa

https://clickhouse.yandex/docs/ru/dicts/external_dicts_dict_sources/#dicts-external_dicts_dict_sources

д это понятно

интересует процесс ETL

как перед заливкой в CSV получить ID записей

уверен что эта задача уже решена

те заменить значения на ID, вставить в CH словарь данные если в словаре нет строки

неправильно поставил вопрос: как заменить я знаю, не хочу пилить велосипед, наверняка процесс наполнения словарей и подмены данных на ID уже решен

Добрый день!

скажите, в чем фигня может быть

имеется словарь

внутри есть такая строка: 7270989410194118605,460,"d4bef588bb06132f68bdb329191bea07"

первый стобей это id uint64

второй - наше внутреннее значение в формате uint8

` SELECT dictGetUInt8('psite', 'um_user_id', cityHash64('d4bef588bb06132f68bdb329191bea07')) ┌─dictGetUInt8(\'psite\', \'um_user_id\', cityHash64(\'d4bef588bb06132f68bdb329191bea07\'))─┐ │ 204 │ └───────────────────────────────────────────────────────────────────────────────────────────┘

204 ???!!!!

SELECT cityHash64('d4bef588bb06132f68bdb329191bea07') ┌─cityHash64(\'d4bef588bb06132f68bdb329191bea07\')─┐ │ 7270989410194118605 │ └──────────────────────────────────────────────────┘

Как вы 460 в 8 бит засунете?

да, уже понял...

overflow случился...

460%256=204

Если индекс (А, В, С), а селект по условиям на А и С, для поиска по С индекс будет использован?

Если индекс (А, В, С), а селект по условиям на А и С, для поиска по С индекс будет использован?

не будет (скорее всего)

В теории, его можно было бы использовать, если у B мало различных значений для фиксированного A. Но вряд ли авторы стали с таким заморачиваться.

Ребят помогите плз, у меня 3 шарда на каждом view и distributed table на 4 машине. Делаю запрос в нее, на выходе разные значения, как буд-то distributed таблица возвращает мне не общий результат ответа, а результат выполнения запроса 1 шарда или его реплики. Причем обьем данных даже в сумме не соответствет действительности, тоесть например у меня в реальной таблице 4аррда сток, а результат из View возращает 50к

Реальная таблица тоже разбита по шардам, но она возвращает корректные данные суммируя результаты полученные на разных шардах

Что-то не получается подключить postgresql словарь. Создал файл postgresql_dictionary.xml в папке /etc/clichouse-server https://dumpz.org/2851586/ Перезапустил сервер, появился файл postgresql_dictionary-preprocessed.xml Делаю запрос SELECT dictGetString('storages', 'storagepricingapp_storagelocation', toUInt64(5)), получаю ошибку Code: 36. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: No such external dictionary: storages. Подскажите, пожалуйста

Что-то не получается подключить postgresql словарь. Создал файл postgresql_dictionary.xml в папке /etc/clichouse-server https://dumpz.org/2851586/ Перезапустил сервер, появился файл postgresql_dictionary-preprocessed.xml Делаю запрос SELECT dictGetString('storages', 'storagepricingapp_storagelocation', toUInt64(5)), получаю ошибку Code: 36. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: No such external dictionary: storages. Подскажите, пожалуйста

А что в system.dictionaries?

kalombo-OptiPlex-790 :) select * from system.dictionaries SELECT * FROM system.dictionaries Ok. 0 rows in set. Elapsed: 0.001 sec. kalombo-OptiPlex-790 :)

Я уже и путь на абсолютный прописал в config.xml

<dictionaries_config>/etc/clickhouse-server/postgresql_dictionary.xml</dictionaries_config>

C odbc проблемы?

А глянь что у тебя в хмл всего хватает. Например <yandex> или <dictionaries> или чего они там еще придумать в документации могли)

добавьте в начале файла <?xml version="1.0"?> <yandex> и </yandex> в конце

Добрый день! Подскажите, как реплицировать matview? Это нужно делать с "материнской" таблицей? или с другой стороны создать не matview, а таблицу? или это вообще так не работает и нужно делать реплику материнской таблицы и отдельные нереплицируемые matview ?

добавьте в начале файла <?xml version="1.0"?> <yandex> и </yandex> в конце

dictionary_xml?

в этом файле https://dumpz.org/2851586/

Получилось, спасибо, дальше буду разбираться

всем привет ненулевая метрика DuplicatedInsertedBlocks это страшно? она ведь показывает, что дедупликация сработала, правильно?

Здравствуйте! Никто не упирался в какую-то странную неспешность клика при переливке данных из одной таблицы в другую ? Из обычного MergeTree в такой же MergeTree, структура одна. INSERT INTO table2 SELECT * FROM table1 В процессор вообще ни разу не упираемся, памяти валом. Progress: 166.18 thousand rows/s., 259.07 MB/s.

ClickHouse server version 1.1.54385