Здравствуйте, а можно ли как-то хранить данные в кх без привязки ко времени?

Здравствуйте, а можно ли как-то хранить данные в кх без привязки ко времени?

https://clickhouse.yandex/docs/ru/operations/table_engines/custom_partitioning_key/

Здравствуйте, а можно ли как-то хранить данные в кх без привязки ко времени?

Да, можно: 1. не использовать MergeTree (не рекомендуется, скорость запросов не максимальная) 2. создать таблицу с кастомным партиционированием

Спасибо большое, ребята!

У меня это говнище нивкакую не заводится

Нет. А можно больше инфы что и где не заводится?

Подскажите в 18.6.0 можно сделать JOIN ON таблицы саму на себя?

SELECT f.date, s.date FROM default.rep_price AS f ANY LEFT JOIN default.rep_price AS s ON date = second.date Received exception from server (version 18.6.0): Code: 47. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown identifier: second.date.

SELECT f.date, s.date FROM default.rep_price AS f ANY LEFT JOIN default.rep_price AS s ON date = second.date Received exception from server (version 18.6.0): Code: 47. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown identifier: second.date.

а почему second вместо s?

опечатка)

SELECT f.date, s.date FROM default.rep_price AS f ANY LEFT JOIN default.rep_price AS s ON date = s.date Received exception from server (version 18.6.0): Code: 47. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown identifier: s.date.

SELECT * FROM test1 AS f ANY LEFT JOIN test2 AS s ON f.id = toUInt32(s.id + 1) Exception on client: Code: 32. DB::Exception: Attempt to read after eof: while receiving packet from localhost:9000, 127.0.0.1 А вот так вешается сервер - условие ON - заведомо не выполнимо

Привет, может кто-нибудь подсказать по подключению mongo-словаря? В аттрибутах обязательно необходимо перечислить все колонки таблицы, и должен ли быть object_id частью ключа?

Не подскажите какой официальный способ уменьшить кластер?

Например с 8 шард до 6

Привет. Есть 2 реплики с таблицей ReplicatedMergeTree. Хочу выполнить удаление партиции: ALTER TABLE table ON CLUSTER cluster DROP PARTITION 'partition'. Возвращается ошибка "Password required for user default". Мне понятно что тот сервер, на котором я выполняю запрос не является лидером, но в конфигурации кластера я задал для каждой реплики user и password (к тому же user не называется default). В users.xml так же присутствует используемый пользователь. Версия Clickhouse 1.1.54388. Подскажите пожалуйста, в чем может быть проблема?

Удаление партиции реплицируется, выполните запрос на любой реплике.

с JOIN ON напортачил с движками таблиц, на MergeTree всё корректно работает. Будет ли работать для ReplicatedMergeTree?

Друзья. Не подскажите, существует ли быстрый способ переименования столбца? или копирования столбца в новый стобец с удалением старого?

Друзья. Не подскажите, существует ли быстрый способ переименования столбца? или копирования столбца в новый стобец с удалением старого?

Rename вроде был.

Rename вроде был.

Вижу только для таблиц. Для колонок нет. (или невнимательно смотрю)

нету, можно создать дубликат таблицы с переименованным столбцом - залить в него данные и убить исходную

нету, можно создать дубликат таблицы с переименованным столбцом - залить в него данные и убить исходную

Ок, спасибо большое

Удаление партиции реплицируется, выполните запрос на любой реплике.

Я опустил один важный момент. Конфигурация кластера 2 шарда по 2 реплики. Хотелось одним запросом с любой ноды удалять партицию (одноименная партиция присутствует на обоих шардах).

Удаление партиции реплицируется, выполните запрос на любой реплике.

и на любой реплике это не прокатит, реплика должна быть лидером, иначе ошибка отсутствия пароля для пользователя default

и на любой реплике это не прокатит, реплика должна быть лидером, иначе ошибка отсутствия пароля для пользователя default

Я думал уже поправили это, у нас просто нет пароля для default и нет проблем )

Ребят, подскажите, диалект hibernate для КХ никто не пилит?

Ребят, подскажите, диалект hibernate для КХ никто не пилит?

"Пропал дом"

Не подскажите какой официальный способ уменьшить кластер?

Я бы попробовал 2 вещи: 1. Руками повставлять в remote таблицы на других серверах, пошардив самому при выборке как-нибудь 2. Попробовать clickhouse-copier, но я сам не пробовал ?

Уже на 2 нацелились Попробуем в понедельник В четверг что-то сцыкотно )) Спсб

Не подскажите какой официальный способ уменьшить кластер?

Перестать писать в 2-а шарда, а данные из него перекинуть через distributed таблицу (insert into distributed select from local) в оставшиеся

Всем привет! В system.parts есть два поля - "partition" и "partition_id", хотя в документации описано только первое, а второе вроде-как добавлено относительно недавно. Отсюда 2 вопроса: есть ли в этом скрытый смысл? Стоит ли ожидать, что "partition_id" будет со временем выпилено?

Вот тут в конце немного про разницу есть: https://clickhouse.yandex/docs/ru/operations/table_engines/custom_partitioning_key/

Она становится важна при всяких экзотических выражениях партиционирования. Например партиционируете по строке, тогда partition это будет сама строка, а partition_id - её хэш. И в именах кусков будет именно partition_id.

Благодарю. Если я всё верно понял, что для alter table правильнее использовать значение "partition".

Можно и то и то, как удобнее. Если пишете например ALTER TABLE t DROP PARTITION expr, то expr это константное выражение, значение которого должно быть равно значению partition, которую вы хотите дропнуть. Или можно написать ALTER TABLE t DROP PARTITION ID 'id', если вы вытащили id из имён кусков.

а есть ли какая-то возможность, что у нас после insert into table ... values данные при селекте не видны, а в clickhouse-server.err.log все пусто на этот счет?

Доброго времени суток! Ребят можете подсказать не могу разобраться, с резервным копированием и восстановлением в КХ. Делаю по вот этой статье https://ruhighload.com/%D0%91%D0%B5%D0%BA%D0%B0%D0%BF+%D0%B8+%D0%B2%D0%BE%D1%81%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5+%D0%B2+clickhouse. Не могу понять как сделать ATTACH партиций

Аттач партитион и дата партиции

А если у меня так выливается?

─partition─┬─table─────────────┬─database───┐ │ 201803 │ test │ production │ │ 201803 │ test │ production │ │ 201804 │ test │ production │ │ 201804 │ test │ production │ │ 201804 │ test │ production │ │ 201805 │ test │ production │ │ 201805 │ test │ production │ │ 201805 │ test │ production │ │ 201805 │ test │ production │ │ 201805 │ test │ production │ │ 201806 │ test │ production │ │ 201806 │ test │ production │ │ 201806 │ test │ production │ │ 201807 │ test │ production │ │ 201807 │ test │ production │ │ 201807 │ test │ production │ │ 201807 │ test │ production │ │ 201807 │ test │ production │ │ 201807 │ test │ production │ │ 201807 │ test │ production │ │ 201808 │ test │ production │ │ 201808 │ test │ production │ │ 201808 │ test │ production │ │ 201808 │ test │ production │ │ 201808 │ test │ production │ │ 201808 │ test │ production │ │ 201808 │ test │ production │ │ 201808 │ test │ production │ │ 201803 │ test_backup │ production │ │ 201804 │ test_backup │ production │ │ 201804 │ test_backup │ production │ │ 201805 │ test_backup │ production │ │ 201805 │ test_backup │ production │ │ 201806 │ test_backup │ production │ │ 201806 │ test_backup │ production │ │ 201806 │ test_backup │ production │ │ 201806 │ test_backup │ production │ │ 201806 │ test_backup │ production │

при таком запросе

SELECT partition, table, database FROM system.parts WHERE active AND database = 'production';

JFYI, в 18й есть регрессия, distinct в MV ломает результат. https://github.com/yandex/ClickHouse/issues/2795

А если у меня так выливается?

А что не так?

А что не так?

Я тут вроде разобрался

подскажите что-то поменялось в формате config-file для clickhouse-client? старый config.xml файл с настройками перестал отрабатывать после обновления с 1.1.54385 на 18.6.54401, вернее <host>clickhouse-srv1</host> подхватывается а <user>|<password> похоже нет. пытается под default подключиться.

Привет. В документации Settings сказано, что max_threads "By default, 8". В исходнике Settings.h иначе — max_threads, 0, "The maximum number of threads to execute the request. By default, it is determined automatically." В документации бага или таки на каком-то этапе max_threads становится 8 (правда, искал и не нашёл)?

Привет. В документации Settings сказано, что max_threads "By default, 8". В исходнике Settings.h иначе — max_threads, 0, "The maximum number of threads to execute the request. By default, it is determined automatically." В документации бага или таки на каком-то этапе max_threads становится 8 (правда, искал и не нашёл)?

SELECT * FROM system.settings WHERE name = 'max_threads' Row 1: ────── name: max_threads value: 20 changed: 0 description: The maximum number of threads to execute the request. By default, it is determined automatically.

Ага, значит, документация.

подскажите что-то поменялось в формате config-file для clickhouse-client? старый config.xml файл с настройками перестал отрабатывать после обновления с 1.1.54385 на 18.6.54401, вернее <host>clickhouse-srv1</host> подхватывается а <user>|<password> похоже нет. пытается под default подключиться.

host и password применяются из файла, а вот user нет. так работает clickhouse-client --config-file ./test-ch.xml --user user а так не работает clickhouse-client --config-file ./test-ch.xml ...... DB::Exception: Wrong password for user default. что не так?

А нет для словаря функции чтобы вызвать ее по значению атрибута и получить ид?

А то сейчас прикрутил словарь к тестовой таблице и понял что условия where надо либо через ид писать либо вызывать dictGetString на колонке и сравнивать

в общем случае никак. Для некоторых типов словарей можно сделать таблицу с Engine = Dictionary использовать как таблицу. Если нужна скорость я бы сделал еще один словарь и там свапнул key -> value.

:( печаль.

А кому не нужна скорость :))) так бы и на постгрес можно остаться

а в чем проблема? В любом случае будет медленно select *, getDict( , key, ) fx from table where fx = .... что этак select * from table where getDict( , key, ) = ....

что select * from table where key = (select key from dicttable where = ...)

хотя последнее может и будет быстрее, какой layout у словаря?

Flat

а ну тогда можно CREATE TABLE dictTable ( поля) ENGINE = Dictionary('словарь'); мы просто базу создаем create database dict Engine = Dictionary; и там все словари будут как таблицы.

Может MV поверх словаря со свапом v->k?

подскажите, есть odbc датасорс, при помощи isql я к нему подключаюсь, пробую его подключить как словарь и кх его не видит, пишет SQLSTATE = IM002 Native Error Code = 0 [unixODBC][Driver Manager]Data source name not found, and no default driver specified

второй сервер с таким же датасорсом и аналогичным конфигом работает без проблем

есть подозрение что я упустил что-то в сетапе odbc

и да, ubuntu\postgres

а функция odbc ? а как dsn выглядит ?

[dsb] Description = PostgreSQL connection Driver = PostgreSQL Servername = mypostgres.local Port = 5432 UserName = pguser Password = pgpass Database = mybase ReadOnly = True

через isql -n dsb подключаюсь, базу вижу

такое ощущение что именно кликхаус не видит odbc драйвер, или что-то в этом роде

https://github.com/yandex/ClickHouse/commit/e6be3df322f24ff3aa9ae9a97b9b01b2c88ab7b0

совпадение?

А как зафорсить кликхаус после падения зукиперов обращаться к зукиперам? Zookeeper восстановили, а кликхаус продолжает накапливать данные в distributed таблице.

Всем привет! вопрос. Сейчас более актуальная документация на английском языке или на русском? или 1:1

А как зафорсить кликхаус после падения зукиперов обращаться к зукиперам? Zookeeper восстановили, а кликхаус продолжает накапливать данные в distributed таблице.

то есть в MergeTree не грузит - таблицы в read only, собственно как это поправить можно

Всем привет! вопрос. Сейчас более актуальная документация на английском языке или на русском? или 1:1

пишут на русском, потом переводят на английский

то есть в MergeTree не грузит - таблицы в read only, собственно как это поправить можно

а что в логах? попробуйте SYSTEM DROP DNS CACHE ну и рестарт всегда помогает

Всем привет! пытаюсь заменить influxdb на CH с визуализацией в Grafana - и вот какой возник вопрос: предположим, есть MergeTree таблица с TimeStamp (DateTime), EventDate (Date) и Millisec (UInt16) я хочу визуализировать данные с миллисекундной гранулярностью запросом: SELECT $timeSeries + Millisec as t, avg(MyMetricName) FROM $table WHERE $timeFilter GROUP BY t ORDER BY t в испекторе получается вот что: SELECT (intDiv(toUInt32(TimeStamp), 1) * 1) * 1000 + Millisec as t, avg(MyMetricName) FROM myDB.myTable WHERE EventDate BETWEEN toDate(1531719775) AND toDate(1531794372) AND TimeStamp BETWEEN toDateTime(1531719775) AND toDateTime(1531794372) GROUP BY t ORDER BY t

при zoom in в графане на более ччем часовой промежуток поинты пропадают - скорее всего это связано с "where" выражением - там TimeStamp в стандартном epoch timestamp

если убрать where - все рисуется как надо, но ожидаемо выгребает запросом все данные в таблице

есть какие-нибудь workaround-ы?

а что в логах? попробуйте SYSTEM DROP DNS CACHE ну и рестарт всегда помогает

спасибо, всё снесли и поставили заново ? покараптились данные в зукипере и кликхаусы после рестарта не стартовали, ругались на зк

А может с вершины опыта кто-то может подсказать: мы запустили кластер с шардируемой ReplicatedMergeTree таблицей, но реплика каждого шарда пока в единственном экземлпяре. Зукиперы тоже работают как задел на ближайшее будущее. Можно ли будет потом подключить шардам реплики, чтобы они как бы стянули данные с шард и стали полными репликами? Какова процедура добавления реплик, когда была раньше всего одна?

А может с вершины опыта кто-то может подсказать: мы запустили кластер с шардируемой ReplicatedMergeTree таблицей, но реплика каждого шарда пока в единственном экземлпяре. Зукиперы тоже работают как задел на ближайшее будущее. Можно ли будет потом подключить шардам реплики, чтобы они как бы стянули данные с шард и стали полными репликами? Какова процедура добавления реплик, когда была раньше всего одна?

Просто создать таблицу, правильно прописав путь в зукипере

Просто создать таблицу, правильно прописав путь в зукипере

Благодарю

А может с вершины опыта кто-то может подсказать: мы запустили кластер с шардируемой ReplicatedMergeTree таблицей, но реплика каждого шарда пока в единственном экземлпяре. Зукиперы тоже работают как задел на ближайшее будущее. Можно ли будет потом подключить шардам реплики, чтобы они как бы стянули данные с шард и стали полными репликами? Какова процедура добавления реплик, когда была раньше всего одна?

Создать так же как и первые таблицы. А новая реплика сама подтянет данные, в самом зукипере ничего не надо менять

Всем привет! пытаюсь заменить influxdb на CH с визуализацией в Grafana - и вот какой возник вопрос: предположим, есть MergeTree таблица с TimeStamp (DateTime), EventDate (Date) и Millisec (UInt16) я хочу визуализировать данные с миллисекундной гранулярностью запросом: SELECT $timeSeries + Millisec as t, avg(MyMetricName) FROM $table WHERE $timeFilter GROUP BY t ORDER BY t в испекторе получается вот что: SELECT (intDiv(toUInt32(TimeStamp), 1) * 1) * 1000 + Millisec as t, avg(MyMetricName) FROM myDB.myTable WHERE EventDate BETWEEN toDate(1531719775) AND toDate(1531794372) AND TimeStamp BETWEEN toDateTime(1531719775) AND toDateTime(1531794372) GROUP BY t ORDER BY t

сделайте zoomIN до проблемы и посмотри какой select генерируется, далее запустить руками в CH, если он ничего не отдает то вот и причина. Может вы попадаете в промежуток где графана ожидает данные, а и нет. например вы собираете данные данные раз в сутки а при zoomin у вас отфильтруется только 8 часов(как пример)

Привет всем! Кто-то пользовался настройкой target-blacklist graphite-clickhouse ?

сделайте zoomIN до проблемы и посмотри какой select генерируется, далее запустить руками в CH, если он ничего не отдает то вот и причина. Может вы попадаете в промежуток где графана ожидает данные, а и нет. например вы собираете данные данные раз в сутки а при zoomin у вас отфильтруется только 8 часов(как пример)

Спасибо, решено заменой на where TimeStamp BETWEEN $from AND $to Данные статичные за июль 2018

Tatiana, мерси!

Всем привет! пытаюсь заменить influxdb на CH с визуализацией в Grafana - и вот какой возник вопрос: предположим, есть MergeTree таблица с TimeStamp (DateTime), EventDate (Date) и Millisec (UInt16) я хочу визуализировать данные с миллисекундной гранулярностью запросом: SELECT $timeSeries + Millisec as t, avg(MyMetricName) FROM $table WHERE $timeFilter GROUP BY t ORDER BY t в испекторе получается вот что: SELECT (intDiv(toUInt32(TimeStamp), 1) * 1) * 1000 + Millisec as t, avg(MyMetricName) FROM myDB.myTable WHERE EventDate BETWEEN toDate(1531719775) AND toDate(1531794372) AND TimeStamp BETWEEN toDateTime(1531719775) AND toDateTime(1531794372) GROUP BY t ORDER BY t

А почему, если не секрет, хотите уйти от influx?

А почему, если не секрет, хотите уйти от influx?

Боттлнеки по цпу на больших выборках

А почему, если не секрет, хотите уйти от influx?

Ну и СН видится мне пока более перспективным с точки зрения возможностей по агрегации/аналитике