Все разобрался. Вдруг кто то такой же глупый как и я, будет искать пример создания по новому синтаксису, таблицы на движке Replicated Merge Tree. Поясняю. ============================== CREATE TABLE lexa_test ( id Int64, i_env Int64, i_customer Int64, i_account Int64, creation_date Date ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/lexa_test', '{replica}') PARTITION BY creation_date ORDER BY id в PARTITION BY нужно указать имя столбца с типом данных Date а в ORDER BY нужно указать стоблец который будет первичным ключом #пример #ReplicatedMergeTree #новый #синтаксис

PARTITION BY creation_date это по-дневные партиции PARTITION BY toYYYYMM(creation_date) по-месячные

PARTITION BY creation_date это по-дневные партиции PARTITION BY toYYYYMM(creation_date) по-месячные

Спасибо еще раз)

path Путь к каталогу с данными. Завершающий слеш обязателен. Пример <path>/var/lib/clickhouse/</path> https://clickhouse.yandex/docs/ru/operations/server_settings/settings/#path

спасибо, проглядел. а будут ли перенесены уже существующие данные при изменении path?

спасибо, проглядел. а будут ли перенесены уже существующие данные при изменении path?

нет (сдержал 5минутный рант с матами), как вообще такие идеи приходят?

нет (сдержал 5минутный рант с матами), как вообще такие идеи приходят?

ну мало ли.

я просто действительно совсем слаб с линуксом и администрированием, и пытаюсь понять как лучше действовать, не будет ли это чревато геморроем в будущем после изменения дефолтной настройки и тп

извините за глупые вопросы

а 42ТБ смонтировано в /home зачем? вертика?

вертики нет, так было изначально

изначально = после установки ОС (делалось не мной)

круто, ржачно.

да сделатьпросто симлинк в папку кликхауса и ок

а вот я смотрю SHOW CREATE TABLE таблицы которая оч давно создавалась (в старом формате еще) и там такое ENGINE = MergeTree ORDER BY DateStamp SETTINGS index_granularity = 8192 это что значит, без партиций создавалось вообще?

без партиций не бывает в кх

@den_crane а вы случаем не занимались преобразованием из MergeTree в ReplicatedMergeTree ? Просто в инструкции: Переименуйте имеющуюся MergeTree таблицу, затем создайте со старым именем таблицу типа ReplicatedMergeTree. Перенесите данные из старой таблицы в поддиректорию detached в директории с данными новой таблицы (/var/lib/clickhouse/data/db_name/table_name/). Затем добавьте эти куски данных в рабочий набор с помощью выполнения запросов ALTER TABLE ATTACH PARTITION на одной из реплик. Не понимаю что имеется ввиду под: Перенесите данные из старой таблицы в поддиректорию detached в директории с данными новой таблицы (/var/lib/clickhouse/data/db_name/table_name/). А где данные старой таблицы лежат ? ls -la /var/lib/clickhouse/data/default/lexa_test_backup/ 19750711_19750711_1_1_0 detached format_version.txt Мне папку состоящую в названии из чисел нужно перенести в /var/lib/clickhouse/data/default/lexa_test ?

без партиций не бывает в кх

а как понять с какой партицией создано? файлы так выглядят all_5458725_5458725_0

Таблица без партиционирования - all_* это одна большая партиция.

мм, то есть оно у меня не разбито реально?

Добрый вечер! Кто-нибудь сталкивался с проблемой подгрузки файла словарей. Три одинаковые ноды на одной файл подгружается на двух других нет. Влоги ни каких ошибок не пишет. Версии 18.10 и 18ю12 пробовал

Привет! Подскажите, пожалуйста, по поводу AggregateFunction Есть Materialized View с ENGINE = AggregatingMergeTree , где есть колонка uniqExactState. Можно ли сделать для этой колонку какую-либо операцию помимо uniqExactMerge? В идеале, как-нибудь развернуть то что находится внутри.

@den_crane а вы случаем не занимались преобразованием из MergeTree в ReplicatedMergeTree ? Просто в инструкции: Переименуйте имеющуюся MergeTree таблицу, затем создайте со старым именем таблицу типа ReplicatedMergeTree. Перенесите данные из старой таблицы в поддиректорию detached в директории с данными новой таблицы (/var/lib/clickhouse/data/db_name/table_name/). Затем добавьте эти куски данных в рабочий набор с помощью выполнения запросов ALTER TABLE ATTACH PARTITION на одной из реплик. Не понимаю что имеется ввиду под: Перенесите данные из старой таблицы в поддиректорию detached в директории с данными новой таблицы (/var/lib/clickhouse/data/db_name/table_name/). А где данные старой таблицы лежат ? ls -la /var/lib/clickhouse/data/default/lexa_test_backup/ 19750711_19750711_1_1_0 detached format_version.txt Мне папку состоящую в названии из чисел нужно перенести в /var/lib/clickhouse/data/default/lexa_test ?

я так не делаю, у меня данных мало, не больше 10ТБ, мне проще insert новая select from старая.

я так не делаю, у меня данных мало, не больше 10ТБ, мне проще insert новая select from старая.

Понял спасибо. Я только что выполнил по инструкции на сайте Преобразование из MergeTree в ReplicatedMergeTree, но данные из старой таблицы в новой не появились. Хотя все без ошибок сделал. Видимо ваш способ единственный правильный))

Добрый вечер! Кто-нибудь сталкивался с проблемой подгрузки файла словарей. Три одинаковые ноды на одной файл подгружается на двух других нет. Влоги ни каких ошибок не пишет. Версии 18.10 и 18ю12 пробовал

А что в логах?

да сделатьпросто симлинк в папку кликхауса и ок

то бишь хранить данные в /home, но поместить симлинк на них в /var/lib/clickhouse/?

ничего, иначе бы я до сути добрался, логирование в trace выставлено

то бишь хранить данные в /home, но поместить симлинк на них в /var/lib/clickhouse/?

Ну это самое простое решение

Понял спасибо. Я только что выполнил по инструкции на сайте Преобразование из MergeTree в ReplicatedMergeTree, но данные из старой таблицы в новой не появились. Хотя все без ошибок сделал. Видимо ваш способ единственный правильный))

Детач аттач отлично работает для этого, плюс это супер быстро, чем перелить данные.

Ну это самое простое решение

спасибо за совет а как наиболее корректно/безопасно перенести уже существующие данные? остановить КХ, скопировать всю папку /var/lib/clickhouse/ и запустить КХ? или это не так просто решается?

Это ок если это то что вам нужно

Если на старом месте у вас ничего не остаётся это ок

понял, спасибо еще раз

Ребят скажите пожалуйста

Я вот хочу перенести данные из таблицы MergeTree в ReplicatedMergeTree

Если я так сделаю

INSERT INTO default.new_table SELECT * FROM default.old_table

это будет же работать ?

при условии что очередность и количество столбцов соблюдено

Попробуйте и узнаете

Ну так сработало

я про в принципе, это правильно ? или лучше так не делать ?

Понял спасибо. Я только что выполнил по инструкции на сайте Преобразование из MergeTree в ReplicatedMergeTree, но данные из старой таблицы в новой не появились. Хотя все без ошибок сделал. Видимо ваш способ единственный правильный))

значит что-то сделали не так

я про в принципе, это правильно ? или лучше так не делать ?

Да, но перед этим делать что-то вроде SET max_threads = 1, max_block_size = 8192; если данных в таблице много

Да, но перед этим делать что-то вроде SET max_threads = 1, max_block_size = 8192; если данных в таблице много

А много это сколько ? в Гигабайтах или в штуках ?

А много это сколько ? в Гигабайтах или в штуках ?

В штуках проще

Ну и если еще активно массивы используете с большим количеством элементов

около 100 млн записей

столбцов около 20

да, выставте ` SET max_threads = 1, max_block_size = 8192;`

да, выставте ` SET max_threads = 1, max_block_size = 8192;`

Это где высталять не подскажите ? Не могу найти в документации на сайте

Прям в консольке

на сессию для вашего юзера будут применены

Понятно теперь) спасибо буду пробовать)

А что в логах?

а нет ли таймаута или счетчика через какое время проверять наличие файла?

на еще одной ноде подцепился файл с диктами

INSERT INTO default.new_table SELECT * FROM default.old_table

Детач аттач сработает за секунды

Детач аттач сработает за секунды

Погодите, разве нужно делать детач ? В инструкции сказано что нужно скопировать файлы старой таблицы, в папку detach новой таблицы, после чего просто выполнить команду ALTER TABLE default.lexa_test ATTACH PARTITION 19750711

Ну я делал все на лету так что надо

Понятно. Мне нужно понять сколько по времени займет перекидывания данных моим способом) мне кажется так проще

Попробую и узнаю)

Ну если данных много то очень много

Привет! Заранее сорри за нубский вопрос, но не нашел в Инете внятного Пжл, ссылку на статью или доки как перекинуть БД с ПостгрисСКЛ на КХ. М.б. есть код, который автоматически заменяет типы полей при создании таблиц в КХ на основе типов в Постгрис? Заранее спасибо

Привет! Заранее сорри за нубский вопрос, но не нашел в Инете внятного Пжл, ссылку на статью или доки как перекинуть БД с ПостгрисСКЛ на КХ. М.б. есть код, который автоматически заменяет типы полей при создании таблиц в КХ на основе типов в Постгрис? Заранее спасибо

Кнопки «сделать все хорошо» пока не существует.

))) это понятно, хотя бы ссылку на статью/пример/доки вроде, типовая задачка - должен был уже кто-то шишки набить )))

))) это понятно, хотя бы ссылку на статью/пример/доки вроде, типовая задачка - должен был уже кто-то шишки набить )))

Есть дока с типами таблиц которые есть в CH. Этого вполне хватит для того чтобы составить схему. Перелить можно чем угодно. Хоть через csv.

Но просто as is переезжать с PG на CH, не оч клевая идея

@stufently @kshvakov @den_crane Перекинул следующим способом из MergeTree в ReplicatedMergeTree: INSERT INTO default.new_table SELECT * FROM default.old_table Elapsed: 98.473 sec. Processed 46.38 million rows, 14.33 GB (471.02 thousand rows/s., 145.50 MB/s.) (это на виртуалке с 4 ядрами, и 15 Гб ОЗУ)

В принципе это быстрее, чем в ручную делать перенос данных на диске, а потом детач и атач и все дела...

Мне так кажется

Детач аттач занимает несколько секунд

А пока наберешь нужные команды со всеми нюансами и параметрами уйдет пару минут)

так что плюс минус времени уходит одинаково

yandex/ClickHouse was tagged: v18.12.14-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v18.12.14-stable Release notes: v18.12.14-stable

))) это понятно, хотя бы ссылку на статью/пример/доки вроде, типовая задачка - должен был уже кто-то шишки набить )))

https://clickhouse.yandex/docs/ru/getting_started/example_datasets/nyc_taxi/#_1 вот тут есть пример, в котором данные сначала заливают в pg, оттуда в КХ

https://clickhouse.yandex/docs/ru/getting_started/example_datasets/nyc_taxi/#_1 вот тут есть пример, в котором данные сначала заливают в pg, оттуда в КХ

спасибо, у меня много табличек, видимо, придется самому написать прогу, которая сгенерит скл-файл, создающий эти таблицы в КХ и вставлющей в нее данные из csv-файлов сдампенных таблиц

Привет!

2018.09.13 17:08:15.628349 [ 23 ] {83} <Error> executeQuery: std::exception. Code: 1001, type: std::bad_typeid, e.what() = std::bad_typeid (from 127.0.0.1:36060) (in query: INSERT INTO dns.traffic VALUES)

Что-то новенькое

Деградация? ;( код вставки не менялся

2018.09.13 17:08:15.628349 [ 23 ] {83} <Error> executeQuery: std::exception. Code: 1001, type: std::bad_typeid, e.what() = std::bad_typeid (from 127.0.0.1:36060) (in query: INSERT INTO dns.traffic VALUES)

Привет. Скорее всего, версия сервера достаточно старая. Проверьте на версии 18.12.14.

сейчас попробую, спасибо :)

спасибо, у меня много табличек, видимо, придется самому написать прогу, которая сгенерит скл-файл, создающий эти таблицы в КХ и вставлющей в нее данные из csv-файлов сдампенных таблиц

Если у вас табличек много, вы уверены что вам КХ нужен?

Если у вас табличек много, вы уверены что вам КХ нужен?

когда всё делал в 5NF очень сложно понять как всё загнать в одну таблицу. А потом узнаешь про массивы...

сейчас попробую, спасибо :)

Какой результат?

пробуем :)

Алексей, а как вы относитесь к chproxy? Я тут, подумав, хочу вместо distributed table использовать аггрегацию на chproxy

Просто так кажется проще добавлять и удалять ноды из кластера с точки зрения управления конфигами

Просто так кажется проще добавлять и удалять ноды из кластера с точки зрения управления конфигами

Я сам не использовал chproxy. Отношусь хорошо :) Вы имеете ввиду просто слияние результатов с разных серверов, без всяких распределённых агрегаций, сортировок?

Вроде, chproxy заявляет, что они делают все то же, что и distributed

Вроде, chproxy заявляет, что они делают все то же, что и distributed

Это почти невозможно.

Вообще, у меня довольно тривиальные запросы пока что. Вот разве что window функций хочется, вы ведь их в некоем виде недавно реализовали, да?

Нет, не реализовали.

а в планах есть реализация?

Нет, не реализовали.