Блин, судя по названиям партиций, Clickhouse при указании колонки типа Date в качестве ключа партиционирования наваливает данные в партции по месяцам...

если вы использовали старый синтаксис для создания merge tree, то да, он использует столбец с датой, но партиции делает по toYYYYMM(_)

В том то и дело, что новый. Просто у меня там было Partition by (eventDate), где eventDate - колонка типа Date

Я, конечно могу ошибаться из-за первой версии таблицы, которую могли не обновить

Но факт в том, что show create table показал мне partition by и там был eventDate

И партиции по месяцам раскладывались

Так не должно быть. Можете проверить на простом примере?

подозрительно.

Так не должно быть. Можете проверить на простом примере?

Да

Сейчас займусь

Хм, все работает отлично. Скорее всего не обновили таблицу и я подумал, что с КХ что-то не так. Прошу прощения за диверсию :)

Спасибо :)

Так не должно быть. Можете проверить на простом примере?

а можно так партицирование на лету изменить ?

а можно так партицирование на лету изменить ?

Лично я менял партиционирование переливкой данных

а можно так партицирование на лету изменить ?

Нет.

Спасибо :)

А если у меня в ключе партиционирования кортеж, например, (eventType, eventDate), то при запросе select ... from table where eventType = 'some-type', поиск затронет только те партиции, которые относятся к этому eventType?

Да.

Да.

Супер! Спасибо!

Приветствую. Есть вопрос про бэкап/репликацию. В документации говорится, что для этого лучше всего делать репликацию на несколько серверов и если кто-то что-то удалил, то просто на одной из реплик нужно взять данные путем ATTACH PARTITION. Не совсем понятен принцип. То есть на одном сервере, который в кластере нам нужно скажем, каждый час по крону делать DETACH? Чтобы в случае чего восстановиться?

Приветствую. Есть вопрос про бэкап/репликацию. В документации говорится, что для этого лучше всего делать репликацию на несколько серверов и если кто-то что-то удалил, то просто на одной из реплик нужно взять данные путем ATTACH PARTITION. Не совсем понятен принцип. То есть на одном сервере, который в кластере нам нужно скажем, каждый час по крону делать DETACH? Чтобы в случае чего восстановиться?

Если кто-то что-то удалил - это тоже реплицируется, например DROP PARTITION.

Приветствую. Есть вопрос про бэкап/репликацию. В документации говорится, что для этого лучше всего делать репликацию на несколько серверов и если кто-то что-то удалил, то просто на одной из реплик нужно взять данные путем ATTACH PARTITION. Не совсем понятен принцип. То есть на одном сервере, который в кластере нам нужно скажем, каждый час по крону делать DETACH? Чтобы в случае чего восстановиться?

а если дроп тейбл делать то оно не реплицируется

Если кто-то что-то удалил - это тоже реплицируется, например DROP PARTITION.

Да, я это понимаю, отсюда и вопросы у меня. Просто если мы будем DETACH/FREEZE делать, то оно будет выгружаться в detached/shadow каталоги и можем оттуда их достать путем ATTACH PARTITION. Вот хотелось бы понять это так как я описал или все-таки есть какой-то true-way способ, которым рекомендуют пользоваться. Как интересно в Яндексе это реализовано?!

ну а зачем удалять то ?

фриз делает в целом хардлинки и если удалить из кх то данные все равно по идее останутся

Да, я это понимаю, отсюда и вопросы у меня. Просто если мы будем DETACH/FREEZE делать, то оно будет выгружаться в detached/shadow каталоги и можем оттуда их достать путем ATTACH PARTITION. Вот хотелось бы понять это так как я описал или все-таки есть какой-то true-way способ, которым рекомендуют пользоваться. Как интересно в Яндексе это реализовано?!

DETACH отцепит кусок данных от таблицы и он не будет доступен, FREEZE сдалает хардлинк, т.е. и данные будут доступны и бэкап на том же сервере

Всем привет Есть ли какой-то механизм для отправки метрик clickhouse в graphite или statsd ? Чтобы лучше понимать что происходит с кластером.

Всем привет Есть ли какой-то механизм для отправки метрик clickhouse в graphite или statsd ? Чтобы лучше понимать что происходит с кластером.

да, есть https://clickhouse.yandex/docs/ru/single/#graphite

Спасибо!

Товарищи, всем доброго. Вопрос возник, не кидайтесь в меня лучами добра, пожалуйста. archlinux x64, попытка установить из aur. Результат: Building CXX object dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o In file included from /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Storages/System/StorageSystemAsynchronousMetrics.cpp:5:0: /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h: В функции-члене «virtual DB::BlockInputStreams DB::StorageSystemAsynchronousMetrics::read(const Names&, const DB::SelectQueryInfo&, const DB::Context&, DB::QueryProcessingStage::Enum&, size_t, unsigned int)»: /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h:96:45: ошибка: «*((void*)&<anonymous> +8)», возможно, используется без инициализации в данной функции [-Werror=maybe-uninitialized] const size_t size_to_append = s.size() + 1; ~~~~~~^~ cc1plus: все предупреждения считаются ошибками make[3]: *** [dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/build.make:63: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o] Ошибка 1 make[2]: *** [CMakeFiles/Makefile2:4078: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/all] Ошибка 2 make[1]: *** [CMakeFiles/Makefile2:5483: dbms/src/Server/CMakeFiles/clickhouse.dir/rule] Ошибка 2 make: *** [Makefile:1252: clickhouse] Ошибка 2 Уже пятый день бьюсь, не арбайтенит.

юзайте в докере его

А нативно никак?

Ну тут видимо надо заморочиться, уже сто лет сказать честно не компилил ничего. если чего то нет в репах то реально проще это в докере принести

Всем привет. Скажите, какой тип атрибута словаря лучше использовать при загрузке поля из Postgres c типом bool?

Товарищи, всем доброго. Вопрос возник, не кидайтесь в меня лучами добра, пожалуйста. archlinux x64, попытка установить из aur. Результат: Building CXX object dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o In file included from /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Storages/System/StorageSystemAsynchronousMetrics.cpp:5:0: /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h: В функции-члене «virtual DB::BlockInputStreams DB::StorageSystemAsynchronousMetrics::read(const Names&, const DB::SelectQueryInfo&, const DB::Context&, DB::QueryProcessingStage::Enum&, size_t, unsigned int)»: /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h:96:45: ошибка: «*((void*)&<anonymous> +8)», возможно, используется без инициализации в данной функции [-Werror=maybe-uninitialized] const size_t size_to_append = s.size() + 1; ~~~~~~^~ cc1plus: все предупреждения считаются ошибками make[3]: *** [dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/build.make:63: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o] Ошибка 1 make[2]: *** [CMakeFiles/Makefile2:4078: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/all] Ошибка 2 make[1]: *** [CMakeFiles/Makefile2:5483: dbms/src/Server/CMakeFiles/clickhouse.dir/rule] Ошибка 2 make: *** [Makefile:1252: clickhouse] Ошибка 2 Уже пятый день бьюсь, не арбайтенит.

cmake -DNO_WERROR=1

Ну тут видимо надо заморочиться, уже сто лет сказать честно не компилил ничего. если чего то нет в репах то реально проще это в докере принести

вообще оказалось довольно легко он собирается, можно и через инструкцию по сборке и через cmake, и всяких примеров думаю уйма на гитхабе

Товарищи, всем доброго. Вопрос возник, не кидайтесь в меня лучами добра, пожалуйста. archlinux x64, попытка установить из aur. Результат: Building CXX object dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o In file included from /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Storages/System/StorageSystemAsynchronousMetrics.cpp:5:0: /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h: В функции-члене «virtual DB::BlockInputStreams DB::StorageSystemAsynchronousMetrics::read(const Names&, const DB::SelectQueryInfo&, const DB::Context&, DB::QueryProcessingStage::Enum&, size_t, unsigned int)»: /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h:96:45: ошибка: «*((void*)&<anonymous> +8)», возможно, используется без инициализации в данной функции [-Werror=maybe-uninitialized] const size_t size_to_append = s.size() + 1; ~~~~~~^~ cc1plus: все предупреждения считаются ошибками make[3]: *** [dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/build.make:63: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o] Ошибка 1 make[2]: *** [CMakeFiles/Makefile2:4078: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/all] Ошибка 2 make[1]: *** [CMakeFiles/Makefile2:5483: dbms/src/Server/CMakeFiles/clickhouse.dir/rule] Ошибка 2 make: *** [Makefile:1252: clickhouse] Ошибка 2 Уже пятый день бьюсь, не арбайтенит.

yaourt -S clickhouse

Всем привет. Скажите, какой тип атрибута словаря лучше использовать при загрузке поля из Postgres c типом bool?

https://clickhouse.yandex/docs/ru/single/#_80

Подскажите как удалить партиции за определенную дату со всех реплик

alter table TABLE on cluster CLUSTER_NAME drop partition PARTITION

должен быть включен distributed ddl

Подскажите как удалить партиции за определенную дату со всех реплик

DROP PARTITION реплицируется

Ок. Спасибо

alter table TABLE drop partition PARTITION должно быть достаточно

DROP PARTITION реплицируется

в пределах шарда же?

Да

Реплики тоже вроде как в пределах шарда )

https://clickhouse.yandex/docs/ru/single/#_80

чет ссылка ведет просто на доку. Можешь поточнее скинуть?)

а все, нашлось. Спасибо

yaourt -S clickhouse

Он эту ошибку и выдаёт.

а все, нашлось. Спасибо

пожалуйста)

Подскажите пожалуйста, решал ли кто-нибудь задачу поставить CH без рута ?

А можете пояснить по FREEZE? Попробовал на большой активной таблице (постоянно идет запись) - исходник около 25000 файлов, в архвие 50. По размеру как будто тоже раза в 2 меньше. Он мержит перед архивацией? Или что-то игнорирует? Или у меня запрос еще не закончился? Я подождал минут пять, ничего не меняется.

cmake -DNO_WERROR=1

Низкий тебе поклон! Спасибо огромное!

@proller а я давно говорил, что от -Werror одно зло

А можете пояснить по FREEZE? Попробовал на большой активной таблице (постоянно идет запись) - исходник около 25000 файлов, в архвие 50. По размеру как будто тоже раза в 2 меньше. Он мержит перед архивацией? Или что-то игнорирует? Или у меня запрос еще не закончился? Я подождал минут пять, ничего не меняется.

FREEZE бэкапит только активные куски, а в директории таблицы лежат ещё и старые (которые были помержены). Старые удаляются через 8 минут.

FREEZE бэкапит только активные куски, а в директории таблицы лежат ещё и старые (которые были помержены). Старые удаляются через 8 минут.

понял, спасибо

подскажите, плиз, ошибка точь-в-точь как в ишью, куда копнуть чтобы долго и мучительно не выяснять в чем проблема? https://github.com/yandex/ClickHouse/issues/1617

Приветы. А знает ли кто-нибудь как натравить ALTER TABLE [db.]table DETACH PARTITION на список партиций одной командой в консоли? Допустим, я получил список партиций селектом из system.parts и хочу сделать им всем detach. Спасибо.

ну мне кажется тут проще копированием схемы и дроп тейбл делать

А или вы не все партиции хотите в таблице удалить ?

Приветы. А знает ли кто-нибудь как натравить ALTER TABLE [db.]table DETACH PARTITION на список партиций одной командой в консоли? Допустим, я получил список партиций селектом из system.parts и хочу сделать им всем detach. Спасибо.

В цикле, например: https://github.com/ClickHouse-Ninja/clickhouse-partition-cleaner/blob/master/clickhouse-partition-cleaner#L59

нет, не все. Задача - отцепить старые и ненужные, унести их куда-то в сторонку.

ну, цикл-то на bash'e я могу написать без проблем. Вопрос в том, можно ли это сделать красиво

Почитав документацию, встроенных итераторов я не нашел

В цикле, например: https://github.com/ClickHouse-Ninja/clickhouse-partition-cleaner/blob/master/clickhouse-partition-cleaner#L59

А скрипт клевый, спасибо. Положу в копилку :)

Приветы. А знает ли кто-нибудь как натравить ALTER TABLE [db.]table DETACH PARTITION на список партиций одной командой в консоли? Допустим, я получил список партиций селектом из system.parts и хочу сделать им всем detach. Спасибо.

пока никак.

пока никак.

Спасибо, буду использовать итератор снаружи

В цикле, например: https://github.com/ClickHouse-Ninja/clickhouse-partition-cleaner/blob/master/clickhouse-partition-cleaner#L59

Вчера нечто подобное писал для проекта...чистит партиции старше определенного возраста

Видимо, задача выносить старье из ch появилась не только у меня

Видимо, задача выносить старье из ch появилась не только у меня

Ну просто они известно как называются

если я хочу изменить индекс в таблице t0, можно сделать как-то проще, чем // есть таблица t0(d Date, x Int8, y Int8) engine = MergeTree(d, (x, y), 8192) // хочу индекс (y, x) create table t1 engine = MergeTree(d, (y, x), 8192) as select * from t0 drop table t0 // хочу индекс (x, y) create table t0 engine = MergeTree(d, (x, y), 8192) as select * from t1 drop table t1 ?

На самом деле эта таблица еще и распределенная/шардированная по 3 нодам, хочется как-то минимальными усилиями это сделать

Господа, а можно ли поменять PARTITION BY для таблицы? Меня устроит, что предыдущие части будут лежать как лежали, всё равно в конце-концов таки удалятся. Вот будущие бы...

сейчас нельзя. вариант с сохранением старых данных со старым ключом партиционирования, скорее всего, будет сложно сделать

если я хочу изменить индекс в таблице t0, можно сделать как-то проще, чем // есть таблица t0(d Date, x Int8, y Int8) engine = MergeTree(d, (x, y), 8192) // хочу индекс (y, x) create table t1 engine = MergeTree(d, (y, x), 8192) as select * from t0 drop table t0 // хочу индекс (x, y) create table t0 engine = MergeTree(d, (x, y), 8192) as select * from t1 drop table t1 ?

проще не получится. нужно пересортировывать данные с новым ключом, это все равно полный проход по ним

Да, это понятно, я рассчитывал на какой-то шорткат

Спасибо

сейчас нельзя. вариант с сохранением старых данных со старым ключом партиционирования, скорее всего, будет сложно сделать

а есть какой-то способ преобразовать старые данные? или только INSERT INTO ... FROM SELECT?

сейчас только insert select

А есть смысл делать MATERIALIZED VIEW с движком Replicated...? Он ведь, как я понимаю, тоже может иначе со временем стать различным?

Просто на репликах уже есть Replicated таблицы, хватит того, что данные на них реплицируются, или вьюшку лучше тоже реплицировать? И как тогда всё это будет работать: не задвоятся ли данные на VIEW, если сначала попадут туда с реплицируемой таблицы, а потом при репликации самого VIEW? ...

materilized view не будет наполняться на реплике

боюсь ошибиться, но кажется, что при фетче кусков вставка в VIEW не происходит. если так, то придется делать Replicated

Ага, спасибо. Значит надо.

Добрый день! В CH есть функция подобная rank() (нумерация строк)?

>rowNumberInAllBlocks() - вероятно это

Как-то можно отдебажить причину вылета клиента? Коннекчусь через докер (```clickhouse-client —host $REMOTE_CH_HOST```), запускаю запрос и он (клиент) через пару секунд отваливается молча

на сервере 2018.04.02 14:38:52.824757 [ 264 ] <Error> executeQuery: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof, e.what() = DB::Exception (from 10.8.0.174:57874) (in query: CREATE TABLE shard_0.foo_2 ENGINE = ReplicatedMergeTree('/clickhouse/tables/0/foo_2’, 'node0', day, (x, y), 8192) as select * from shard_0.foo), Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x15) [0x82e3db5] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x21) [0x2cc1371] 2. /usr/bin/clickhouse-server(DB::throwReadAfterEOF()+0x4c) [0x2cc13dc] 3. /usr/bin/clickhouse-server(DB::readVarUInt(unsigned long&, DB::ReadBuffer&)+0x1f9) [0x2cd2de9] 4. /usr/bin/clickhouse-server(DB::TCPHandler::isQueryCancelled()+0x149) [0x2ccd139] 5. /usr/bin/clickhouse-server(DB::TCPHandler::processOrdinaryQuery()+0x2fe) [0x2ccddae] 6. /usr/bin/clickhouse-server(DB::TCPHandler::runImpl()+0x547) [0x2cd12e7] 7. /usr/bin/clickhouse-server(DB::TCPHandler::run()+0x2a) [0x2cd1f2a] 8. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xe) [0x85caf8e] 9. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x169) [0x85cb369] 10. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x76) [0x8be1c86] 11. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x37) [0x8bdde97] 12. /usr/bin/clickhouse-server() [0x8d9675e] 13. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76b9) [0x7f2d0d4926b9] 14. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6c) [0x7f2d0cebf41c] 2018.04.02 14:38:52.851555 [ 264 ] <Warning> TCPHandler: Client has gone away.

сейчас только insert select

ок, спасибо

Что странно - count() по таблице назначения растет, т.е. вроде как все в порядке

привет, а как жить, если при вставке в distributed получаю такой вот отлуп? Block structure mismatch in RemoteBlockOutputStream stream: different number of columns При этом та же вставка в локальную таблицу - все ок. Distributed создается так: CREATE TABLE reports_1.events_all AS reports_1.events .... Полагаю, что дело в полях, которые имеют default значение и не заполняются явно при вставке