Привет ребят, объясните пожалуйста начинающему, что произойдет, если в таблицу MergeTree добавить дублирующие данные, которые уже там есть, они перезапишутся или продублируются? В случае перезаписи, они будут сравниваться по ключевым столбцам указанным при создании таблицы? Я допускаю, что скрипт по добавлению данных, может криво сработать и не добавить данные и чтоб не удалять партицию за месяц, я думаю может еще повторно добавить просто?

продублируются

повторно можно добавлять идентичные блоки данных, тогда CH сам профильтрует дубль (не добавит), но для этого таблица должна быть типа Replicated*

повторно можно добавлять идентичные блоки данных, тогда CH сам профильтрует дубль (не добавит), но для этого таблица должна быть типа Replicated*

Привет! можно ли создать таблицу типа Replicated, имея только одну ноду?

можно, но необходимо поставить zookeeper

можно, но необходимо поставить zookeeper

спасибо.

может кто в курсе, есть ли в планах поддержка consul/etc?

Кто нибудь использует Click в качестве многомерной витрины в DWH ?

продублируются

спасибо всем

Вроде как ничего не изменилось (

Вроде как ничего не изменилось (

+1?

Привет, как очистить базу не партициями а полностью?

Сделать на лидере DROP PARTITION всем партициям. Truncate вроде нет

Что это значит Сделать на лидере? Я недавно вкатился

Если нет шардирования или реплик, то на единственной вашей ноде сделать

В общем для случаев одного инстанса это не важно

ок

Я просто делаю дроп тейбл если надо почистить таблицу

Так потом заново создавать нужно же

Ребят такая проблемма, выполняю запрос clickhouse-client --query="INSERT INTO storage FORMAT CSV" < text.csv получаю ошибку Code: 117. DB::Exception: Expected end of line. Но если сделать head text.csv -n 10 > text.txt и инсертить получившийся text.txt то все хорошо. В чем проблема?

Ребят такая проблемма, выполняю запрос clickhouse-client --query="INSERT INTO storage FORMAT CSV" < text.csv получаю ошибку Code: 117. DB::Exception: Expected end of line. Но если сделать head text.csv -n 10 > text.txt и инсертить получившийся text.txt то все хорошо. В чем проблема?

Последняя пустая строка?

нет

Ребят такая проблемма, выполняю запрос clickhouse-client --query="INSERT INTO storage FORMAT CSV" < text.csv получаю ошибку Code: 117. DB::Exception: Expected end of line. Но если сделать head text.csv -n 10 > text.txt и инсертить получившийся text.txt то все хорошо. В чем проблема?

Ну если head -n 10 отрабатывает, то очевидно ошибка после первых 10и записей ? Играя с параметром -n можно найти где именно...

Да, вы правы

Можно как-то игнорировать такие строки?

$ clickhouse-client --help | grep allow --input_format_allow_errors_num arg Settings.h --input_format_allow_errors_ratio arg Settings.h

Установил в конфиг файле input_format_allow_errors_num=1000 и input_format_allow_errors_ratio=1, в таблице system.settings показано что значения изменены. Умпортирую 2 строки все таже ошибка

Может кто сталкивался с проблемой Движок ReplicatedSummingMergeTree У меня в том списке, где указаны колонки, по которым нужно проводить суммирование, колонки идут не в том порядке, в каком указаны в таблице. Так вот начиная с той колонки, у которой порядок отличается данные левые. Первые две колонки (их порядок такой же, как и в таблице) все бъется с другим источником, а дальше идет не та колонка, которая идет в описании таблицы (в описании она вообще последняя) и вот после нее в данных полный хаос версия 1.1.54245 вроде в описании нет, что порядок должен соблюдаться на репликах описание одинаковое

Нет, не сталкивался. Сейчас сделал тест, чтобы еще раз убедиться. Вроде бы все правильно работает https://dpaste.de/iEJR

А кто может подсказать что за ошибка "2017.09.23 22:03:40.825975 [ 13 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 10, e.displayText() = DB::Exception: Not found column metric in block. There are only columns: Path, Value, Time, Date, Timestamp, e.what() = DB::Exception, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x330d636] 1. clickhouse-server(DB::Exception::Exception(std::string const&, int)+0x1f) [0x1424d8f] 2. clickhouse-server(DB::Block::getPositionByName(std::string const&) const+0x93) [0x2bf8e63] 3. clickhouse-server(DB::GraphiteRollupSortedBlockInputStream::readImpl()+0x4ba) [0x357a6ca] 4. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x1e6) [0x2c17e56] 5. clickhouse-server(DB::MergeTreeDataMerger::mergePartsToTemporaryPart(DB::MergeTreeDataMerger::FuturePart const&, DB::MergeListEntry&, unsigned long, long, DB::DiskSpaceMonitor::Reservation*, bool)+0x293f) [0x34692bf] 6. clickhouse-server(DB::StorageMergeTree::merge(unsigned long, bool, std::string const&, bool, bool)+0x4c7) [0x33b3877] 7. clickhouse-server(DB::StorageMergeTree::mergeTask()+0x14b) [0x33b41eb] 8. clickhouse-server(DB::BackgroundProcessingPool::threadFunction()+0x40e) [0x3492c8e] 9. clickhouse-server() [0x3fca62f] 10. /lib/x86_64-linux-gnu/libpthread.so.0(+0x7e9a) [0x7f09b241de9a] 11. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f09b1a4336d]" ?

CH 1.1.54292

А как запрос выглядит?

Подскажите, SELECT toUInt64(number) as n FROM system.numbers LIMIT 50 FORMAT JSON Возращает n как строку в json, что то мне кажется был параметр что бы изменить поведение ... а то tabix плохо рисует при _Int64

Подскажите, SELECT toUInt64(number) as n FROM system.numbers LIMIT 50 FORMAT JSON Возращает n как строку в json, что то мне кажется был параметр что бы изменить поведение ... а то tabix плохо рисует при _Int64

А надо что бы как число возвращал?

https://clickhouse.yandex/docs/ru/operations/settings/settings.html#output-format-json-quote-64bit-integers

Вот эта опция

Точно, спасибо! Помню было в чате)

Точно, спасибо! Помню было в чате)

Не за что )

А кто может подсказать что за ошибка "2017.09.23 22:03:40.825975 [ 13 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 10, e.displayText() = DB::Exception: Not found column metric in block. There are only columns: Path, Value, Time, Date, Timestamp, e.what() = DB::Exception, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x330d636] 1. clickhouse-server(DB::Exception::Exception(std::string const&, int)+0x1f) [0x1424d8f] 2. clickhouse-server(DB::Block::getPositionByName(std::string const&) const+0x93) [0x2bf8e63] 3. clickhouse-server(DB::GraphiteRollupSortedBlockInputStream::readImpl()+0x4ba) [0x357a6ca] 4. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x1e6) [0x2c17e56] 5. clickhouse-server(DB::MergeTreeDataMerger::mergePartsToTemporaryPart(DB::MergeTreeDataMerger::FuturePart const&, DB::MergeListEntry&, unsigned long, long, DB::DiskSpaceMonitor::Reservation*, bool)+0x293f) [0x34692bf] 6. clickhouse-server(DB::StorageMergeTree::merge(unsigned long, bool, std::string const&, bool, bool)+0x4c7) [0x33b3877] 7. clickhouse-server(DB::StorageMergeTree::mergeTask()+0x14b) [0x33b41eb] 8. clickhouse-server(DB::BackgroundProcessingPool::threadFunction()+0x40e) [0x3492c8e] 9. clickhouse-server() [0x3fca62f] 10. /lib/x86_64-linux-gnu/libpthread.so.0(+0x7e9a) [0x7f09b241de9a] 11. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f09b1a4336d]" ?

А какой запрос?

А кто может подсказать что за ошибка "2017.09.23 22:03:40.825975 [ 13 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 10, e.displayText() = DB::Exception: Not found column metric in block. There are only columns: Path, Value, Time, Date, Timestamp, e.what() = DB::Exception, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x330d636] 1. clickhouse-server(DB::Exception::Exception(std::string const&, int)+0x1f) [0x1424d8f] 2. clickhouse-server(DB::Block::getPositionByName(std::string const&) const+0x93) [0x2bf8e63] 3. clickhouse-server(DB::GraphiteRollupSortedBlockInputStream::readImpl()+0x4ba) [0x357a6ca] 4. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x1e6) [0x2c17e56] 5. clickhouse-server(DB::MergeTreeDataMerger::mergePartsToTemporaryPart(DB::MergeTreeDataMerger::FuturePart const&, DB::MergeListEntry&, unsigned long, long, DB::DiskSpaceMonitor::Reservation*, bool)+0x293f) [0x34692bf] 6. clickhouse-server(DB::StorageMergeTree::merge(unsigned long, bool, std::string const&, bool, bool)+0x4c7) [0x33b3877] 7. clickhouse-server(DB::StorageMergeTree::mergeTask()+0x14b) [0x33b41eb] 8. clickhouse-server(DB::BackgroundProcessingPool::threadFunction()+0x40e) [0x3492c8e] 9. clickhouse-server() [0x3fca62f] 10. /lib/x86_64-linux-gnu/libpthread.so.0(+0x7e9a) [0x7f09b241de9a] 11. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f09b1a4336d]" ?

Может переименовали дефолтные поля для graphitemergetree? Тогда старые значения через rollup xml можно задать

В исходниках по старому, скорее всего ты у себя переименовал. Грепни path_column_name в конфигах

@rlomonosov : хмммм... спасибо, проверю

Гайз, перерыл настройки выставил допустимые ошибки при иморте, но кликхаус просто их игнорирует. В чем проблема может быть? В таблице settings показано что значения изменены

а это точно настройки севера? я думал это настройки клиента... что то типа того: clickhouse-client --input_format_allow_errors_num 20 --query "insert into table format CSVWithNames" < input.csv

Ну я через user.xml сделал, это по сути настроки клиента

а это точно настройки севера? я думал это настройки клиента... что то типа того: clickhouse-client --input_format_allow_errors_num 20 --query "insert into table format CSVWithNames" < input.csv

так тоже пробовал

В исходниках по старому, скорее всего ты у себя переименовал. Грепни path_column_name в конфигах

Не то чтоб переименовал - просто заюзал старый rollup.xml от graphouse ?‍♂️ Закомментировал секцию с путями - все побежало, мержится

Всем привет. Подскажите, плиз, тут попалась интересная задачка. Нужно посчитать среднее время просмотра страницы в разрезе по номеру визита пользователя. т.е. какой сколько времени пользователи проводят на сайте при первом заходе , при втором, десятом и так далее. Табличка формата |date|dateTime|userId|visitTime| Номера показа не хранится. Идея держать счетчики в другой БД и указывать при инсерте - не катит, так как отчет нужно по старым данным. Чувствую что нужно использовать что-то вроде runningAccumulate или rowNumberInAllBlocks, но как пока не понимаю.

P R А версия какая? Эти опции кажется в 254 ввели или где то там. Не так что бы совсем давно.

Коллеги, а никто не видел/не делает плагин ClickHouse для Atom.io? Было бы супер круто тк tabix течёт жутко

tabix в докер, и ограничить по памяти)

scale 3 и пусть перезапускаются

Эм...табикс жрет опкративку на клиенте

И жутко лагает на клиенте

А не в докере

Эм...табикс жрет опкративку на клиенте

дададада Я от безисходности смотрю в сторону связки CH+ProxySQL+Atom.io (MYSQL API)

Я мониторю табикс, но пока сижу на нативном клиенте

Все круто, но лаги капец как напрягают (

может оперативки купить?)

у кого то и продукты jetbrains тормозят

может оперативки купить?)

если вкладку не закрывать через 24 часа выжирает 8+ гигов

Я мониторю табикс, но пока сижу на нативном клиенте

нативный клиент крут и удобен, но хотелось бы IDE

а что за задача такая что важно не закрывать ее так долго?)

ну и есть всякое такое https://chrome.google.com/webstore/detail/tab-wrangler/egnjhciaieeiiohknchakcodbpgjnchh

вкладку меняет на заглушку после неактивности потом размораживаешь когда надо )

это костыли

у меня не лагает не знаю)

может оперативки купить?)

Блин, 32 гига на аймаке

dbeaver? не всё гладко, конечно. но всё приятнее чем в браузере

У нас fluent builder запросов да и нативный клиент уже запал в душу

У нас fluent builder запросов да и нативный клиент уже запал в душу

Что за зверь?

Что за зверь?

github.com/the-tinderbox/ClickhouseBuilder

Коллеги, а никто не видел/не делает плагин ClickHouse для Atom.io? Было бы супер круто тк tabix течёт жутко

Последний билд? Который на ui.tabix.io?

Последний билд? Который на ui.tabix.io?

он самый

подскажите, а от чего зависит формат выдачи результата клиента? делаю группировку по 1 значению - 1 таблица в результате, делаю по другому - разбивается на много мелких табличек

может просто прописать формат?

Например так FORMAT TabSeparatedWithNames

он рисует по мере того как блоки с данными приходят, 1 блок - 1 таблица

принудительное указание формата лечит от этого

с форматом понятно =) просто иногда забываю писать, хотелось понять из-за чего так, мб делаю чтото неправильно

Всем привет. Задал вопрос в гугл группе https://groups.google.com/forum/#!topic/clickhouse/-MCUwcLtkt0 Можете ответить?

принудительное указание формата лечит от этого

если принудительно указать Pretty или PrettyCompact - то не лечится

Всем привет. Задал вопрос в гугл группе https://groups.google.com/forum/#!topic/clickhouse/-MCUwcLtkt0 Можете ответить?

планируем в КХ также писать весь лог биллинга, а можете показать примеры запросов которые вызвали затруднения?

SELECT order_id, datetime, status FROM Orders WHERE offer_id = 1 ORDER BY datetime DESC LIMIT 1 BY order_id LIMIT 100 Вот к примеру запрос. Сделал 2 таблицы Orders с индексами (offer_id,order_id) и (offer_id,order_id,datetime) и никакой разницы в статистике запроса не увидел. Значит индекс по datetime бесполезен?

Запросы в эту таблицу будут в 99% случаев - выборка последней версии заказа по списку Id и по диапозону дат изменения. Выбрать все заказы, изменившиеся в сентябре например.

Добавьте ограничения по date и по datetime в запрос. Тогда разница в статистике будет

Всем привет. Задал вопрос в гугл группе https://groups.google.com/forum/#!topic/clickhouse/-MCUwcLtkt0 Можете ответить?

Дату и время изменения заказа можно включить в индекс. Главное изменения писать не по одной строчке, а пачками. КХ читает данные блоками и каждый блок по умолчанию 8192 строки. Даже если нужно прочитать всего одну строку (например запрос не по первичному ключу), то кх все равно прочитает весь блок данных и выберет нужную строку. Я вообще использую replacing merge tree для обновления данных. Обычная строковая СУБД (MySQL, Postgres) не тянут наши аналитические запросы, а данные по которым мы строим аналитику постоянно обновляются и их не так много (50 к пользователей), но при джоинах кол-во строк для анализа растет до 20 миллионов, поэтому я лично использую replacing merge tree для обновления фактов по которым считается аналитика.

Но при replacing merge tree как я понимаю данные в фоне будут схлопываться и история изменений в итоге потеряется? Получается для истории изменений, чтобы посмотреть кто когда изменил статус например и т.п. стоит заводить отдельную таблицу?

Почитайте в документации про движок CollapsingMergeTree - оно то что вам нужно

Но при replacing merge tree как я понимаю данные в фоне будут схлопываться и история изменений в итоге потеряется? Получается для истории изменений, чтобы посмотреть кто когда изменил статус например и т.п. стоит заводить отдельную таблицу?

Не обязательно. Можно и из merge tree выбирать актуальные данные. Например подзапросом select * from orders order by datetime desc limit 1 by orderId. Получите последние версии всех заказов.

Звездочку не обязательно писать, можно брать только нужные колонки

В общем верно я услышал что в таком подходе ничего криминального нет и кликхаус будет эффективно работать в таком случае. Т.е. в случае когда для кажлого заказа хранится вся история его версий (изменений). Но запросы в 99% будут к выборке по последней его версии? Получается эффективным индексом в таком случае будет offer_id, order_id, date, datetime?

Приведу может еще 1 пример чтобы стало понятнее. У нас в системе в месяц поступает порядка 1 000 000 заказов с большим количеством колонок. По ним нужно очень много всяких статистических выборок и с агрегацией и без. Соответсвтвенно предлагается в кликхаус хранить на каждый заказ еще всю историю его изменений, к примеру на каждый заказ в среднем по 10 записей, получается 10 000 000 записей в месяц. Но все выборки, 99% нужно будет выбирать из представления с ORDER by datetime LIMIT 1 BY order_id чтобы обращаться к последней версии заказа.

Коллеги, добрый день, у меня начала вылезать ошибка DB::Exception: Checksum doesn't match: corrupted data