Модель и серийник*

оно всё уникально, однако имя радио моежт быть каким угодно, но и его пишет нормально, когда оно одинаково, если отличается макадрес устройтсва. логика подсказывала, что по аналогии с MySQL все должно работать хорошо, если есть один уникальный столбец. это и смутило. нужно больше читать документов по данному продукту

к тому же, переделал проблемную таблицу на серийник и айпи, что по сути тоже уникально только в случае серийника, а в случае повторения айпи, будет коллизия, что не страшно.

уже 406 строк :) спасибо, @antonio_antuan, огромное за подсказку!

Summing? может просто MergeTree? я не спец но может поможет.

и Вам спасибо

не за что ,я тоже подумал что там агрегация .

yandex/ClickHouse was tagged: v18.14.8-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v18.14.8-stable Release notes: v18.14.8-stable

Обновился до последней версии, поломались словари, кх не стартует(похоже что из-за таблиц с движком словарь). Cannot create external dictionary Code: 409 DB::Exception: clickhouse binary (clickhouse) is not found

Обновился до последней версии, поломались словари, кх не стартует(похоже что из-за таблиц с движком словарь). Cannot create external dictionary Code: 409 DB::Exception: clickhouse binary (clickhouse) is not found

зачем обновляться постоянно - не ясно

в последней версии починили odbc, мне это критично

умвр (брал тут http://repo.yandex.ru/clickhouse/deb/stable/main/) ClickHouse client version 18.14.8. Connecting to localhost:9000. Connected to ClickHouse server version 18.14.8 revision 54409. а словарь смотрит на тот же сервер (localhost:9000)?

словарь смотрит на табличку в SQL Server

т.е. это odbc, я подумал речь про <source> <clickhouse>

<source> <odbc>

Добрый день, есть ли какой-то простой вариант разрешить кликхаусу принимать дату вида "2018-10-13T17:46:23.000000Z" ?

(fluentbit другие не умеет)

* parseDateTimeBestEffort * регуляками или substr отрезать лишнее SELECT parseDateTimeBestEffortOrZero('2018-10-13T17:46:23.000000Z') ┌─parseDateTimeBestEffortOrZero('2018-10-13T17:46:23.000000Z')─┐ │ 2018-10-13 17:46:23 │ └──────────────────────────────────────────────────────────────┘

Обновился до последней версии, поломались словари, кх не стартует(похоже что из-за таблиц с движком словарь). Cannot create external dictionary Code: 409 DB::Exception: clickhouse binary (clickhouse) is not found

А можно попробовать запустить через /usr/bin/clickhouse server --config ...?

Ммм, не очень понимаю, кх запустить с этим ключем?

А можно попробовать запустить через /usr/bin/clickhouse server --config ...?

Вообще кх запустился после дропа таблиц использующих словари. Теперь просто не работают odbc словари.

Ммм, не очень понимаю, кх запустить с этим ключем?

Указать абсолютный путь к бинарнику.

Указать абсолютный путь к бинарнику.

Include not found: clickhouse_remote_servers Include not found: clickhouse_compression

Это ворнинги вроде, не страшно

вот полный листинг

Да, все запустилось, сообщения в конце не страшные.

Похоже глупый баг в odbc-словарях( исправим.

ох уж этот odbc многострадальный(

Пока можно запускать по полному пути, если очень нужно.

Рулон Обоев: Реклама это беспланый хостинг Да, добавление руками, Я добавлю формы ввода Просто я вижу сайт как точку сбора вопросов и сырых ответов, чтобы контрибьюторам было проще. Основной ресурс это должен быть Faq на гитхабе Я перешёл на другой хостинг без рекламы и добавил возможность самим добавлять вопросы и ответы ?

Всем ночи. Кто что может сказать по поводу запуска КХ на старых процессорах (без поддержки SSE 4.2)? Нашёл такую ссылку (https://github.com/yandex/ClickHouse/issues/1170), где говорится, что КХ нужно собрать самому и ссылка на инструкцию (ссылка битая). Данный способ ещё актуален? В основной документации тоже вроде как должна быть ссылка, но её нет.

Всем ночи. Кто что может сказать по поводу запуска КХ на старых процессорах (без поддержки SSE 4.2)? Нашёл такую ссылку (https://github.com/yandex/ClickHouse/issues/1170), где говорится, что КХ нужно собрать самому и ссылка на инструкцию (ссылка битая). Данный способ ещё актуален? В основной документации тоже вроде как должна быть ссылка, но её нет.

Да, способ актуален. Вот ссылка: https://github.com/yandex/ClickHouse/blob/master/docs/en/development/build.md

Спасибо!

понял. а есть какие то грубые этимейты, следующий релиз или дольше? как посоветуете пока обходить? балансируем round robin. пробовать truncate до успеха?

В мастере поправлено.

Обновился до последней версии, поломались словари, кх не стартует(похоже что из-за таблиц с движком словарь). Cannot create external dictionary Code: 409 DB::Exception: clickhouse binary (clickhouse) is not found

Вчера не работали словари odbc, сегодня смотрю в system.dictionaries а там стало пусто. Пробую SYSTEM RELOAD DICTIONARY, словари начали появляться. Только теперь не работает указание схемы, то есть можно подключать таблицы из схемы по умолчанию. <table>xxx.table<table> не работает, <table>table<table> работает.

Вчера не работали словари odbc, сегодня смотрю в system.dictionaries а там стало пусто. Пробую SYSTEM RELOAD DICTIONARY, словари начали появляться. Только теперь не работает указание схемы, то есть можно подключать таблицы из схемы по умолчанию. <table>xxx.table<table> не работает, <table>table<table> работает.

Это всё про ODBC или уже про все внешние словари?

внешние словари, но как я понимаю они по odbc ходят

> Вчера не работали словари odbc, сегодня смотрю в system.dictionaries а там стало пусто. Сейчас кликхаус запускается, потому что абсолютный путь к бинарнику при старте указан или оно само собой как-то запустилось?

В идеале бы сделать issue на гитхабе с описанием.

Само сабой, сейчас я еще поэксперементирую, если не заработает заведу ишью

Как получилось обновится в итоге: 1. Дроп всех таблиц с движком Dictionary которые используют словари с odbc. 2. Обновляемся и получаем ошибку clickhouse binary (clickhouse) is not found в словарях. 3. Выполняем любой запрос вида select * from odbc('DSN=dsn;', table), после этого волшебным образом все начинает работать. 4. Пересоздаем таблицы. Что обнаружил в процессе: 1. Перестало работать указание схемы (писал выше) 2. Тип Date через odbc приходят как 0000-00-00, DateTime работает нормально.

Спасибо, будем разбираться

привет, а можно ли получить консультацию про подключение tableau к CH на маке?

1 установил odbc-драйвер как написано тут: https://github.com/yandex/clickhouse-odbc/blob/master/MACOS.md 2 конфиг прописал, правда не в ~/.odbc.ini, а тут /Library/ODBC/odbc.ini, мой odbc-менеджер его увидел 3 создал с этим драйвером system dsn 4 в табло подключение указываю так:

после Sign In никак сообщение нет, но при поытке выполнить запрос говорит bad connection

чяднт?

Эм, драйвер подставил в выражение FORMAT что-то свое

И это "свое" = ODBCDriver2, но я так полагаю, что в КХ такого формата выдачи результата нет

что можно сделать?

чяднт?

По ссылке написано If you want to connect to new clickhouse server (versions 18.10.3 and later): brew install https://raw.githubusercontent.com/proller/homebrew-core/chodbc/Formula/clickhouse-odbc.rb If you want to connect to old clickhouse server (versions before 18.10.3): brew install https://raw.githubusercontent.com/proller/homebrew-core/chodbcold/Formula/clickhouse-odbc.rb

у меня 18.5.54400, поставил новый

мм..

По ссылке написано If you want to connect to new clickhouse server (versions 18.10.3 and later): brew install https://raw.githubusercontent.com/proller/homebrew-core/chodbc/Formula/clickhouse-odbc.rb If you want to connect to old clickhouse server (versions before 18.10.3): brew install https://raw.githubusercontent.com/proller/homebrew-core/chodbcold/Formula/clickhouse-odbc.rb

спасибо!

после Sign In никак сообщение нет, но при поытке выполнить запрос говорит bad connection

Судя по скриншоту с настройкам речь о Яндекс.Облаке, с таким лучше обращаться в техподдержку

Судя по скриншоту с настройкам речь о Яндекс.Облаке, с таким лучше обращаться в техподдержку

да, уже разобрался. просто в облаке оказалась не самая последняя версия КХ

Привет А нам везет на новой версии. После обновления с 1.1.54327 до 18.12.14 перестали работать запросы по колонке, к которой раньше делали clear column ch1 ? SELECT min(date) from Stats where toYear(date)=2018 and notEmpty(processlist) limit 1; SELECT min(date) FROM Stats WHERE (toYear(date) = 2018) AND notEmpty(processlist) LIMIT 1 Received exception from server (version 18.12.17): Code: 10. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Not found column processlist in block. There are only columns: date. 0 rows in set. Elapsed: 1.198 sec. ch1 ? SELECT min(date) from Stats where date=today() and notEmpty(processlist) limit 1; SELECT min(date) FROM Stats WHERE (date = today()) AND notEmpty(processlist) LIMIT 1 ↓ Progress: 213.03 thousand rows, 229.93 MB (187.17 thousand rows/s., 202.02 MB/s.) ████████████▏ 6%Received exception from server (version 18.12.17): Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 13.18 GiB (attempt to allocate chunk of 4294967296 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/projectName/Stats/20181009_20181012_26400_28006_5/ from mark 99 with max_rows_to_read = 65536). 0 rows in set. Elapsed: 1.739 sec. Processed 213.03 thousand rows, 229.93 MB (122.50 thousand rows/s., 132.22 MB/s.) ch1 ? SELECT min(date) from Stats where date=today() and notEmpty(processlist); SELECT min(date) FROM Stats WHERE (date = today()) AND notEmpty(processlist) ← Progress: 196.61 thousand rows, 212.46 MB (645.30 thousand rows/s., 697.33 MB/s.) 5%Received exception from server (version 18.12.17): Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 12.16 GiB (attempt to allocate chunk of 4294967296 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/projectName/Stats/20181009_20181012_26400_28006_5/ from mark 119 with max_rows_to_read = 65536). 0 rows in set. Elapsed: 0.827 sec. Processed 196.61 thousand rows, 212.46 MB (237.74 thousand rows/s., 256.91 MB/s.) ch1 ? select processlist from Stats where date=today() and notEmpty(processlist) limit 1; SELECT processlist FROM Stats WHERE (date = today()) AND notEmpty(processlist) LIMIT 1 .... Результат .... 1 rows in set. Elapsed: 0.304 sec. Processed 8.19 thousand rows, 5.92 MB (26.90 thousand rows/s., 19.44 MB/s.) Стуктура примерно такая CREATE TABLE Stats ( date Date, dateTime DateTime, processlist Array(String), programlist Array(String) + еще штук 20 колонок, в том числе вычисляемых, но ни с date, ни с processlist\ programlist не связаны ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/projectName/{shard}/Stats', '{replica}', date, (date), 8192)

можно попробовать optimize final для той партиции которой сделали clear, тогда колонка создастся если еще нет.

А почему memory limit у min(date) случается?

Хотя, нет, это у processlist, но для нее нет агригирования, только проверка что не пустая

можно попробовать optimize final для той партиции которой сделали clear, тогда колонка создастся если еще нет.

Уже не вспомним, это полгода назад было....можно всей таблице?

всей таблице не надо. Сколько там записей? Большая таблица?

4 лярда.

2ТБ на диске, но большая часть это processlist\programlist, для которых раз в полгода делаем clear column

а что с optimize move to prewhere? если выключить ?

А без рестарта ноды можно переключить?

SELECT min(date) from Stats where date=today() and notEmpty(processlist) limit 1 settings optimize_move_to_prewhere=0;

ch1 ? SELECT min(date) from Stats where date=today() and notEmpty(processlist) limit 1 settings optimize_move_to_prewhere=0; SELECT min(date) FROM Stats WHERE (date = today()) AND notEmpty(processlist) LIMIT 1 SETTINGS optimize_move_to_prewhere = 0 ↘ Progress: 311.30 thousand rows, 340.65 MB (309.19 thousand rows/s., 338.35 MB/s.) ████████▋ 4%Received exception from server (version 18.12.17): Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 9.63 GiB (attempt to allocate chunk of 1073741824 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/projectName/Stats/20181014_20181014_32715_33209_4/ from mark 179 with max_rows_to_read = 8192). 0 rows in set. Elapsed: 1.162 sec. Processed 311.30 thousand rows, 340.65 MB (267.83 thousand rows/s., 293.09 MB/s.)

ch1 ? select count() from Stats where date=today(); SELECT count() FROM Stats WHERE date = today() ┌─count()─┐ │ 6814863 │ └─────────┘ 1 rows in set. Elapsed: 1.147 sec. Processed 6.82 million rows, 13.63 MB (5.94 million rows/s., 11.89 MB/s.)

ну наверное можно попробовать max_bytes_before_external_group_by поставить в 10 ГБ

типа settings optimize_move_to_prewhere=0,max_bytes_before_external_group_by=10000000000

ch1 ? SELECT min(date) from Stats where date=today() and notEmpty(processlist) limit 1 settings optimize_move_to_prewhere=0,max_bytes_before_external_group_by=100000000000; SELECT min(date) FROM Stats WHERE (date = today()) AND notEmpty(processlist) LIMIT 1 SETTINGS optimize_move_to_prewhere = 0, max_bytes_before_external_group_by = 100000000000 ↙ Progress: 229.38 thousand rows, 247.79 MB (325.06 thousand rows/s., 351.16 MB/s.) ██████▎ 3%Received exception from server (version 18.12.17): Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 9.63 GiB (attempt to allocate chunk of 1073741824 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/projectName/Stats/20181014_20181014_33210_33333_3/ from mark 0 with max_rows_to_read = 8192). 0 rows in set. Elapsed: 0.801 sec. Processed 229.38 thousand rows, 247.79 MB (286.36 thousand rows/s., 309.35 MB/s.)

Хай гайз, а могу я в КХ хранить Decimal а при селекте конверить его в string? Хочу агрегации в decimal считать, а в гошечке читать строку

а если 5 ?

пробвал еще 0 добавить - тоже самое

Хай гайз, а могу я в КХ хранить Decimal а при селекте конверить его в string? Хочу агрегации в decimal считать, а в гошечке читать строку

toString(decimal_pole)

пробвал еще 0 добавить - тоже самое

убавлять надо

все тоже самое

все тоже самое

аа, это не из-за min. я не заметил (while reading column processlist)

1.6G /var/lib/clickhouse/data/projectName/Stats/20181009_20181013_26400_31567_6/processlist.bin

размер колонки в этом куске

размер надо system columns смотреть uncompressed , но по идее влиять он вообще не должен

data_uncompressed_bytes=1004144665531

но я хотел посмотреть именно в курсе на котором падает

думал вдруг туда попало больше 10гб значение(что конечно физически невозможно, но все же)

да и до обновления КХ - все работало