> echo "show create table SomeDb.SomeTable FORMAT [какой же тут формат использовать?];" | clickhouse-client чтобы можно было результат show create table запихнуть в кх? с - - query тожсамое

ну ты посмотри что ты на выхоже получаешь и не будет таких глупых вопросов

по дефолту на выходе гора искейпов, если не использовать format. я мог конечно где-то заглючить... но пока не вижу где

Ну избавиться от них

спасибо, отличный совет, +++

Ну это же решает все плюсы проблемы значит так и надо делать

2018.10.16 21:24:44.077483 [ 52 ] {} <Trace> HTTPHandler-factory: HTTP Request for HTTPHandler-factory. Method: POST, Address: 10.128.0.67:57942, User-Agent: Manticore 0.6.1, Length: 446 2018.10.16 21:24:44.077553 [ 52 ] {} <Trace> HTTPHandler: Request URI: /?query=INSERT%20INTO%20tablename%20FORMAT%20JSONEachRow 2018.10.16 21:24:44.077738 [ 52 ] {903d3151-7025-4123-8e93-eef7017b1a0a} <Debug> executeQuery: (from 10.128.0.67:57942, user: etl) INSERT INTO tablename FORMAT JSONEachRow 2018.10.16 21:24:44.079901 [ 52 ] {903d3151-7025-4123-8e93-eef7017b1a0a} <Trace> tablename (Data): Renaming temporary part tmp_insert_20181016_20181016_109_109_0 to 20181016_20181016_117076_117076_0. 2018.10.16 21:24:44.080085 [ 52 ] {903d3151-7025-4123-8e93-eef7017b1a0a} <Debug> MemoryTracker: Peak memory usage (total): 27.14 MiB. 2018.10.16 21:24:44.080151 [ 52 ] {903d3151-7025-4123-8e93-eef7017b1a0a} <Debug> MemoryTracker: Peak memory usage (for query): 29.64 MiB. 2018.10.16 21:24:44.080176 [ 52 ] {} <Information> HTTPHandler: Done processing query 2018.10.16 21:24:44.573770 [ 5 ] {} <Trace> another_table_name (Data): Found 2 old parts to remove. 2018.10.16 21:24:44.573856 [ 5 ] {} <Debug> another_table_name (Data): Removing part from filesystem 20181015_20181016_211625_213836_650 2018.10.16 21:24:44.576177 [ 5 ] {} <Debug> another_table_name (Data): Removing part from filesystem 20181016_20181016_213837_213837_0 2018.10.16 21:24:49.082544 [ 83 ] {} <Trace> HTTPHandler-factory: HTTP Request for HTTPHandler-factory. Method: POST, Address: 10.128.0.67:57944, User-Agent: Manticore 0.6.1, Length: 248 2018.10.16 21:24:49.082693 [ 83 ] {} <Trace> HTTPHandler: Request URI: /?query=INSERT%20INTO%20tablename%20FORMAT%20JSONEachRow 2018.10.16 21:24:49.082805 [ 83 ] {} <Debug> MemoryTracker: Peak memory usage (for query): 0.00 B. 2018.10.16 21:24:49.082879 [ 83 ] {} <Error> HTTPHandler: Code: 192, e.displayText() = DB::Exception: Unknown user default, e.what() = DB::Exception, Stack trace:

На почту активно приходят письма о закрытии ишью в гитхабе! Это значит что можно ожидать чейнджлог в ближайшее время? :)

У нас опубликован stable релиз, значит скоро должен быть changelog. Правда так получается, что на этой неделе писать его кроме меня некому, так что придётся подождать пару дней.

Дорогие коллеги по чату! Внимательный читатель diff'ов заметил, что в CH появился намёк на внешние интеграции через JDBC (sick!). Функционал аналогичен текущей odbc-интеграции, только черезе JAVA (sick!). Как инициатор и автор сего продукта, я предлагаю branstorm, как мы могли мы сделать этот функционал доступным к использованию всем заинтересованным. Current state: в CH есть функция, аналогичная odbc, которая умеет ходить вовне в "мост", который передаёт обратно данные. P.s. если есть явасеки со стажем, бомбаните пожалуйста лучами критики https://github.com/alex-krash/clickhouse-jdbc-bridge P.p.s. @Alesapin , простите если я своим PR принёс unexpected behavior в работоспосбоность системы

А что такое Manticore? Эта вещь может отправлять запросы без указания user-а?

Всем привет. Чуть покосячили с макросами replica во время переезда зукиперов. В итоге потеряли немного данных. Одна нода кусок в ignored переименовоала, а вторая ругается, что ей ее не дают 2018.10.17 01:14:08.186996 [ 77 ] {31977c6b-e90e-49b4-a9c4-b80786d5dea7} <Trace> Log.AccessLog (Data): Renaming temporary part tmp_insert_20181017_20181017_128_128_0 to 20181017_20181017_201326_201326_0. 2018.10.17 01:27:14.327230 [ 44 ] <Error> Log.AccessLog (StorageReplicatedMergeTree): Renaming unexpected part 20181017_20181017_201326_201326_0 to ignored_20181017_20181017_201326_201326_0 2018.10.17 01:27:14.327239 [ 44 ] <Information> Log.AccessLog (Data): Renaming 20181017_20181017_201326_201326_0 to ignored_20181017_20181017_201326_201326_0 and forgiving it. 2018.10.17 01:27:14.327285 [ 44 ] <Warning> Log.AccessLog (Data): Will not recover parts covered by zero-level part 20181017_20181017_201326_201326_0 Вторая 2018.10.17 01:31:31.427812 [ 8 ] <Information> Log.AccessLog (StorageReplicatedMergeTree): DB::Exception: No active replica has part 20181017_20181017_201326_201326_0 or covering part 2018.10.17 01:31:31.427991 [ 20 ] <Warning> Log.AccessLog (ReplicatedMergeTreePartCheckThread): Checking part 20181017_20181017_201326_201326_0 2018.10.17 01:31:31.428388 [ 20 ] <Warning> Log.AccessLog (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 20181017_20181017_201326_201326_0. 2018.10.17 01:31:31.429153 [ 20 ] <Error> Log.AccessLog (ReplicatedMergeTreePartCheckThread): No replica has part covering 20181017_20181017_201326_201326_0 and a merge is impossible: we didn't find smaller parts with either the same min block or the same max block. 2018.10.17 01:31:31.430740 [ 20 ] <Error> Log.AccessLog (ReplicatedMergeTreePartCheckThread): Part 20181017_20181017_201326_201326_0 is lost forever. Вопрос, можно ли их восстановить? и плохо ли будет если не восстанавливать?

всем здравия) подскажите, конструкция JOIN до сих пор работает лишь с одинаковыми именами столбцов?

Уже можно разные

искал тут

окак, в документации не нашел, подскажите пожалуйста как?

И только через знак "=" =(

спасибо большое, пошел изучать

коллеги, а как посчитать число дней в месяце если есть дата?

SELECT (toStartOfMonth(now()) + toIntervalMonth(1)) - toStartOfMonth(now())

select toDayOfMonth(toStartOfMonth(toStartOfMonth(yesterday())+31)-1)

на 29 февраля сломается

нет, там сначала перевод на начало месяца (1 февраля), потом прибавляется месяц (3 марта), потом перевод в начало месяца (1 марта) и отнимается 1 день (29 февраля)

я бы начал с drop/create distributed таблицы

Столкнулся с необычный проблемой. create default.my_table_3 table error:%!(EXTRA *clickhouse.Exception=code: 117, message: Data directory for table already containing data parts - probably it was unclean DROP table or manual intervention. You must either clear directory by hand or use ATTACH TABLE instead of CREATE TABLE if you need to use that parts.)

Посоветуйте, пжл какие выставить настройки по памяти, что бы хватило запросу. на сервере 4Gb ОЗУ, в конфиге спейчас так: max_memory_usage = 3500000000 max_bytes_before_external_group_by = 3000000000 distributed_aggregation_memory_efficient = 1 max_execution_time = 2000 Запрос с group by падает через 2 минуты в: DB::Exception: Memory limit (for query) exceeded: would use 3.31 GiB (attempt to allocate chunk of 134217728 bytes), maximum: 3.26 GiB

Настройками память на сервере увеличить нельзя

Ребят, мне на работе, когда мы только планировали начать использовать ClickHouse все время говорили, что вот ClickHouse очень хорошо сжимает данные. Вот сегодня мы загрузили 200 млн записей, что на диске заняло 16 Гбайт. Мы планируем загрузить 3 млрд записей, и по расчетам это займет 260 Гбайт. Я ожидал лучшего сжатия если честно. Ну там в 40 Гигов уложится например...

80 байт на запись?

Плюс дождитесь окончания мержей (они идут в фоне)

Там много столбов, клиентские данные

select table, name, formatReadableSize(data_compressed_bytes), formatReadableSize(data_uncompressed_bytes) from system.columns

всем привет

это что такое ?

покажет оригинальный размер и пожатый каждой колонки, сможете найти узкие места

а вот через TSV Reader: err = ch_client.Do(queryString, process_row) ....

ещё можно попробовать разменять процессор на место, включив zstd https://clickhouse.yandex/docs/ru/operations/server_settings/settings/#compression

select table, name, formatReadableSize(data_compressed_bytes), formatReadableSize(data_uncompressed_bytes) from system.columns