О, спасибо, Алексей!

товарищи, а почему format TSVWithNames и CSVWithNames могут выдавать файл без заголовков?

Коллеги, а есть отдельный пункт где-нибудь про то, почему не все строки могут вставляться?

Батч говорит, что вставляет по 500к строк, а в БД их вставляется по 100-200к

Батч говорит, что вставляет по 500к строк, а в БД их вставляется по 100-200к

может режется проксей какой-нибудь? недавно у кого-то была проблема с недополучением данных, может с отправкой тоже может быть такое

ch не сможет распоковать только половину "строк", там в блоке данных колонка за колонкой идут (в батче), так что причину нужно искать до ch

ch не сможет распоковать только половину "строк", там в блоке данных колонка за колонкой идут (в батче), так что причину нужно искать до ch

тоже хотел об этом сказать

поэтому либо батч нагло врет, либо прокся где-нибудь между батчем и кх режет

ну, либо это бага в КХ :) очень большая и грустная

Это странно, т.к. в 2 другие таблицы этот же батч успешно пишет, поэтому и возник вопрос. Попробую поискать причины этого поведения

как можно догадаться, хитрость в том, что гранулярность прийдется сделать гибкую

вы можете посмотреть тут https://github.com/Vertamedia/clickhouse-grafana ребята как раз генерят для динамической гранулярности

@maxlapshin ^

но в целом вроде такой же подход как у тебя

Спасибо

@milovidov_an а сейчас есть возможность узнать сколько занимает индекс для различных таблиц в памяти?

select * from system.parts limit

primary_key_bytes_in_memory: 310 primary_key_bytes_in_memory_allocated: 74048

правильно?

select database, table, sum(primary_key_bytes_in_memory), sum(primary_key_bytes_in_memory_allocated) from system.parts group by database, table;

не подскажите, нет ли какой функции как dictGetT('dict_name', 'attr_name', id), только мне нужно вытащить сразу несколько имен, т.е. не один id, а сразу по списку?

или можно как-то делать запрос к словарю, вроде select name from dict_name where id in (1,2,3)

arrayMap(k->getDict(..k), [1,2,3])

а с точки зрения производительности это нормально?

словарь один фиг в оперативке хранится

хорошо, спасибо

а с точки зрения производительности это нормально?

запросы в словарь делаются пачками по ключам которые нашлись в блоке.

спасибо

Нас 400!

это надо отметить

выкаткой апдейтов и делитов )

Доброе утро. Читаю я тут документацию по AggregatingMergeTree, да по ReplacingMergeTree и думаю: то ли лыжи не едут… Написано, что оба дерева не доводят своё дело до конца: для оптимизации пообъединяют данные, но когда-нибудь потом, пока держите вот недособранные. Правильно я понимаю, что предлагаемый способ работы с этим — создавать цепочки view, первая — materialized, работающая на {Aggregating,Replacing}MergeTree, вторая — не materialized, берущая данные из первой и догрупировывающая как следует?

Второе вью для Aggregated не имеет смысла. Все равно же считаются суммы какие-то, то есть в конечном запросе есть группировка

Для Replacing -- зависит от того, что потом дальше с ним делать

доброе утро подскажите, как писать поле Date при использовании формата вставки JSONEachRow пример: create table testone.table_date ( s String, d Date ) ENGINE = Memory; insert into testone.table_date format JSONEachRow { "d": 1243567543, "s": "hello"} ошибка: Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected " before: 1243567543, "s": "hello"}\n: (at row 1), e.what() = DB::Exception

"2017-01-01" например

Здравсвуйте, а не подскажете где можно посмотреть почему clickhouse-server не стартует? в stderr ничего нет, в clickhouse-server.err.log тоже, systemctl пишет ● clickhouse-server.service - LSB: Yandex clickhouse-server daemon Loaded: loaded (/etc/init.d/clickhouse-server; bad; vendor preset: enabled) Active: active (exited) since Mon 2017-02-20 04:45:48 EST; 1min 50s ago Docs: man:systemd-sysv-generator(8) Process: 32032 ExecStop=/etc/init.d/clickhouse-server stop (code=exited, status=0/SUCCESS) Process: 32048 ExecStart=/etc/init.d/clickhouse-server start (code=exited, status=0/SUCCESS) Feb 20 04:45:47 clickhouse1 su[32088]: pam_unix(su:session): session opened for user clickhouse by (uid=0) Feb 20 04:45:48 clickhouse1 su[32105]: Successful su for clickhouse by root Feb 20 04:45:48 clickhouse1 su[32105]: + ??? root:clickhouse Feb 20 04:45:48 clickhouse1 su[32105]: pam_unix(su:session): session opened for user clickhouse by (uid=0) Feb 20 04:45:48 clickhouse1 su[32117]: Successful su for clickhouse by root Feb 20 04:45:48 clickhouse1 su[32117]: + ??? root:clickhouse Feb 20 04:45:48 clickhouse1 su[32117]: pam_unix(su:session): session opened for user clickhouse by (uid=0) Feb 20 04:45:48 clickhouse1 clickhouse-server[32048]: Start clickhouse-server service: DONE Feb 20 04:45:48 clickhouse1 systemd[1]: Started LSB: Yandex clickhouse-server daemon. Feb 20 04:46:11 clickhouse1 systemd[1]: Started LSB: Yandex clickhouse-server daemon.

Date - это не DateTIme, туда нельзя запихнуть unix timestamp ) впрочем, даже в случае с DateTime не уверен, что там unix timestamp бы сожрался. В таком случае формат "2017-02-20 12:34:56"

Date - это не DateTIme, туда нельзя запихнуть unix timestamp ) впрочем, даже в случае с DateTime не уверен, что там unix timestamp бы сожрался. В таком случае формат "2017-02-20 12:34:56"

чет очень удобное API

Здравсвуйте, а не подскажете где можно посмотреть почему clickhouse-server не стартует? в stderr ничего нет, в clickhouse-server.err.log тоже, systemctl пишет ● clickhouse-server.service - LSB: Yandex clickhouse-server daemon Loaded: loaded (/etc/init.d/clickhouse-server; bad; vendor preset: enabled) Active: active (exited) since Mon 2017-02-20 04:45:48 EST; 1min 50s ago Docs: man:systemd-sysv-generator(8) Process: 32032 ExecStop=/etc/init.d/clickhouse-server stop (code=exited, status=0/SUCCESS) Process: 32048 ExecStart=/etc/init.d/clickhouse-server start (code=exited, status=0/SUCCESS) Feb 20 04:45:47 clickhouse1 su[32088]: pam_unix(su:session): session opened for user clickhouse by (uid=0) Feb 20 04:45:48 clickhouse1 su[32105]: Successful su for clickhouse by root Feb 20 04:45:48 clickhouse1 su[32105]: + ??? root:clickhouse Feb 20 04:45:48 clickhouse1 su[32105]: pam_unix(su:session): session opened for user clickhouse by (uid=0) Feb 20 04:45:48 clickhouse1 su[32117]: Successful su for clickhouse by root Feb 20 04:45:48 clickhouse1 su[32117]: + ??? root:clickhouse Feb 20 04:45:48 clickhouse1 su[32117]: pam_unix(su:session): session opened for user clickhouse by (uid=0) Feb 20 04:45:48 clickhouse1 clickhouse-server[32048]: Start clickhouse-server service: DONE Feb 20 04:45:48 clickhouse1 systemd[1]: Started LSB: Yandex clickhouse-server daemon. Feb 20 04:46:11 clickhouse1 systemd[1]: Started LSB: Yandex clickhouse-server daemon.

а почему под рутом? может не стартует потому что в конфиге остался юзер metrika/clickhouse, а не root?

а он у меня всегда так работал

там недавно был какой-то глобальный переезд с юзера metrika на юзера clickhouse, мб сломалось чего

похоже я в конфиге ошибся, пробовал заинклюдить remote_servers

откатил, всё заработало

но больше то интересно получить какое то объяснение от CH

почему он не смог запуститься

"2017-01-01" например

спасибо)

а всё, видимо я плохо смотрел, в /var/log/clickhouse-server/clickhouse-server.err.log пишет ошибку запуска

как можно оценить сколько записей хранится в одном index_granularity блоке? а то у меня запрос выгребает точно 10 записей, условие where совпадает с первичным ключем полностью, а Processed 54.91 thousand rows. я так подозреваю это 54к строчек в одном блоке?

А данные вибираются из скольки партиций?

двух

я сейчас проверил кейс с предаггрегацией данных, становится конечно быстрее, но <10ms не получается.

Добрый вечер, друзья. Я очень долго не мог перевести ответ @milovidov_an про composite primary key, но наконец-то это сделал. Если найдутся желающие прочитать черновик до публикации - будет замечательно https://medium.com/@f1yegor/clickhouse-primary-keys-2cf2a45d7324

сейчас стандартом вместо "data are" стало "data is"

"That way data are more compressable"

ок, спасибо

в этой же строке правильно " Data is sorted by primary key. That way data is more compressable." видно я колебался)

поэксперементировал с словарями в монге. выяснилось что ошибка с 2017.02.20 15:58:51.040516 [ 6 ] <Error> HTTPHandler: Code: 293, e.displayText() = DB::Exception: Cannot authenticate in MongoDB: server returned response for 'authenticate' command that has field 'ok' missing or having wrong value, e.what() = DB::Exception, Stack trace: возникает только начиная с 1.1.54127. на 1.1.54112 словари подгружаются. но сильно трейсят.

товарищи, а почему format TSVWithNames и CSVWithNames могут выдавать файл без заголовков?

на какой запрос?

глядя на https://github.com/yandex/ClickHouse/compare/v1.1.54112-stable...v1.1.54127-stable?diff=split&name=v1.1.54127-stable думается мне что https://github.com/yandex/ClickHouse/commit/599308aef03bdfcf49778845dc69d2403b0b08ea могло быть не лучшей идей. хотя я тот еще чтец с++

поэксперементировал с словарями в монге. выяснилось что ошибка с 2017.02.20 15:58:51.040516 [ 6 ] <Error> HTTPHandler: Code: 293, e.displayText() = DB::Exception: Cannot authenticate in MongoDB: server returned response for 'authenticate' command that has field 'ok' missing or having wrong value, e.what() = DB::Exception, Stack trace: возникает только начиная с 1.1.54127. на 1.1.54112 словари подгружаются. но сильно трейсят.

Какая версия монги? user password заполнены или пустые?

Какая версия монги? user password заполнены или пустые?

3.2.12

авторизация настроена только по SHA

Какая версия монги? user password заполнены или пустые?

конфиги словарей я не меняю.

user pass заполнены

Доброе утро. Читаю я тут документацию по AggregatingMergeTree, да по ReplacingMergeTree и думаю: то ли лыжи не едут… Написано, что оба дерева не доводят своё дело до конца: для оптимизации пообъединяют данные, но когда-нибудь потом, пока держите вот недособранные. Правильно я понимаю, что предлагаемый способ работы с этим — создавать цепочки view, первая — materialized, работающая на {Aggregating,Replacing}MergeTree, вторая — не materialized, берущая данные из первой и догрупировывающая как следует?

Да, именно так.

авторизация настроена только по SHA

этот тип авторизации еще не поддерживается. есть два варианта - быстрый: завтра будет готов патч который позволит собрать clickhouse с внешней новой poco - и скорее всего заработает. и долгий - с обновлением встроенной poco

Добрый день! Скажите, имея сейчас один сервер КХ, можно ли на его основе сделать кластер не теряя данные? И можно ли по ходу работы масштабировать кластер?

Добрый день Подскажите, какого типа должно быть поле dateDetection, чтобы при create table testone.test ( dateDetection Int64, defaultDate Date DEFAULT toDate(dateDetection) ) ENGINE = Memory в defaultDate записывались правильные данные, а не "0000-00-00"

а что в dateDetection, unix timestamp?

да

не вижу проблем с Int64 хотя UInt32 выглядел бы логичнее, надолго хватить должно еще

:) create database testone :) create table testone.test ( dateDetection Int64, defaultDate Date DEFAULT toDate(dateDetection) ) ENGINE = Memory ; :) insert into testone.test (dateDetection) VALUES (1487664736) :) select * from testone.test 1487664736 2017-02-21

у вас получается 0000-00-00, возможно, потому что вы при вставке таки вставляете что-то в defaultDate?

если вставлять так: insert into testone.test format JSONEachRow {"dateDetection": "1487664735"} , то всё становится плохо

и правда

https://github.com/yandex/ClickHouse/issues/75

TSV/CSV при этом работают норм

всем привет. Делаю относительно сложный insert select с group by, который сильно не влезает в память, и не могу побороть DB::Exception: Memory limit (for query) exceeded. На сервере 32GB памяти, только CH основные настройки: │ max_memory_usage │ 25000000000 │ 1 │ │ max_bytes_before_external_group_by │ 10000000000 │ 1 │ │ max_bytes_before_external_sort │ 10000000000 │ 1 │ │ max_threads │ 8 │ 1 │

вот, что накопал в логах перед ошибкой 2017.02.21 13:02:31.482351 [ 21 ] <Trace> ParallelAggregatingBlockInputStream: Will merge 1546 temporary files of size 76261.6 MiB co mpressed, 291198 MiB uncompressed.

видимо, проблема на уровне мерджа получившегося результата. А как на это повлиять?

aggregation_memory_efficient_merge_threads - это в ту сторону?

Но у него нет описания нигде :(

https://github.com/yandex/ClickHouse/issues/75

Мм, 6 месяцев назад... Спасибо

aggregation_memory_efficient_merge_threads = 1, кажется, помогло. Но в группе оказалось описание этого параметра, и оно противоположное, что параметр нужен был для workaround какой-то баги, которая вроде исправлена. А на самом деле, получается, все это не совсем так.

Подскажите, пожалуйста, как правильно добавить MATERIALIZED столбец на Distributed таблицу? Если просто добавить MATERIALIZED столбец на все таблицы шарда, то он становится доступным на таблицах шарда, но недоступен на Distributed. При пересоздании таблицы Distributed as шард перестает работать вставка

Mikhail Petrov, у меня аналогичная ошибка с памятью. Memory limit (for query). Сисетмные настройки изменяла аналогично, но запрос все равно не тянет. Подскажите как еще можно избежать этого исключения?

я пока не понял, что делать. Проблема ясна, это процесс мерджа результатов внешней группировки. aggregation_memory_efficient_merge_threads =1 исправляет ошибку, но кажется, что мердж становится в разы медленнее, и с ним я продолжать работу пока не стал.

попробовал уже max_memory_usage = 3 * max_bytes_before_external_group_by - все равно на стадии мерджа почти мгновенно память растет до лимита и запрос падает.