Подскажите, а как программно понять, что при insert не хватило места на диске, есть какой-нибудь out_of_space exception?

Подскажите, а как программно понять, что при insert не хватило места на диске, есть какой-нибудь out_of_space exception?

Да, похоже что вот эту https://github.com/yandex/ClickHouse/blob/2be2b8520b99043b790eb081264b8429f3a1c105/dbms/src/Common/ErrorCodes.cpp#L250

Скажите, а для complex_key_hashed как делать таблицу с движком Dictionary?

а нет ли в планах для внешних словарей убрать ограничение в 500к записей?

Достаточно просто поменять тип словаря с flat на hashed. Преимущество flat в производительности по сравнению с hashed незначительное и заметно только на простых запросах.

привет! мы делаем эксперименты в рамках clickhouse базы и разных BI тулзов. сейчас пытаемся подключить BI tool которые умеет работать с MySQL базок к Clickhouse базе. Поставили ProxySQL, который умеет переписывать синтаксис с MySQL на Clickhouse. Пока что оно заводится, держит connection, и в целом работает. Столкнулись пока что только с одним косяком - запросы типа SELECT col1 FROM table GROUP BY 1 не проходят. Rewrite rules в ProxySQL под такое писать не хотелось бы, потому что жесть. Есть ли в обозримом будущем в Clickhouse базе планы на поддержку GROUP BY 1,2 / ORDER BY 1,2 запросов?

Спасибо. Документация ввела в заблуждение :)

Скажите, а кто-нибудь натравливал на clickhouse-server.log обычный системный logrotate? Хочется логи по сутками все-таки разбивать.

Да, logrotate - рабочий вариант, некоторые коллеги используют. В конфиге clickhouse-server для ротации логов можно указать <size>never</size> - тогда он не будет их ротировать и это остаётся на ваше усмотрение.

привет! мы делаем эксперименты в рамках clickhouse базы и разных BI тулзов. сейчас пытаемся подключить BI tool которые умеет работать с MySQL базок к Clickhouse базе. Поставили ProxySQL, который умеет переписывать синтаксис с MySQL на Clickhouse. Пока что оно заводится, держит connection, и в целом работает. Столкнулись пока что только с одним косяком - запросы типа SELECT col1 FROM table GROUP BY 1 не проходят. Rewrite rules в ProxySQL под такое писать не хотелось бы, потому что жесть. Есть ли в обозримом будущем в Clickhouse базе планы на поддержку GROUP BY 1,2 / ORDER BY 1,2 запросов?

А что там вводит в заблуждение? Кстати, прямо на странице документации есть кнопка "карандаш" - можно её самому быстро поправить. (Нужен только аккаунт на Github)

час поработал после рестарта, опять память выжрал и тормозит

слова "Это метод обеспечивает максимальную производительность среди всех доступных способов размещения словаря." :)

нет, вопрос не снят. пытаюсь поставить из Яндекс-репы yum'ом: Transaction check error: файл / из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета filesystem-3.2-21.el7.x86_64 файл /lib из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета filesystem-3.2-21.el7.x86_64 файл /usr/bin из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета filesystem-3.2-21.el7.x86_64 файл /etc/init.d из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета chkconfig-1.7.4-1.el7.x86_64

Создал реплицируемую таблицу, залил данные через INSERT INTO .. SELECT Вроде всё нормально, но в логе постоянно пишется такое 2018.07.04 12:19:31.594641 [ 2 ] <Debug> load_stat (ReplicatedMergeTreeQueue): Not executing log entry for part 20180317_20180319_285_290_1 because source parts size (30.02 MiB) is greater than the current maximum (4.45 MiB). На что это влияет и что можно подкрутить в настройках чтобы такого не писало?

Tima указание max_block_size/max_insert_block_size перед insert into select лучше взять за привычку, в зависимости от того как вы храните данные и какие они можно сильно уйти по памяти, возможно это нужно сделать в самом КХ или как-то адаптивно просчитывать его и размер мержей при этом @milovidov_an ?

При INSERT ... SELECT, ClickHouse самостоятельно преобразует блоки в более крупные, при необходимости. См. настройки min_insert_block_size_rows, min_insert_block_size_bytes. По-умолчанию должно быть Ок.

Вот не ОК, у нас просто сильно старая версия

Старая версия - в которой даже нет таких настроек?

Скажите, а как можно инициировать обновление mongo словаря? Есть SQL какой-то для этого?

Не думаю что настолько сильно, сейчас нет доступа к серверам, 543* скорее всего, но, мы храним много данных в массивах ***Map и если не выставляться по блокам - мы сильно страдаем при переливе insert select, а такое бывает

страдаем так что пару дней назад я реально скрещивал пальци чтоб 128 gb хватило, и он дошол до 120 и OOM его не прибил

Наверное суть в том, что вам нужно уменьшить размер блока при INSERT SELECT, тогда как есть лишь функциональность - склеивать блоки в более крупные, и она используется по-умолчанию.

Да, для больших значений - больших массивов, тяжёлых состояний агрегатных функций, требуются некоторые доработки - это адаптивный выбор index_granularity и max_block_size.

К сожаленюю я это тоже знаю и нам вот сильно в этом месте нехватает адаптивного index_granularity, сейчас чтоб сильно не афектить всех он сильно маленький, но он нужен не всем. Еще беда в том что в КХ нет транзакций и мы считаем стату в отдельных таблицах, но когда все это копировалось пришел OOM и все убил - как результыт куда-то что-то приехало, а куда-то нет. Может есть смысл расмотреть транзакции, как в том же посгреме (min/max видимости), но не на уровне строк (в КХ это бесполезно), а блоков ?

Такие варианты рассматриваются - можно во время транзакции складывать и мержить part-ы в сторонке от основных данных и затем атомарно добавлять их при коммите. Пока не в ближайших планах.

Я понял, там просто нужно сильно две вещи: во первых делать это в сторонке, а во вторых не мержить до совершения комита - это сильно не нужно и отъедает ресурсы когда так что-то считается

граждане, особенно разработчики.. нет ли в 1.1.54385-1.el7 проблемы с жором памяти?

@milovidov_an Еще о "боли" у нас "старенький" КХ и freeze partition не работают по префиксу с кастомными партициями. Но у нас больше чем одна таблица и хотелось бы freeze tables a,b,c partition 201805 или freeze a,b,c 2018 - мы сами можем добавить, нужно только синтаксис утвердить и, наверное, складывать не в increment, а от даты + какой-то постфикс

Мы ещё сами не решили, какой лучше синтаксис для FREEZE хотя бы просто многих партиций.

Там сильно все сложно, я про ProxySQL, нужно делать поддержку какого-то wire протокола MySQL/PostgreSQL в самом КХ, но там сильно много нюансов.

Оно сейчас достаточно не плохо работает, основная сложность что не все через rewrite rules можно сделать адекватно :)

Привет всем! Начали внедрять кликхаус для ряда задачек. Ищем простое и рабочее решение для репликации из мускула в кликхаус, пока смотрим на https://github.com/Altinity/clickhouse-mysql-data-reader Может есть что-то получше ?

Подскажите, чем можно посмотрить логи запросов в clickhouse? Интересует какие запросы приходили от клиентов.

https://clickhouse.yandex/docs/ru/single/index.html#log_queries

Всем доброго дня! хочу использовать в одном SELECT одну и ту же колонку дважды, конечно под разными алиасами, например так: select a as a1, function(a) as a2 from .... но не получается, и в a1 и в a2 оказываются результаты выполнения function(a), а как правильно?

Всем доброго дня! хочу использовать в одном SELECT одну и ту же колонку дважды, конечно под разными алиасами, например так: select a as a1, function(a) as a2 from .... но не получается, и в a1 и в a2 оказываются результаты выполнения function(a), а как правильно?

ну у меня там строки лога, и во второй колонке будут результаты обработки этой строки... и хотелось видеть и raw-строку, и обработанную

ну у меня там строки лога, и во второй колонке будут результаты обработки этой строки... и хотелось видеть и raw-строку, и обработанную

какую функцию вы пытаетесь использовать?

самописная, рекурсивная - куча регулярок

select number as n, pow(number, 2) as nn from system.numbers limit 10 дак вроде работает же

SELECT a AS a1, splitByChar('b', a) AS a2 FROM (SELECT 'abc' AS a)

Всем доброго дня! хочу использовать в одном SELECT одну и ту же колонку дважды, конечно под разными алиасами, например так: select a as a1, function(a) as a2 from .... но не получается, и в a1 и в a2 оказываются результаты выполнения function(a), а как правильно?

Подскажите плз - max_bytes_before_external_group_by и max_bytes_before_external_sort работают? Я делаю запрос с жирным groupby, который валится по отсутствию памяти, но выставление max_bytes_before_external_group_by не помогает (и в system.settings я его не вижу)

в англ чате только что писали о похожем. это настройки MergeTree, а не system

Английский чат по КХ есть?

ну да, вмето ru напиши en

А как тогда правильно из применить к таблице?

я на вторую часть ответил. запросить можно через SELECT * FROM settings WHERE name = ''

кто-нибудь с таким сталкивался? [63/868] Building CXX object dbms/CMakeFiles/dbms.dir/src/Dictionaries/CacheDictionary.cpp.o FAILED: dbms/CMakeFiles/dbms.dir/src/Dictionaries/CacheDictionary.cpp.o /usr/bin/g++-7 <params> -c ../dbms/src/Dictionaries/CacheDictionary.cpp {standard input}: Assembler messages: {standard input}:212615: Warning: end of file not at end of a line; newline inserted {standard input}: Error: open CFI at the end of file; missing .cfi_endproc directive g++-7: internal compiler error: Killed (program cc1plus)