Коллеги, привет! На RIW 2017 ищу рекламодателя, который может поделиться опытом использования clickhouse.

Есть, но из Украины:)

Есть, но из Украины:)

А что за клиент?

Решардинг сейчас не поддерживается.

А не подкажете какой-нибудь способ _на живую_ увеличить количество шардов в кластере? Хотелось бы конечно еще и данные не протерять при этом :)

Вопрос не про КХ, а про табикс. Может быть, у кого-то есть опыт

Кто-нибудь знает, с чем связано ограничение tabix на Not readonly CH user? И можно ли это как-то обойти? Конечно, там поддерживается readonly = 2, но это позволяет сделать SET profile = 'blah-blah' и обойти ограничения, которые хотелось поставить на юзеров табикса

А не подкажете какой-нибудь способ _на живую_ увеличить количество шардов в кластере? Хотелось бы конечно еще и данные не протерять при этом :)

Мы делали по-простому: создавали аналогичные таблицы заново на всех шардах, меняли distributed-таблицу, куда инсертили данные. старые данные перелили через insert into ... select * from ... Можно по партициям это делать, если с местом плохо.

Мы делали по-простому: создавали аналогичные таблицы заново на всех шардах, меняли distributed-таблицу, куда инсертили данные. старые данные перелили через insert into ... select * from ... Можно по партициям это делать, если с местом плохо.

Спасибо, я думаю создать новый кластер поверх дополнительного оборудования и также копией таблиц.

Кто-нибудь знает, с чем связано ограничение tabix на Not readonly CH user? И можно ли это как-то обойти? Конечно, там поддерживается readonly = 2, но это позволяет сделать SET profile = 'blah-blah' и обойти ограничения, которые хотелось поставить на юзеров табикса

При каждом запросе я посылаю add_http_cors_header=1&log_queries=1

При каждом запросе я посылаю add_http_cors_header=1&log_queries=1

а что это дает? в дев тулз браузера я тоже вижу у нас эти параметры при запросах

add_http_cors_header - без этого не работает tabix - это подставляет доп заголовки CORS log_queries - всегда логировать запросы в system.querys

после обновления clickhouse-client падает с Poco::Exception: Exception: Cannot load time zone W-SU где править конфиг? Ubuntu 12.04.5 LTS

а что это дает? в дев тулз браузера я тоже вижу у нас эти параметры при запросах

Я хотел сделать настройку user_is_readonly - типа галка при подключении Но возможно в будующих версиях эти параметры изменяться, уже есть такие - send_progress_in_http_headers - http_headers_progress_interval_ms Но реализовать их у меня не получилось И поведение Tabix будет не предсказуемо с этой галкой (

Для упрощения -> Requirements: Not readonly CH user )))

Я хотел сделать настройку user_is_readonly - типа галка при подключении Но возможно в будующих версиях эти параметры изменяться, уже есть такие - send_progress_in_http_headers - http_headers_progress_interval_ms Но реализовать их у меня не получилось И поведение Tabix будет не предсказуемо с этой галкой (

понятно, спасибо

Всем привет. Кто нибудь знает функцию для обработки URL, которая отрезает у урла все slug'и, GET-параметры и фрагменты, оставляя только <protocol>://<domain> ? Первое что приходит в голову использовать URLHierarchy(...)[1] , но возможно кто нибудь знает варианты лучше?

после обновления clickhouse-client падает с Poco::Exception: Exception: Cannot load time zone W-SU где править конфиг? Ubuntu 12.04.5 LTS

посмотри /etc/clickhouse-client/config.xml или ты ищешь какой-то особый конфиг?

Всем привет. Кто нибудь знает функцию для обработки URL, которая отрезает у урла все slug'и, GET-параметры и фрагменты, оставляя только <protocol>://<domain> ? Первое что приходит в голову использовать URLHierarchy(...)[1] , но возможно кто нибудь знает варианты лучше?

Может, так? protocol(page) || '://' || domain(page) AS path

Такую красоту хотел оставить навариант Z :) если больше вариантов не будет, то сегодня вечером сравню эффективность обоих подходов

посмотри /etc/clickhouse-client/config.xml или ты ищешь какой-то особый конфиг?

и что мне туда добавить, чтобы нормально загрузить таймзону?

Подскажите, в ClickHouse есть какой-нибудь аналог PIVOT?

и что мне туда добавить, чтобы нормально загрузить таймзону?

/etc/clickhouse-server/config.xml Обычно тут есть секция <timezone>Europe/Moscow</timezone>

посмотрите какое у вас там значение

это же для сервера. или клиент использует эту информацию?

ну у клиента есть свой конфиг, у вас же там как-то появилась таймзона W-SU

Подскажите, в ClickHouse есть какой-нибудь аналог PIVOT?

В запросе или визуализация ?

В запросе или визуализация ?

в запросе

имхо близкое sumIf,countIf...

После RENAME реплицированной таблицы, не могу сделать drop partition на ней, ругается что на другой реплике отсутствует таблица со старым именем

хотя на обеих репликах имя новое, и сама репликация работает, данные реплицируются

о, если дропнуть на другой реплике, то все ок, и по репликации приехало

вопрос снят

Всем привет, а есть у кого-нибудь опыт подружить CH и Talend?

Друзья, а вот такой вопрос. Как себя поведёт клик хаус, если у меня будет 3000 таблиц по 10млн. записей. Раздение по таблицам необходимо по причине постоянно ротации этих таблиц. Вот не будет ли у него проблема с производительностью с таким количеством таблиц?

Всем привет, а есть у кого-нибудь опыт подружить CH и Talend?

У нас есть, обсуждали в этом чате пол года назад ?

Не могу понять в чём ошибка: пробую засунуть в поле ipv6 адрес как FixedString(16) - получаю не то, что на входе. Делаю таким тестовым скриптом: #!/bin/bash DB=proba DATATABLE=iptest # for debug: start from scratch clickhouse-client —echo —database=$DB —query="DROP TABLE IF EXISTS $DB.$DATATABLE" echo Creating table $DB.$DATATABLE if needed clickhouse-client —echo —database=$DB —multiline —query="CREATE TABLE IF NOT EXISTS $DB.$DATATABLE ("\ "d Date, ip_prefix String, ip6 FixedString(16) default toFixedString('',16), ip6str String, prefix_len UInt8 ) ENGINE = MergeTree(d, (d, ip6), 8192)" echo '{"timestamp": "2017-09-14", "ip_prefix": "2a0b:aa80::/29"}' \ | clickhouse-local —table=TMP \ —input-format=JSONEachRow \ —verbose \ —structure='timestamp String,ip_prefix String' \ —query=\ "SELECT timestamp, ip_prefix, (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum('0') as ip6, (position(ip_prefix,':') > 0) ? extract(ip_prefix,'^(.+)/') : '' as ip6str, (position(ip_prefix,'/') > 0) ? toUInt8(extract(ip_prefix,'/([0-9]+)')) : 0 as prefix_len FROM TMP FORMAT CSV" \ | clickhouse-client —database=$DB —query="INSERT INTO $DB.$DATATABLE FORMAT CSV" —progress clickhouse-client —database=$DB —query="SELECT *, IPv6NumToString(ip6) as ip6fromNum, IPv6NumToString(IPv6StringToNum('2a0b:aa80::')) FROM $DB.$DATATABLE FORMAT Vertical" В результатет получаю такое:DROP TABLE IF EXISTS proba.iptest Creating table proba.iptest if needed CREATE TABLE IF NOT EXISTS proba.iptest (d Date, ip_prefix String, ip6 FixedString(16) default toFixedString('',16), ip6str String, prefix_len UInt8 ) ENGINE = MergeTree(d, (d, ip6), 8192) Executing query: CREATE TABLE TMP (timestamp String,ip_prefix String) ENGINE = File(JSONEachRow, stdin) Executing query: SELECT timestamp, ip_prefix, (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum('0') as ip6, (position(ip_prefix,':') > 0) ? extract(ip_prefix,'^(.+)/') : '' as ip6str, (position(ip_prefix,'/') > 0) ? toUInt8(extract(ip_prefix,'/([0-9]+)')) : 0 as prefix_len FROM TMP FORMAT CSV Read 1 rows, 42.00 B in 0.005 sec., 190 rows/sec., 7.82 KiB/sec. Row 1: ────── d: 2017-09-14 ip_prefix: 2a0b:aa80::/29 ip6: \0\0\0\0\0\0\0\0\0\0\0\0\0\0\0 ip6str: 2a0b:aa80:: prefix_len: 29 ip6fromNum: 1100:: <------— откуда здесь такое значение вместо 2a0b:aa80:: ? IPv6NumToString(IPv6StringToNum(\'2a0b:aa80::\')): 2a0b:aa80::

Добрый день, а можно ли этот запрос выполнить оптимальней, чтобы не делать двойной проход: SELECT 'soft' as type, userId, uniq(Email) as counts from table where date >= '2017-09-01' and level = 2 group by userId union all SELECT 'other' as type, userId, count() as counts from table where date >= '2017-09-01' and level <> 2 group by userId

select multiIf(level=2, 'soft', 'other') as type ...

Расхождения между репликами устраняются. Но part is lost forever говорит о том, что некоторого куска не будет на всех репликах и достать его неоткуда.

А кроме причин "lost forever" описанных вот тут: https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/StorageReplicatedMergeTree.cpp Могут быть еще какие-то? или хотя бы в какую сторону посмотреть? Непонятно почему куски теряются. Редко, но бывает. Причем иногда в тех таблицах, по которым нет активности около месяца.

Всем привет. Когда достигается лимит выделенной памяти, кликхаус перестает реагировать на запросы и просто кушает память, пока его не вырубишь. Подскажите, это нормальное поведение или нет? Поднят в докере, конфиги из родного репозитория.

А в функцию timeSlot не планируется добавить возможность менять размер слота?

Например не 30 минут, а 5 секунд?

а чем range + arrayMap не устраивает?

а, timeslot просто округление делает, и вам надо произвольную гранулярность?

Да. Есть например время в 23 секунды и надо округлить до 20

Можно с делением поиграться на самом деле

да, intDiv multiply

Всем привет. Когда достигается лимит выделенной памяти, кликхаус перестает реагировать на запросы и просто кушает память, пока его не вырубишь. Подскажите, это нормальное поведение или нет? Поднят в докере, конфиги из родного репозитория.

Up. Хелп плиз. Куда копать? При достижении лимита памяти кликхаус намертво виснет, отжирая память.

Всем привет. Когда достигается лимит выделенной памяти, кликхаус перестает реагировать на запросы и просто кушает память, пока его не вырубишь. Подскажите, это нормальное поведение или нет? Поднят в докере, конфиги из родного репозитория.

Уточните общий размер оперативной памяти, доступной и настройки КХ по лимитам по памяти

Не могу понять в чём ошибка: пробую засунуть в поле ipv6 адрес как FixedString(16) - получаю не то, что на входе. Делаю таким тестовым скриптом: #!/bin/bash DB=proba DATATABLE=iptest # for debug: start from scratch clickhouse-client —echo —database=$DB —query="DROP TABLE IF EXISTS $DB.$DATATABLE" echo Creating table $DB.$DATATABLE if needed clickhouse-client —echo —database=$DB —multiline —query="CREATE TABLE IF NOT EXISTS $DB.$DATATABLE ("\ "d Date, ip_prefix String, ip6 FixedString(16) default toFixedString('',16), ip6str String, prefix_len UInt8 ) ENGINE = MergeTree(d, (d, ip6), 8192)" echo '{"timestamp": "2017-09-14", "ip_prefix": "2a0b:aa80::/29"}' \ | clickhouse-local —table=TMP \ —input-format=JSONEachRow \ —verbose \ —structure='timestamp String,ip_prefix String' \ —query=\ "SELECT timestamp, ip_prefix, (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum('0') as ip6, (position(ip_prefix,':') > 0) ? extract(ip_prefix,'^(.+)/') : '' as ip6str, (position(ip_prefix,'/') > 0) ? toUInt8(extract(ip_prefix,'/([0-9]+)')) : 0 as prefix_len FROM TMP FORMAT CSV" \ | clickhouse-client —database=$DB —query="INSERT INTO $DB.$DATATABLE FORMAT CSV" —progress clickhouse-client —database=$DB —query="SELECT *, IPv6NumToString(ip6) as ip6fromNum, IPv6NumToString(IPv6StringToNum('2a0b:aa80::')) FROM $DB.$DATATABLE FORMAT Vertical" В результатет получаю такое:DROP TABLE IF EXISTS proba.iptest Creating table proba.iptest if needed CREATE TABLE IF NOT EXISTS proba.iptest (d Date, ip_prefix String, ip6 FixedString(16) default toFixedString('',16), ip6str String, prefix_len UInt8 ) ENGINE = MergeTree(d, (d, ip6), 8192) Executing query: CREATE TABLE TMP (timestamp String,ip_prefix String) ENGINE = File(JSONEachRow, stdin) Executing query: SELECT timestamp, ip_prefix, (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum('0') as ip6, (position(ip_prefix,':') > 0) ? extract(ip_prefix,'^(.+)/') : '' as ip6str, (position(ip_prefix,'/') > 0) ? toUInt8(extract(ip_prefix,'/([0-9]+)')) : 0 as prefix_len FROM TMP FORMAT CSV Read 1 rows, 42.00 B in 0.005 sec., 190 rows/sec., 7.82 KiB/sec. Row 1: ────── d: 2017-09-14 ip_prefix: 2a0b:aa80::/29 ip6: \0\0\0\0\0\0\0\0\0\0\0\0\0\0\0 ip6str: 2a0b:aa80:: prefix_len: 29 ip6fromNum: 1100:: <------— откуда здесь такое значение вместо 2a0b:aa80:: ? IPv6NumToString(IPv6StringToNum(\'2a0b:aa80::\')): 2a0b:aa80::

Неужто никто не ткнёт пальцем в чём косяк? Кладу в базу одно значение, а вынимаю другое. Вроде простая штука и всё по букварю делаю...

Up. Хелп плиз. Куда копать? При достижении лимита памяти кликхаус намертво виснет, отжирая память.

и что значит "отжирая" ? размер занимаемой памяти увеличивается? и что в логах ?

Не могу понять в чём ошибка: пробую засунуть в поле ipv6 адрес как FixedString(16) - получаю не то, что на входе. Делаю таким тестовым скриптом: #!/bin/bash DB=proba DATATABLE=iptest # for debug: start from scratch clickhouse-client —echo —database=$DB —query="DROP TABLE IF EXISTS $DB.$DATATABLE" echo Creating table $DB.$DATATABLE if needed clickhouse-client —echo —database=$DB —multiline —query="CREATE TABLE IF NOT EXISTS $DB.$DATATABLE ("\ "d Date, ip_prefix String, ip6 FixedString(16) default toFixedString('',16), ip6str String, prefix_len UInt8 ) ENGINE = MergeTree(d, (d, ip6), 8192)" echo '{"timestamp": "2017-09-14", "ip_prefix": "2a0b:aa80::/29"}' \ | clickhouse-local —table=TMP \ —input-format=JSONEachRow \ —verbose \ —structure='timestamp String,ip_prefix String' \ —query=\ "SELECT timestamp, ip_prefix, (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum('0') as ip6, (position(ip_prefix,':') > 0) ? extract(ip_prefix,'^(.+)/') : '' as ip6str, (position(ip_prefix,'/') > 0) ? toUInt8(extract(ip_prefix,'/([0-9]+)')) : 0 as prefix_len FROM TMP FORMAT CSV" \ | clickhouse-client —database=$DB —query="INSERT INTO $DB.$DATATABLE FORMAT CSV" —progress clickhouse-client —database=$DB —query="SELECT *, IPv6NumToString(ip6) as ip6fromNum, IPv6NumToString(IPv6StringToNum('2a0b:aa80::')) FROM $DB.$DATATABLE FORMAT Vertical" В результатет получаю такое:DROP TABLE IF EXISTS proba.iptest Creating table proba.iptest if needed CREATE TABLE IF NOT EXISTS proba.iptest (d Date, ip_prefix String, ip6 FixedString(16) default toFixedString('',16), ip6str String, prefix_len UInt8 ) ENGINE = MergeTree(d, (d, ip6), 8192) Executing query: CREATE TABLE TMP (timestamp String,ip_prefix String) ENGINE = File(JSONEachRow, stdin) Executing query: SELECT timestamp, ip_prefix, (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum('0') as ip6, (position(ip_prefix,':') > 0) ? extract(ip_prefix,'^(.+)/') : '' as ip6str, (position(ip_prefix,'/') > 0) ? toUInt8(extract(ip_prefix,'/([0-9]+)')) : 0 as prefix_len FROM TMP FORMAT CSV Read 1 rows, 42.00 B in 0.005 sec., 190 rows/sec., 7.82 KiB/sec. Row 1: ────── d: 2017-09-14 ip_prefix: 2a0b:aa80::/29 ip6: \0\0\0\0\0\0\0\0\0\0\0\0\0\0\0 ip6str: 2a0b:aa80:: prefix_len: 29 ip6fromNum: 1100:: <------— откуда здесь такое значение вместо 2a0b:aa80:: ? IPv6NumToString(IPv6StringToNum(\'2a0b:aa80::\')): 2a0b:aa80::

http://paste.org.ru/?6izk35 - похоже что норм, а какая версия?

http://paste.org.ru/?6izk35 - похоже что норм, а какая версия?

v1.1.54231 Вот и я дивлюсь. Начал уже багу на ровном месте подозревать... Проверил - в 1.1.54236 та же фигня. Может дело в сборке? У меня они на CentOS 7 крутятся.

Уточните общий размер оперативной памяти, доступной и настройки КХ по лимитам по памяти

max_memory_usage у КХ дефолтный - 10000000000, в docker-compose.yml задан лимит 10 Гб для clickhouse-server

и что значит "отжирая" ? размер занимаемой памяти увеличивается? и что в логах ?

потребляет максимум доступной памяти, пока не вырубишь. в контейнере каталог /var/log/clickhouse-server пустой почему-то

https://github.com/yandex/ClickHouse/releases/v1.1.54289-stable was tagged

доброго дня, коллеги! Кинье пжлст ссылку в документацию по апгрейду базы

есть ли там какие-то серьезные сложности, подводные камни?

надо читать чейнжлог и обязательно тестировать

ну и не торопиться с обновлениями сразу ,как они выходят. Порой бывают регрессии, которые хотфиксятся

нет, у меня тяжелый случай - база 0-какая-то, надо до 1.1 хотя бы дотянуть. Вот и возникает вопрос - есть ли какая-то процедура апгрейда базы?

v1.1.54231 Вот и я дивлюсь. Начал уже багу на ровном месте подозревать... Проверил - в 1.1.54236 та же фигня. Может дело в сборке? У меня они на CentOS 7 крутятся.

Нет, дело в старой версии. собрал 1.1.54236 - и в ней плохо.

нет, у меня тяжелый случай - база 0-какая-то, надо до 1.1 хотя бы дотянуть. Вот и возникает вопрос - есть ли какая-то процедура апгрейда базы?

Есть 99% уверенность, что оно нормально проапгрейдится, если просто поставить новую версию на всех репликах. 1% остаётся. Ради этого неплохо было бы сделать бэкап. Бэкап можно путём снапшота диркетории ClickHouse.

спасибо!

Нет, дело в старой версии. собрал 1.1.54236 - и в ней плохо.

Спасибо! Значит буду обновлять. Хотя странно, конечно, что такое незамеченным было.

Я хотел сделать настройку user_is_readonly - типа галка при подключении Но возможно в будующих версиях эти параметры изменяться, уже есть такие - send_progress_in_http_headers - http_headers_progress_interval_ms Но реализовать их у меня не получилось И поведение Tabix будет не предсказуемо с этой галкой (

В одном из прошлых релизов мы сделали так, что настройки можно передавать и в режиме readonly, но только если их значения не отличаются от уже выставленных. То есть, если в профиле по-умолчанию уже указано send_progress_in_http_headers=1, то при передаче по HTTP такой же настройки, сервер не будет ругаться в режиме readonly.

А не подкажете какой-нибудь способ _на живую_ увеличить количество шардов в кластере? Хотелось бы конечно еще и данные не протерять при этом :)

Решардинг (перебалансировка данных) не поддерживается. Но ничто не мешает добавлять новые шарды в кластер, даже налету. Просто в этом случае данные не перебалансируются - будут более заполненные и менее заполненные шарды, нагрузка по шардам будет неравномерной. Это вполне нормальное решение для расширения кластера.

Решардинг (перебалансировка данных) не поддерживается. Но ничто не мешает добавлять новые шарды в кластер, даже налету. Просто в этом случае данные не перебалансируются - будут более заполненные и менее заполненные шарды, нагрузка по шардам будет неравномерной. Это вполне нормальное решение для расширения кластера.

Не поддерживается вообще?

после обновления clickhouse-client падает с Poco::Exception: Exception: Cannot load time zone W-SU где править конфиг? Ubuntu 12.04.5 LTS

Попробуйте установить последний пакет tzdata. Если не поможет - пропишите в config.xml в секции timezone значение Europe/Moscow. Если и это не поможет, то найдите подходящую таймзону в /usr/share/zoneinfo и пропишите её в конфиге.

Не поддерживается вообще?

Да, мы сейчас не поддерживаем это. Было реализовано до стадии "бета", а потом заброшено. Там были нерешённые проблемы. Есть ещё шанс доделать.

Всем привет. Кто нибудь знает функцию для обработки URL, которая отрезает у урла все slug'и, GET-параметры и фрагменты, оставляя только <protocol>://<domain> ? Первое что приходит в голову использовать URLHierarchy(...)[1] , но возможно кто нибудь знает варианты лучше?

URLHierarchy - довольно тяжёлая функция. Для этой задачи конкатенация протокола и хоста будет лучше. Надо будет отдельную функцию сделать.

@milovidov_an а насчёт пивота вопрос был, не будет ли поддержки? Было бы круто если бы она была с ограничением если колонка входит в ключ например

это же для сервера. или клиент использует эту информацию?

Сервер присылает клиенту свою таймзону, а клиент пытается её загрузить для использования.

После RENAME реплицированной таблицы, не могу сделать drop partition на ней, ругается что на другой реплике отсутствует таблица со старым именем

Да, есть такое ограничение. Фактически DROP PARTITION выполняется на реплике-лидере. Если задать запрос на другой реплике, то запрос проксируется. Причём, это проксирование делается неаккуратно - не учитывает тот факт, что имя таблицы на реплике может отличаться.

@milovidov_an Алексей, а по последнему стейблу нет еще changelog'a? В гите не нашел (

Друзья, а вот такой вопрос. Как себя поведёт клик хаус, если у меня будет 3000 таблиц по 10млн. записей. Раздение по таблицам необходимо по причине постоянно ротации этих таблиц. Вот не будет ли у него проблема с производительностью с таким количеством таблиц?

В целом плохо. Если использовать ReplicatedMergeTree с большим количеством таблиц - будет много проблем. Если обычные MergeTree, то будет более-менее работать. Есть два варианта: 1. Всё-таки сделать более грубую ротацию данных. Скажем, не так уж часто бывает, что каждые сутки данными заполняется весь дисковый массив и данные необходимо ротировать чаще. 2. Дождаться реализации партиционирования по произвольному ключу (сейчас в разработке).

А кроме причин "lost forever" описанных вот тут: https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/StorageReplicatedMergeTree.cpp Могут быть еще какие-то? или хотя бы в какую сторону посмотреть? Непонятно почему куски теряются. Редко, но бывает. Причем иногда в тех таблицах, по которым нет активности около месяца.

Можно проследить историю куска по логу сервера (просто grep по его имени). Также есть возможно включить системную таблицу part_log - см. в config.xml - там будет сохраняться история действий со всеми кусками.

Время выполнения не должно отличаться от FORMAT TabSeparated. Но конечно, в случае большого результата, будет медленнее, чем с форматами RowBinary или Native. Увеличение времени может быть случайностью. Если воспроизводится, то хотелось бы пример.

Всем привет. Когда достигается лимит выделенной памяти, кликхаус перестает реагировать на запросы и просто кушает память, пока его не вырубишь. Подскажите, это нормальное поведение или нет? Поднят в докере, конфиги из родного репозитория.

Это бывает, если ограничения на потребление оперативки запросами (max_memory_usage, max_memory_usage_for_user, max_memory_usage_for_all_queries) или размеры кэшей, превышают то количество оперативки, которое доступно на сервере. Значения по-умолчанию (например, max_memory_usage - 10 GB) рассчитаны на полноценный сервер.

Всем привет. Когда достигается лимит выделенной памяти, кликхаус перестает реагировать на запросы и просто кушает память, пока его не вырубишь. Подскажите, это нормальное поведение или нет? Поднят в докере, конфиги из родного репозитория.

У нас есть внутри таск - адаптировать (уменьшать) параметры по-умолчанию под сервер, на котором запущен ClickHouse.

А в функцию timeSlot не планируется добавить возможность менять размер слота?

Мы даже не думали об этом, так как эта функция была почти ненужной. Можно добавить, но я не могу сказать, что это планируется.

Это бывает, если ограничения на потребление оперативки запросами (max_memory_usage, max_memory_usage_for_user, max_memory_usage_for_all_queries) или размеры кэшей, превышают то количество оперативки, которое доступно на сервере. Значения по-умолчанию (например, max_memory_usage - 10 GB) рассчитаны на полноценный сервер.

спасибо

max_memory_usage у КХ дефолтный - 10000000000, в docker-compose.yml задан лимит 10 Гб для clickhouse-server

Надо бы для Docker образа подложить изменённый конфиг с уменьшенным лимитом.

Спасибо! Значит буду обновлять. Хотя странно, конечно, что такое незамеченным было.

Если баг исправлен - значит мы его заметили и не зря делали релизы :)

@milovidov_an а насчёт пивота вопрос был, не будет ли поддержки? Было бы круто если бы она была с ограничением если колонка входит в ключ например

На уровне языка запросов пока не рассматривали. То есть, прямо сейчас не планируем это добавить.

@milovidov_an Алексей, а по последнему стейблу нет еще changelog'a? В гите не нашел (

Changelog скоро будет.

В одном из прошлых релизов мы сделали так, что настройки можно передавать и в режиме readonly, но только если их значения не отличаются от уже выставленных. То есть, если в профиле по-умолчанию уже указано send_progress_in_http_headers=1, то при передаче по HTTP такой же настройки, сервер не будет ругаться в режиме readonly.

Спасибо, задокументирую в табикс

Мы даже не думали об этом, так как эта функция была почти ненужной. Можно добавить, но я не могу сказать, что это планируется.

Это не критично :) Прикидываю разные варианты как все это дело считать. Считаем пики внимания в видео. И было бы не плохо считать перемотку с одного слота в 5 секунд в другой слот в 5 секунд, из-за длины видео, размер слота может меняться. Вроде как эту проблему можно решить путем использования intDiv ) select intDiv(23, 5) * 5, например

Это не критично :) Прикидываю разные варианты как все это дело считать. Считаем пики внимания в видео. И было бы не плохо считать перемотку с одного слота в 5 секунд в другой слот в 5 секунд, из-за длины видео, размер слота может меняться. Вроде как эту проблему можно решить путем использования intDiv ) select intDiv(23, 5) * 5, например

Да, это естественное решение. Просто округлять время.

У меня все еще проще ) Нет времени, есть просто какой то момент в рамках видео, например 14-я секунда видео.