<Information> Application: It looks like the process has no CAP_NET_ADMIN capability, 'taskstats' performance statistics will be disabled. It could happen due to incorrect ClickHouse package installation. You could resolve the problem manually with 'sudo setcap cap_net_admin=+ep /usr/bin/clickhouse'. Note that it will not work on 'nosuid' mounted filesystems. It also doesn't work if you run clickhouse-server inside network namespace as it happens in some containers. - а для чего этот taskstats нужен?

ясно, я считал что список блоков дедупликации общий вообще для всех таблиц. Т.е. дроп таблицы на ВСЕХ репликах удалит хеши дедупликации?

да, удаление всех реплик таблицы приведет к удалению всей информации о таблице в Зу select * from system.zookeeper where path='<путь к таблице в ZooKeeper>'

Подскажите, как посчитать определенную перцентиль? из коробки не нахожу способа. нет такого?

quantile

quantile

вот спасибо!

<Information> Application: It looks like the process has no CAP_NET_ADMIN capability, 'taskstats' performance statistics will be disabled. It could happen due to incorrect ClickHouse package installation. You could resolve the problem manually with 'sudo setcap cap_net_admin=+ep /usr/bin/clickhouse'. Note that it will not work on 'nosuid' mounted filesystems. It also doesn't work if you run clickhouse-server inside network namespace as it happens in some containers. - а для чего этот taskstats нужен?

в новых версиях КХ умеет профилировать сколько ресурсов потрачено каждой сессией, у вас будет невозможно узнать сколько сети скушала сессия https://events.yandex.ru/lib/talks/6170/ .

спасибо

[2321/5502] Linking CXX executable contrib/llvm/llvm/bin/llvm-tblgen FAILED: contrib/llvm/llvm/bin/llvm-tblgen … library not found for -lLLVM collect2: error: ld returned 1 exit status [2330/5502] Building CXX object contrib/llvm/llvm/lib/MC/CMakeFiles/LLVMMC.dir/MCContext.cpp.o ninja: build stopped: subcommand failed. может кто сталкивался при сборке на MAC-е ?

я это, кажется, решал опцией cmake -DENABLE_EMBEDDED_COMPILER=0

я это, кажется, решал опцией cmake -DENABLE_EMBEDDED_COMPILER=0

сейчас попробую, спасибо

quantile

а обратную операцию можно как-то реализовать? т.е. “в какую квантиль влезает то, где field < threshold”

я это, кажется, решал опцией cmake -DENABLE_EMBEDDED_COMPILER=0

не помогло

а обратную операцию можно как-то реализовать? т.е. “в какую квантиль влезает то, где field < threshold”

histogram?

Вообще список блоков для дедупликации хранится тут select * from system.zookeeper where path='<путь к таблице в ZooKeeper>/blocks/' Truncate этот список чистит, и удаление партиции кажется тоже

Всем спасибо, нашел выход

Hello to all

Подскажите, как посчитать матрицу корелляций всех колонок со всеми? есть какой-нибудь простой способ составить запрос?

не помогло

а если cmake -DENABLE_EMBEDDED_COMPILER=0 -DUSE_INTERNAL_LLVM_LIBRARY=0

а если cmake -DENABLE_EMBEDDED_COMPILER=0 -DUSE_INTERNAL_LLVM_LIBRARY=0

завтра попробую

Добрый день. Я правильно понимаю что ALTER ... UPDATE для полей с типом Decimal на данный момент не возможен?

Добрый, мы просто еще не пробовали :) Можете завести issue на гитхабе - доделаем. Decimal сейчас alfa - может что-то не работать

а подскажите по кафке. я запустил ее по официальной доке, создал топик test, туда записал несколько сообщений, консольным клиентом их вижу. из своего го-клиента туда пишу строки с \n в конце, их тоже вижу. пытаюсь подключиться в КХ, таким образом CREATE TABLE testKafka ( message String ) ENGINE = Kafka SETTINGS kafka_broker_list = '192.168.0.4:9092', kafka_topic_list = 'test', kafka_group_name = 'group1', kafka_row_delimiter = '\n', // без него тоже пробовал kafka_format = 'CSV'; отправляю пару сообщений в кафку, но SELECT * FROM testKafka делает паузу на пол секунды и ничего не возвращает. с выключенной кафкой такая же реакция. в логах по кафке только такое StorageKafka (testKafka): Starting reading 1 streams, 65536 block size Kafka что я делаю не так?

Можно "размножить" строки с помощью array join, произвести все нужные вычисления, а потом обратно собрать с помощью groupArray.

Так и не смог разобраться) Например, у нас есть таблица test и в ней колонка val1. В данной колонке могут быть строковые значения 'a', 'b', 'c', ... и т.д. Заранее список значений неизвестен. Как должен выглядеть запрос, чтобы получить map с количеством этих значений, например (['a', 'b', 'c'], [4, 3, 7])?

Так и не смог разобраться) Например, у нас есть таблица test и в ней колонка val1. В данной колонке могут быть строковые значения 'a', 'b', 'c', ... и т.д. Заранее список значений неизвестен. Как должен выглядеть запрос, чтобы получить map с количеством этих значений, например (['a', 'b', 'c'], [4, 3, 7])?

т.е. у вас даже не в Array эти данные а просто в колонке?

да, это просто строковые данные

А чем банальное select val1, count() from table group by val плохо?

для числовых данных работало sumMap(array(val1), array(toUInt32(1)))

для числовых данных работало sumMap(array(val1), array(toUInt32(1)))

sumMap - совсем для других задач. Вы нашли какое-то очень экзотическое решение простой проблемы.

ну хотелось бы это получить в виде, например, как выдаёт sumMap для дальнейшей обработки и делать это не отдельным запросом, а просто указать как доп поле при select

Добрый, мы просто еще не пробовали :) Можете завести issue на гитхабе - доделаем. Decimal сейчас alfa - может что-то не работать

Понял, спасибо)

а подскажите по кафке. я запустил ее по официальной доке, создал топик test, туда записал несколько сообщений, консольным клиентом их вижу. из своего го-клиента туда пишу строки с \n в конце, их тоже вижу. пытаюсь подключиться в КХ, таким образом CREATE TABLE testKafka ( message String ) ENGINE = Kafka SETTINGS kafka_broker_list = '192.168.0.4:9092', kafka_topic_list = 'test', kafka_group_name = 'group1', kafka_row_delimiter = '\n', // без него тоже пробовал kafka_format = 'CSV'; отправляю пару сообщений в кафку, но SELECT * FROM testKafka делает паузу на пол секунды и ничего не возвращает. с выключенной кафкой такая же реакция. в логах по кафке только такое StorageKafka (testKafka): Starting reading 1 streams, 65536 block size Kafka что я делаю не так?

главное, что непонятно как это расследовать, в логах почти пусто

ну хотелось бы это получить в виде, например, как выдаёт sumMap для дальнейшей обработки и делать это не отдельным запросом, а просто указать как доп поле при select

Понял. Можно сделать что-то типа SELECT tuple( groupArray( vals ), groupArray( counts ) ) as summap from ( SELECT val1 as vals, count() as counts from table group by vals )Но в принципе sumMap наверное мог бы поддерживать и строковые таблицы. Добавьте issue на гитхабе, может быть @b0ch4r0v или кто-то из Яндекса возьмутся доделать sumMap для других типов данных.

спасибо!

а подскажите по кафке. я запустил ее по официальной доке, создал топик test, туда записал несколько сообщений, консольным клиентом их вижу. из своего го-клиента туда пишу строки с \n в конце, их тоже вижу. пытаюсь подключиться в КХ, таким образом CREATE TABLE testKafka ( message String ) ENGINE = Kafka SETTINGS kafka_broker_list = '192.168.0.4:9092', kafka_topic_list = 'test', kafka_group_name = 'group1', kafka_row_delimiter = '\n', // без него тоже пробовал kafka_format = 'CSV'; отправляю пару сообщений в кафку, но SELECT * FROM testKafka делает паузу на пол секунды и ничего не возвращает. с выключенной кафкой такая же реакция. в логах по кафке только такое StorageKafka (testKafka): Starting reading 1 streams, 65536 block size Kafka что я делаю не так?

Хм. А если попробовать вставить не пару сообщений а пару тысяч сообщений?

kafkacat'ом например.

Кстати им же можно проверить нормально ли работает подключение к кафке "из вне" (kafkacat можно запустить в режиме консьюмера, он использует ту же библиотеку для доступа к кафке что и кликхаус).

отцы, а кто может рассказать про clickhouse и openssl: openssl s_client -connect localhost:8443 -servername localhost -debug -tls1 read from 0x181a9d0 [0x182cbc3] (5 bytes => 5 (0x5)) 0000 - 15 03 01 00 02 ..... read from 0x181a9d0 [0x182cbc8] (2 bytes => 2 (0x2)) 0000 - 02 28 .( 140471700694928:error:14094410:SSL routines:ssl3_read_bytes:sslv3 alert handshake failure:s3_pkt.c:1493:SSL alert number 40 140471700694928:error:1409E0E5:SSL routines:ssl3_write_bytes:ssl handshake failure:s3_pkt.c:659: --- no peer certificate available --- No client certificate CA names sent --- SSL handshake has read 7 bytes and written 0 bytes --- New, (NONE), Cipher is (NONE) Secure Renegotiation IS NOT supported Compression: NONE Expansion: NONE No ALPN negotiated

ну и вообще, бинарник не слинкован с libssl

где я дурак?

pmap тоже не показывает, что libssl куда-то замаплен

похоже, libssl используется вкомпилированный статически

похоже, libssl используется вкомпилированный статически

угу. В КХ почти все что можно было влинковать статически влинковано. Можно пересобрать с флагами -DUNBUNDLED=1 -DUSE_STATIC_LIBRARIES=0 и вроде бы все должно работать. См. https://github.com/yandex/ClickHouse/blob/master/utils/build/build_debian_unbundled.sh

в общем, причина проблемы была в dhparams

openssl s_client -connect localhost:8443 -debug -cipher 'AECDH-AES256-SHA' - вот так работало и без dhparams

я попробовал ключ сменить с rsa на ecc - не помогло

затем сгенерировал dhparams, и оно взлетело без явного указания cipher со стороны клиента

ох, пришлось еще и ключ с rsa поменять на ecc, а еще есть подозрение, что в сертификате не хватало CA сертификата

Товарищи, подскажите статью по то, как СH работает с памятью, настройки и проч? Вообще как оптимизировать CH под конкретное железо.

оно само )

Товарищи, подскажите статью по то, как СH работает с памятью, настройки и проч? Вообще как оптимизировать CH под конкретное железо.

https://clickhouse.yandex/docs/ru/operations/tips/ ?

Спасибо, почитаю

Товарищи, приветствую всех! Помогите с проблемой, нашёл решение текущих задач в виде использования ClickHouse, но при изучении наткнулся на ряд непонятных моментов, окажите посильную помощь, например использования HTTP интерфейса. Я правильно понимаю, что он может не только localhost? Если да, то как скорректировать конфиг сервера для доступа из вне?

ClickHouse server version 18.10.3 revision 54405.

Товарищи, приветствую всех! Помогите с проблемой, нашёл решение текущих задач в виде использования ClickHouse, но при изучении наткнулся на ряд непонятных моментов, окажите посильную помощь, например использования HTTP интерфейса. Я правильно понимаю, что он может не только localhost? Если да, то как скорректировать конфиг сервера для доступа из вне?

см users.xml

<!-- List of networks with open access. To open access from everywhere, specify: <ip>::/0</ip> To open access only from localhost, specify: <ip>::1</ip> <ip>127.0.0.1</ip> Each element of list has one of the following forms: <ip> IP-address or network mask. Examples: 213.180.204.3 or 10.0.0.1/8 or 10.0.0.1/255.255.255.0 2a02:6b8::3 or 2a02:6b8::3/64 or 2a02:6b8::3/ffff:ffff:ffff:ffff::. <host> Hostname. Example: server01.yandex.ru. To check access, DNS query is performed, and all received addresses compared to peer address. <host_regexp> Regular expression for host names. Example, ^server\d\d-\d\d-\d\.yandex\.ru$ To check access, DNS PTR query is performed for peer address and then regexp is applied. Then, for result of PTR query, another DNS query is performed and all received addresses compared to peer address. Strongly recommended that regexp is ends with $ All results of DNS requests are cached till server restart. --> <networks incl="networks" replace="replace"> <ip>::/0</ip> </networks>

listen_host

Привет. Прошу совета по задаче. Есть необходимость считать активность за период по части пользователей - например, по 10% всех пользователей. Есть вариант делать джойн с подзапросом select distinct userId from table_name limit 10000 Есть ли менее затратный способ сделать то же самое?

если таблица сделана с поддержкой семплирования по юзерам, то from table sample 0.1

или сделать семплирование руками, where hash(userid) < 0.1*max_value

но это будет по времени работать как полный запрос

@SneakyThrows @proller спасибо, буду разбираться

Хм. А если попробовать вставить не пару сообщений а пару тысяч сообщений?

спасибо, кафкэт помог расследовать ситуацию??, оказалось кафка на локалхост только подключался.

@SneakyThrows @proller спасибо, буду разбираться

config.xml: <listen_host>::</listen_host>

config.xml: <listen_host>::</listen_host>

Решил добавлением ip сервера

всем привет. есть задачка, на ооооочень тормозное оборудование (4 ядра 8 гб памяти) выгрузить 3 таблички, в колоночном виде это примерно 3гб. попробовал выгрузить первую (256 мб), сконвертировал в tsv, получился файл 1.5 гб, целиком он не лезет поэтому разложил его в файлики по 1000 строк. Но это самая маленькая таблица, а ведь есть еще на 1,2 гб и 1,5 гб в колоночном виде. если я попробую загрузить это через нативный формат кликхаус не будет пытаться прожевать файл целиком и будет читать кусками или нет? какой альтернативный способ перетащить данные? через freeze?

freeze и потом attach

ну или просто реплики табличек поднять на новом сервере

реплики не получится, спасибо

Кстати, а r/o реплики возможны?

Хочу дублировать свежие записи в тестовую базу.

И, естественно, не хочу, чтоб из тестовой базы что-либо попадало в основную

всем привет. есть задачка, на ооооочень тормозное оборудование (4 ядра 8 гб памяти) выгрузить 3 таблички, в колоночном виде это примерно 3гб. попробовал выгрузить первую (256 мб), сконвертировал в tsv, получился файл 1.5 гб, целиком он не лезет поэтому разложил его в файлики по 1000 строк. Но это самая маленькая таблица, а ведь есть еще на 1,2 гб и 1,5 гб в колоночном виде. если я попробую загрузить это через нативный формат кликхаус не будет пытаться прожевать файл целиком и будет читать кусками или нет? какой альтернативный способ перетащить данные? через freeze?

Он его и так не весь будет загружать, а построчно. Сделайте архив

Кстати, а r/o реплики возможны?

Нет

Ясно, только insert из select.

И, естественно, не хочу, чтоб из тестовой базы что-либо попадало в основную

так вы просто туда ничего не записывайте )

Он его и так не весь будет загружать, а построчно. Сделайте архив

FORMAT Native ?

реплики не получится, спасибо

почему не получится ?

почему не получится ?

изолированные сети

Не получится, это _тестовая_ база, а не нечто для хранения архива

задачка разовая

ну тогда фриз и аттач , быстро и эффективно

FORMAT Native ?

Любой

всем привет. есть задачка, на ооооочень тормозное оборудование (4 ядра 8 гб памяти) выгрузить 3 таблички, в колоночном виде это примерно 3гб. попробовал выгрузить первую (256 мб), сконвертировал в tsv, получился файл 1.5 гб, целиком он не лезет поэтому разложил его в файлики по 1000 строк. Но это самая маленькая таблица, а ведь есть еще на 1,2 гб и 1,5 гб в колоночном виде. если я попробую загрузить это через нативный формат кликхаус не будет пытаться прожевать файл целиком и будет читать кусками или нет? какой альтернативный способ перетащить данные? через freeze?

Что это значит -- не лезет? Если тупо уменьшить max_insert_block_size до 1000 это будет тоже самое что и файлики по 1000.

@kshvakov Кирилл, не подскажете, в каком формате массивные структуры из го-клиента в кафку удобней лить?

Добрый день! Подскажите пожалуйста, можно ли поменять движок таблицы на 500 Гб с MergeTree на ReplacingMergeTree без создания новых таблиц и боли?

Подскажите пож, встречался кто с такой ошибкой при работе с ClickHouse через DataGrip? Code: 158, e.displayText() = DB::Exception: Limit for rows to read exceeded: 1941192704 rows read (or to read), maximum: 1000000000, e.what() = DB::Exception

Подскажите пож, встречался кто с такой ошибкой при работе с ClickHouse через DataGrip? Code: 158, e.displayText() = DB::Exception: Limit for rows to read exceeded: 1941192704 rows read (or to read), maximum: 1000000000, e.what() = DB::Exception

Есть такая стандартная настройка max_rows_to_read. https://clickhouse.yandex/docs/ru/single/#max_rows_to_read Можно попробовать её перебить через параметр в строке коннекта JDBC: jdbc:clickhouse://blabla/?max_rows_to_read=XXXX, но это не точно

Есть такая стандартная настройка max_rows_to_read. https://clickhouse.yandex/docs/ru/single/#max_rows_to_read Можно попробовать её перебить через параметр в строке коннекта JDBC: jdbc:clickhouse://blabla/?max_rows_to_read=XXXX, но это не точно

не помоголо(

Всем привет! Подскажите пожалуйста насчет decimal типов, создаю новую БД и хочется уже их использовать. Они стабильны в части записи, мат. операций или лучше по старинке пока целыми обойтись? Кто использовал подскажите плиз...