Добрый вечер. Пробую вывести данные из таблицы в графану, плагин vertamedia. Таблица и запрос:

Добрый. Вы хотите вывести данные на временной график, а выбираете просто столбец без привзяки ко времени. Обратите внимание на секцию https://github.com/Vertamedia/clickhouse-grafana#raw-sql-editor

Вам нужно построить запрос следующим образом: SELECT $timeSeries as t, sum(bits) FROM $table WHERE $timeFilter and direction='incoming' GROUP BY t ORDER BY t

Роман, благодарю вас!

clickhouse way - сделать такую функцию, агрегатную вряд ли, т.к. нужно мержить распределенные состояния, и всякое такое, а вот массив -> массив можно.

Вот runningDifference поторупам давняя моя мечта

Привет=) тоже возник вопрос. Кликхаус сервер упал с сегфолтом, после чего запрос к вьюшке отваливается: DB::Exception: Unknown identifier (in GROUP BY): seller. причем точно такая же пересозданная вьюшка работает нормально, и сам запрос из вьюшки корректно отрабатывается. Где найти вьюшку на диске и как такое вообще можно подебажить?

Посмотрите внимательно в SQL файл на диске, там такой же запрос, которым вы вьюху создавали? У нас такое было, КХ алиасы по-другому переставлял, и после рестарта вьюха не работала

clickhouse way - сделать такую функцию, агрегатную вряд ли, т.к. нужно мержить распределенные состояния, и всякое такое, а вот массив -> массив можно.

Спасибо массив возможно тоже вариант может еще один момент подскажите Установлены настройки по лимитам памяти для сортировки и группировки, но кх на больших группировках все равно выдает ошибки по нехватке памяти посмотрел видео по поводу оптимизации запросов по использованию памяти, но не ко всем задачам это применимо можно как-то кх загнать в какие-то рамки, чтобы он не рубил запросы, а использовал диск в ущерб производительности

Добрый вечер. Подскажите, а порт 9440 "устаканился" или ещё нет для поддержки SSL-cоединений по native протоколу? https://github.com/yandex/ClickHouse/blob/master/dbms/src/Core/Defines.h#L9. Видел, что было раньше 9443: https://github.com/yandex/ClickHouse/blob/ebb4a6a0ed549034eec61a94d85ee092addc73c7/dbms/src/Server/config.xml#L52. Тестинг с этим пока не выкачен ещё судя по всему.

Посмотрите внимательно в SQL файл на диске, там такой же запрос, которым вы вьюху создавали? У нас такое было, КХ алиасы по-другому переставлял, и после рестарта вьюха не работала

Запрос вроде не ттчно такой же) а как это лечить?

Мы запрос переписали :)

чтобы исключить двусмысленность алиасов

Хм, любопытно, кажется понял о чем вы)) потыкаюсь в это, спасибо за наводку)

незнаю баг это или фича, но когда число размерностью uint64 молча обрезается под фактический тип uint32, это большой шанс допустить ошибку )

Добрый вечер. Подскажите, а порт 9440 "устаканился" или ещё нет для поддержки SSL-cоединений по native протоколу? https://github.com/yandex/ClickHouse/blob/master/dbms/src/Core/Defines.h#L9. Видел, что было раньше 9443: https://github.com/yandex/ClickHouse/blob/ebb4a6a0ed549034eec61a94d85ee092addc73c7/dbms/src/Server/config.xml#L52. Тестинг с этим пока не выкачен ещё судя по всему.

9443 оставлен для interserver https

если не найдется серьезных причин менять - останется 9440 , но если нужно - всегда в конфиге можно изменить.

Ага, понятно, спасибо

Ошибка при билде на MacOS Подскажите кто сталкивался с подобным

незнаю баг это или фича, но когда число размерностью uint64 молча обрезается под фактический тип uint32, это большой шанс допустить ошибку )

Буквально на днях с таким столкнулся

Ошибка при билде на MacOS Подскажите кто сталкивался с подобным

я могу ошибаться, но кажется нужен libtool

то есть brew install libtool вероятно поможет

Спасибо...попробую

попробуйте поместить его прямо в config.xml. может, что-то изменится :)

Если кому интересно: так - заработало.

то есть brew install libtool вероятно поможет

Спасибо большое ?...завелось )

ошибка при билде на Mac OS

???

пардон за флуд

Видать нужен мариадб

Не могу понять, либо iconv требует, либо мариадб

Но как я понял мариадб требует что бы был iconv

Попробуйте iconv для начала поставить

я на маке развернул кликхаус на aws на убунту, установку ни осилил )

https://pastebin.com/deUVJCJQ сегодня при стандартном ежедневном инсерте КХ словил сегфолт, подскажите что с ним случилось?

я на маке развернул кликхаус на aws на убунту, установку ни осилил )

Дак на убунте он с пакетов встает нормально

я с пакетов и поставил, сборка на маке какойто ад

Ребят, а что там с JOIN ... ON в итоге? Планируется/не планируется?

раз зашла речь про join.. планируется ли join нескольких подзапросов?

подскажите пожалуйста как удалить целиком данные из репликатед таблицы; делаю drop table, потом create table и получаю не пустую таблицу :(

drop table on cluster?

надо было только подождать :)

кстати если в материализованном представлении использовать subquery, например SELECT column1, ..., columnN FROM (SELECT * FROM table) то надо обязательно указывать имя базы, иначе возникает ошибка что невозможно определить имя базы. :(

я на маке развернул кликхаус на aws на убунту, установку ни осилил )

Можно по подробнее как реализовать...а то сборка на маке уже бесит, а работать с виртуалкой не хочется

Странно что в саппорте яндекса ничего предметного нет

Если сделать Nullable(UInt8), то какое там "пустое" значение будет? Стоит ли это того или лучше инсертить 0, если есть возможность? В документации про Nullable ничего найти не могу

Можно по подробнее как реализовать...а то сборка на маке уже бесит, а работать с виртуалкой не хочется

заведи вируталку на aws и работай как с удаленным сервером, гемора с локальными виртуалками тоже нет, ставиться все за 15 мин не считая запуска виртуалки

можно и не на aws, просто там бесплатно

iconv в osx - это боооль

Можно по подробнее как реализовать...а то сборка на маке уже бесит, а работать с виртуалкой не хочется

в докере проще это делать

Подскажите - можно ли создать пользователя чтоб мог INSERT, но не мог ALTER / DROP и прочее DDL?

Данная субд превосходна для статистики, есть задача для хранения истории, какого-то ивента и данных к нему, позже может делать какие-либо расчеты. Т.е. поле string и добавочные поля. Есть ли смысл использования данной СУБД под такую цель?

Привет! Есть Distributed, который состоит из 2ух нод. на первой ноде хранятся id в диапазоне 1-10, на второй 10-20. Подскажите, почему запрос на Distributed (с сортировкой), который запрашивает данные c id 1-10 выполняется ~ в 2 раза дольше, чем запрос на локальную таблицу 1ой ноды. Хотя 2ая нода не должна учавствовать вообще. Есть ли возможность сконфигурировать кликхаус так, чтобы, в случае если все ноды кроме одной отвечают "0 строк", то Distributed работал в режиме проксирования, а не доагрегирования?

в два раза дольше - это на сколько секунд/миллисекунд? Если

это какие-то небольшие цифры - то наверное вполне объяснимо. Если большие - возможно какие-то проблемы с сетью?

Привет! Поскажите пожалуйста, у кого-нибудь вышло сделать билд ODBC на macOS ? У меня такая ошибка: /Users/daria/clickhouse-odbc/driver/odbc.cpp:159:1: error: conflicting types for 'SQLColAttribute' SQLColAttribute(HSTMT statement_handle, SQLUSMALLINT column_number, SQLUSMALLINT field_identifier, ^ /usr/local/include/sql.h:613:24: note: previous declaration is here SQLRETURN SQL_API SQLColAttribute(SQLHSTMT StatementHandle, ^ 1 error generated.

Привет! Поскажите пожалуйста, у кого-нибудь вышло сделать билд ODBC на macOS ? У меня такая ошибка: /Users/daria/clickhouse-odbc/driver/odbc.cpp:159:1: error: conflicting types for 'SQLColAttribute' SQLColAttribute(HSTMT statement_handle, SQLUSMALLINT column_number, SQLUSMALLINT field_identifier, ^ /usr/local/include/sql.h:613:24: note: previous declaration is here SQLRETURN SQL_API SQLColAttribute(SQLHSTMT StatementHandle, ^ 1 error generated.

не проще ли в контейнере завести? или это у вас продуктовая инсталляция? )

Нет, не продуктовая ? Я просто пытаюсь подключить Tableau к ClickHouse на Mac, на винде это вышло. А для этого нужно иметь odbc на mac и настроить dsn

https://pastebin.com/deUVJCJQ сегодня при стандартном ежедневном инсерте КХ словил сегфолт, подскажите что с ним случилось?

Воспроизводится ли падение, если создать чистую таблицу и вставить тот же блок данных?

Нет, не продуктовая ? Я просто пытаюсь подключить Tableau к ClickHouse на Mac, на винде это вышло. А для этого нужно иметь odbc на mac и настроить dsn

может odbc так же пихнуть в контейнер?

может odbc так же пихнуть в контейнер?

спасибо, я попробую

спасибо, я попробую

не за что )

Привет! Есть Distributed, который состоит из 2ух нод. на первой ноде хранятся id в диапазоне 1-10, на второй 10-20. Подскажите, почему запрос на Distributed (с сортировкой), который запрашивает данные c id 1-10 выполняется ~ в 2 раза дольше, чем запрос на локальную таблицу 1ой ноды. Хотя 2ая нода не должна учавствовать вообще. Есть ли возможность сконфигурировать кликхаус так, чтобы, в случае если все ноды кроме одной отвечают "0 строк", то Distributed работал в режиме проксирования, а не доагрегирования?

Все правильно, запрос отработает на всех нодах. Т.к. нет уверенности в том, что в локальнуб таблицу не вписали данные вручную.

Воспроизводится ли падение, если создать чистую таблицу и вставить тот же блок данных?

Сейчас пока пробуем вставить повторно туда же. Если не получится попробую в чистую

Если сделать Nullable(UInt8), то какое там "пустое" значение будет? Стоит ли это того или лучше инсертить 0, если есть возможность? В документации про Nullable ничего найти не могу

Не стоит полагаться, что в колонке будет 0 на месте пустых значений. В общем случае, там может быть произвольный мусор. Однако, кажется, что нет смысла инсертить 0. Вместо этого вставляйте Null, а в тех случаях, когда нужно преобразовать колонку к обычному типу (например, функцией assumeNotNull), отдельно заменять Null-ы. Удобно использовать ifNull(x, y), которая вернет x, если он не пуст, иначе y.

Сейчас пока пробуем вставить повторно туда же. Если не получится попробую в чистую

Повторно вставить может не получиться, так как таблица типа Log может сломаться при неудачной вставке.

Подскажите - можно ли создать пользователя чтоб мог INSERT, но не мог ALTER / DROP и прочее DDL?

Нет, насколько я знаю.

Повторно вставить может не получиться, так как таблица типа Log может сломаться при неудачной вставке.

А у нас replacingmergetree

там нету MatView, которое вставляет в Log-табличку?

Всем привет. Подскажите начинающему. В локальной сети есть ноутбук, на котором работает CH, а также настроен веб сервер, проброшены порты. Как мне из другого компа в лок.сети или из интернета подсоединиться к CH?

там нету MatView, которое вставляет в Log-табличку?

Нет

Не стоит полагаться, что в колонке будет 0 на месте пустых значений. В общем случае, там может быть произвольный мусор. Однако, кажется, что нет смысла инсертить 0. Вместо этого вставляйте Null, а в тех случаях, когда нужно преобразовать колонку к обычному типу (например, функцией assumeNotNull), отдельно заменять Null-ы. Удобно использовать ifNull(x, y), которая вернет x, если он не пуст, иначе y.

а как null вставить в числовой тип колонки? JDBC driver ставит \N - для стринговых полей работает, но для цифр нет: Column 14, name: session_end, type: UInt8, ERROR: text "<BACKSLASH>N<LINE FEED>" is not like UInt8

Нет

странно, так как я вижу в стектрейсе PushingToViewsBlockOutputStream, который должен писать данные в MatView и LogBlockOutputStream, который должет писать данные в Log - nабличку. Возможно, я ошибаюсь :) А вообще есть Log таблицы и/или MatView?

а как null вставить в числовой тип колонки? JDBC driver ставит \N - для стринговых полей работает, но для цифр нет: Column 14, name: session_end, type: UInt8, ERROR: text "<BACKSLASH>N<LINE FEED>" is not like UInt8

к сожалению, не знаю, как это работает в JDBC и насколько там реализована поддержка Null. Если вставлять напрямую, то также используется \N для TSV форматов, или null для json

Всем привет. Подскажите начинающему. В локальной сети есть ноутбук, на котором работает CH, а также настроен веб сервер, проброшены порты. Как мне из другого компа в лок.сети или из интернета подсоединиться к CH?

из локальной сети - clickhouse-client --host your_notebook_ip

из интернета - самое простое по ipv6, или много друггих вариантов с пробрасывания портов со шлюза, vpn* (* технология запрещенная в российской федерации ;) итд

из локальной сети - clickhouse-client --host your_notebook_ip

я забыл сказать, что я по Http хочу с ним связаться и комп, с которого я хочу сделать работает на windows

Привет. Мы выложили http-proxy для ClickHouse, который позволяет балансировать нагрузку, лимитировать доступ, прерывать запросы при превышении лимитов. Доступен здесь - https://github.com/Vertamedia/chproxy Будем рады любым замечаниям и предложениям.

Данная субд превосходна для статистики, есть задача для хранения истории, какого-то ивента и данных к нему, позже может делать какие-либо расчеты. Т.е. поле string и добавочные поля. Есть ли смысл использования данной СУБД под такую цель?

Скорее всего, можно. Однако, предлагаю прочитать раздел "Введение" в документации. В частности, про производетельность: https://clickhouse.yandex/docs/ru/introduction/performance.html . Там описаны рекомендации того, как вставлять данные, а также описано, насколько часто предполагается делать запросы.

Данная субд превосходна для статистики, есть задача для хранения истории, какого-то ивента и данных к нему, позже может делать какие-либо расчеты. Т.е. поле string и добавочные поля. Есть ли смысл использования данной СУБД под такую цель?

Зависит от обьемов. На вашем кейсе CH будет хорош в плане сжатия. Большие обьемы ему не страшны. Правда вот эффективность работы со строчными данными под вопросом конечно. Но тут вопрос к архитектуре, а не к CH.

я забыл сказать, что я по Http хочу с ним связаться и комп, с которого я хочу сделать работает на windows

есть много оберток для разных языков, большинство работают через http: https://clickhouse.yandex/docs/ru/interfaces/third-party_client_libraries.html?highlight=python

есть много оберток для разных языков, большинство работают через http: https://clickhouse.yandex/docs/ru/interfaces/third-party_client_libraries.html?highlight=python

спасибо, кажется я понял, как мне сделать

Добрый день!

Подскажите, пожалуйста, каким средством можно читать логи (типа hekad), собирать в пачки и добавлять в clickhouse? Логи пишутся со скоростью 10-60к строк в сек.

есть батчер: https://github.com/nikepan/clickhouse-bulk (сам не пользовался)

есть батчер: https://github.com/nikepan/clickhouse-bulk (сам не пользовался)

спасибооо)

А ReplicatedReplacingMergeTree отсутствует, да?

Добрый вечер

А есть предположение что может процессор кушать очень хорошо? Запросы на чтение не идут сейчас. Просто пишется

Load под 40

SELECT * FROM system.metrics ┌─metric───────────────────────────────────┬────────value─┐ │ Query │ 1 │ │ Merge │ 28 │ │ ReplicatedFetch │ 0 │ │ ReplicatedSend │ 0 │ │ ReplicatedChecks │ 0 │ │ BackgroundPoolTask │ 28 │ │ DiskSpaceReservedForMerge │ 714558095393 │ │ DistributedSend │ 0 │ │ QueryPreempted │ 0 │ │ TCPConnection │ 1 │ │ HTTPConnection │ 0 │ │ InterserverConnection │ 0 │ │ OpenFileForRead │ 2040 │ │ OpenFileForWrite │ 476 │ │ Read │ 2 │ │ Write │ 1 │ │ SendExternalTables │ 0 │ │ QueryThread │ 0 │ │ ReadonlyReplica │ 0 │ │ LeaderReplica │ 0 │ │ MemoryTracking │ 8704 │ │ MemoryTrackingInBackgroundProcessingPool │ 0 │ │ MemoryTrackingForMerges │ 3083707640 │ │ LeaderElection │ 0 │ │ EphemeralNode │ 0 │ │ ZooKeeperWatch │ 0 │ │ DelayedInserts │ 0 │ │ ContextLockWait │ 0 │ │ StorageBufferRows │ 0 │ │ StorageBufferBytes │ 0 │ │ DictCacheRequests │ 0 │ └──────────────────────────────────────────┴──────────────┘ 31 rows in set. Elapsed: 0.015 sec.

Что-то можно сказать по метрикам этим?