да, выглядит правильно

спасибо

Добрый день. Отправляю даные из logstash плагином logstash-output-clickhouse пачками по 60 тыс. строк. В настройке хоста указываю логин/пароль: http_hosts => ["http://user:pasword@xxx.xxx.xxx.xxx:xxxx"] Первый чанк проходит и записывается, на все последующие приходит ошибка авторизации (user - "default"). В настройках плагина можно указать передачу заголовка headers => ["Authorization", "Basic YWRtaW46cGFzc3dvcmQxMjM="] . Подскажите, а где раздобыть этот самый токен авторизации?

base64-encoding of user:password

Делаю CREATE TABLE db.t1 ( ... ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/t1', 'server1', EVENT_DATE_INDEX, (USER_ID, EVENT_DATE_INDEX),8192) в ответ Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception В чем может быть проблема? Из текста ошибки что-то нипанятна

Делаю CREATE TABLE db.t1 ( ... ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/t1', 'server1', EVENT_DATE_INDEX, (USER_ID, EVENT_DATE_INDEX),8192) в ответ Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception В чем может быть проблема? Из текста ошибки что-то нипанятна

У вас случайно не было раньше таблицы с таким именем?

неа

В зк - точно

1. Попробуйте создать обычную таблицу 2. Попробуйте сменить имя таблицы 3. посмотрите в файлах КХ, нет ли там папки с таким именем "ls -la /CLICKHOUSE_PATH/data/db"

ok, погляжу

base64-encoding of user:password

Спасибо

Приветствую. Кто-нибудь может подсказать как ковычки mysql отпрвлять в mysql через CH? Code: 47. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown identifier: key.

имеется ввиду когда делаешь что-то типа select key from mysql(….)

где key - это название столбца в mysql

change column `key` `klyuch`

Самое правильное )))

поменять название колонки в mysql?

Самое правильное )))

То есть КХ не умеет такие символы экранировать как-то?

после обновления до 1.1.54380 — перестал стартовать на убунте, не было ни у кого?

А что в логах ?

у меня было, писал что порт уже используется, вылечилось оставлением только :: в конфиге

Версия - 1.1.54370 на всех нодах вдруг стал писать в лог <Warning> TCPHandler: Client has not sent any data. с сетью проблем нет

что может быть?

Передаёт ли Clickhouse какую-то телеметрию в Яндекс?

Передаёт ли Clickhouse какую-то телеметрию в Яндекс?

https://github.com/yandex/ClickHouse

Передаёт ли Clickhouse какую-то телеметрию в Яндекс?

это было бы эпично , но слава богу опенсоурс )

хотя на повторяемость сборки наверно никто не проверял

хотя на повторяемость сборки наверно никто не проверял

В этом-то и дело. Безопасники за жабры взяли, будем изучать, значит...

это было бы эпично , но слава богу опенсоурс )

Та же Перкона мониторинг тул передаёт, кстати. В докер сборке у них флажок можно поставить, чтобы не передавал, но по умолчанию передаёт.

а я правильно понимаю, что когда мы делаем CREATE MATERIALIZED VIEW из SELECT, то в этом вью не появятся данные ДО ТЕХ ПОР пока не произойдет какой-нибудь INSERT? то есть вот я создаю обычный VIEW – и там сразу данные есть, добавляю аттрибут MATERIALIZED, и он пустой после создания – это ок?

View не хранит данные, а действует как алиас для запроса в исходную таблицу.

Mat. View хранит, но по-умолчанию не вставляет данные, которые были в таблице, а только добавляет новые на инсерт.

можно указать параметр POPULATE при создании, тогда данные вставятся

ага, вот про POPULATE прочитал, но не осознал. спасибо.

ага, вот про POPULATE прочитал, но не осознал. спасибо.

Осторожно, в доке написано, что пока populate не выполнится, в мат вьюху новые данные от исходной таблицы не попаду

да, спасибо, но там все статично. интересно конечно какая там логика, если у меня три джойна там в селекте, как он выбирает когда кого апдейтить

у меня есть опасения, что совсем не будет

+1 :)

Мат.вьюха только от 1 таблицы

Он ничего не апдейтит, он берет ваш кусок данных из инсерта, применяет к нему селект из вьюхи, и кладет эту выборку в таблицу как в обычную

Чем больше кусок, тем меньше строк во вьюхе

но вот если есть селект из одной таблицы с тремя джойнами к ней из трех других таблиц, и из этих данных еще потом селект, с расчетами, и все это в итоге в матвью идет, то в каком случае у него триггер на добавление данных ?

Кх не создаст такую мат.вью

ммм. создал.

Мат.вью создал? С джойнами на несколько таблиц?

да

точнее там одна на выборку из самой себя, а вторая на еще одну отдельную

Вы сказали сначала про три другие таблицы, а теперь переобулись

Одна вьюха - одна таблица

Нельзя сделать одну мат.вьюху с селектом из разных таблиц

Может я ошибаюсь конечно...

простите, разные запросы. но вот в этой конкретной вью – два джойна, один из которых на постороннюю таблицу.

Щас я попробую тоже

был неправ, создается

но, не работает, естественно

вставка не происходит?

в мат.вьюху нет

не знаю почему он позволяет создать такую мат.вьюху, оно логически непонятно как должно работать

Всем привет! Наверное, все уже спят, но вдруг кто знает дружат ли между собой AggregatingMergeTree и Distributed?

Особенно с квантилями и средними значениями

прав видимо где то не хватает

на логи/конфиги прав точно хватает?

А табикс который на ui.tabix.io или самосборка? была такая проблема с Insert запрос выполнялся а писал что ошибка

а где табикс содержимое sql вкладок хранит? там есть глюки с удалением, удалял несколько вкладок подряд, а удалились другие. сейчас не воспроизведу, но одна важная потерялась :( ее уже никак не вытянуть?

а где табикс содержимое sql вкладок хранит? там есть глюки с удалением, удалял несколько вкладок подряд, а удалились другие. сейчас не воспроизведу, но одна важная потерялась :( ее уже никак не вытянуть?

К сожалению, нет. Табикс хранит в локальном хранилище браузера. Удаляет по индексам, норм удаляет с последних вкладок. В противоположном случае происходит смещение индекса вкладки с запросом и индекса в хранилище.

? Спасибо, понял

багу в гитхабе заведите пожалуйста

а где табикс содержимое sql вкладок хранит? там есть глюки с удалением, удалял несколько вкладок подряд, а удалились другие. сейчас не воспроизведу, но одна важная потерялась :( ее уже никак не вытянуть?

1) Можно попробовать достать из истории https://monosnap.com/file/JyQlDtNw0bsfML4iRSP2gkKgZsFYEE 2) select query from system.query_log where event_date>=today()-120 and query like '%TABIX_QUERY_ID%'

Всем привет! Наверное, все уже спят, но вдруг кто знает дружат ли между собой AggregatingMergeTree и Distributed?

Всё Ок.

Подскажите размер таблицы 3,5 Гига, увеличил память на сервере с 1 гига до 6, но смотрю свободной памяти более 5 гигабайтов. Как так?

Ну это же не редис это кликхаус

Подскажите размер таблицы 3,5 Гига, увеличил память на сервере с 1 гига до 6, но смотрю свободной памяти более 5 гигабайтов. Как так?

что конкретно смущает? что Clickhouse память не жрет как не в себя? ну так это потому что данные с диска в основном читаются и кешируются только mrk файлы и данные словарей сервер то под нагрузкой?

iostat -x 1 смотрите на util

что конкретно смущает? что Clickhouse память не жрет как не в себя? ну так это потому что данные с диска в основном читаются и кешируются только mrk файлы и данные словарей сервер то под нагрузкой?

Просто по рекомендации с туториала получается - Для небольших объемов данных (до \~200 Гб в сжатом виде) лучше всего использовать столько памяти не меньше, чем объем данных. А в результате она не используется.

Что то я не помню такой рекомендации, у меня примерно 18 гигов на 1.5 Тб данных

Что то я не помню такой рекомендации, у меня примерно 18 гигов на 1.5 Тб данных

https://clickhouse.yandex/docs/ru/operations/tips/

Ну можно видимо игнорить

Просто по рекомендации с туториала получается - Для небольших объемов данных (до \~200 Гб в сжатом виде) лучше всего использовать столько памяти не меньше, чем объем данных. А в результате она не используется.

эта рекомендация относится к JOIN

эта рекомендация относится к JOIN

Понятно. Спасибо!

да и там явно перевод косячит =) в целом да clickhouse на сложных запросах может отожрать памяти но видимо у вас в основном вставка пока?

да и там явно перевод косячит =) в целом да clickhouse на сложных запросах может отожрать памяти но видимо у вас в основном вставка пока?

простой селект с аггрегацией.

простой селект с аггрегацией.

он будет последовательно блоки вычитывать через thread pool с буферами под каждую колонку а потом через другой thread pool будет аггрегацию делать с выделением буферов необходимых для эффективной работы аггрегирующих функций (всякие sum, avg память не жрут, uniq жрет копейки)

так что да, гиг оперативы не так уж много

1) Можно попробовать достать из истории https://monosnap.com/file/JyQlDtNw0bsfML4iRSP2gkKgZsFYEE 2) select query from system.query_log where event_date>=today()-120 and query like '%TABIX_QUERY_ID%'

круто, спасибо

Нзч)

после создания материализованного вью появилась таблица с префиксом .inner. - это то, куда он промежуточные результаты скидывает?

после создания материализованного вью появилась таблица с префиксом .inner. - это то, куда он промежуточные результаты скидывает?

Да

спасибо. а форматтера у нас для кх-версии sql никакого нет? если еще и с vscode совместимого – вообще мечта ?

а, в табиксе же есть, все норм

а это же не очень нормально что SHOW CREATE TABLE выдает результат, который потом не исполняется из-за синтаксической ошибки?

а это же не очень нормально что SHOW CREATE TABLE выдает результат, который потом не исполняется из-за синтаксической ошибки?

Там экранирование есть

Особенно для всяких ReplicatedMergeTree

Надо убрать слэши перед кавычками

ага, 'text' превращается в \'text\'