Если речь про добавить/удалить столбец, то нужно выполнить его для каждой таблицы с данными (или для одной реплики каждого шарда, если используется репликация), а потом выполнить тот же ALTER для каждой Distributed таблицы. Оба шага можно делать либо вручную, либо с помощью ON CLUSTER.

то есть получается если у меня например 2 шарда с 2мя репликами, то нужно на каждой ноде выполнить alter table для таблицы _sharded после этого сделать alter table tablename on cluster…. для distibuted

Первый шаг тоже можно делать ON CLUSTER. У вас Replicated* таблички?

да

пробовал сделать вот так: alter table db.tablename_sharded on cluster cluster1 add column count UInt16 default 1 after column_name; получил в ответ: An error occured before execution: Code: 371, e.displayText() = DB::Exception: Table tablename_sharded is replicated, but shard #1 isn't replicated according to its cluster definition. Possibly <internal_replication>true</internal_replication> is forgotten in the cluster config., e.what() = DB::Exception

у меня стоит: <internal_replication>false</internal_replication>

это мой первый кластер по этому мог ошибится в конфигах ?

А почему? Если Replicated таблички, как раз должно быть true

значит скоро будет true ?

спасибо

само дектоп приложение нормально работает (особенно с последней версией драйвера), проблема в настройке обновлений через шлюз

А шлюз в каком режиме запущен? Когда я это дело пробывал, было требование запускать его в персанал мод.

А шлюз в каком режиме запущен? Когда я это дело пробывал, было требование запускать его в персанал мод.

enterprise, с другими источниками вроде нет проблем

Посмотрел, да в июле добавили поддержку enterprise. А на десктопе что прям получилось врубить DirectQuery для клика?

На свежих ODBC такая ошибка возникает, когда в результате в полях есть NULL. ifnull-те значения в селекте, либо откатитесь на драйвер, зарелизиненный до августа

На свежих ODBC такая ошибка возникает, когда в результате в полях есть NULL. ifnull-те значения в селекте, либо откатитесь на драйвер, зарелизиненный до августа

Спасибо. Я только что обновил ClickHouse сервер до 18.10.3 и поставил вот этот драйвер

Буду еще раз пытаться

думабю поможет

Проблема появилась с августовских релизов

А почему? Если Replicated таблички, как раз должно быть true

теперь появилась другая проблема, после того как сделал alter table db.tablename_sharded on cluster cluster1 add column…; все прошло хорошо, теперь пробую для distributed сделать: alter table db.tablename on cluster cluster1 add column…; и получаю: An error occured before execution: Code: 371, e.displayText() = DB::Exception: Table tablename isn't replicated, but shard #2 is replicated according to its cluster definition, e.what() = DB::Exception

в чем может быть проблема?

Подскажите, кто как хранит время с таймзоной?

unix timestamp

unix timestamp

Я так понимаю, это единственный приемлемый на текущий момент вариант? Строка однозначно хуже?

Я так понимаю, это единственный приемлемый на текущий момент вариант? Строка однозначно хуже?

Если вам не нужна большая производительность на этом столбце - можно и в строке. Но обычно столбец активно используется.

Мы просто храним 2 таймстампа. Один в "честной" UTC, другой - тоже в UTC, но там время со смещением клиента записано.

Если одну из второй вычесть можно выяснить какое в тот момент времени было смещение таймзоны от UTC.

При этом в "локальном" времени клиента время может идти неравномерно - например перескакивать при переводе часов на зимнее/летнее.

При этом всякие функции работы со временем корректно работают на обоих полях

Если вам не нужно хранить много разных таймзон - то вообще проблем нет никаких. Если много разных - то кроме того варианта который выше можно хранить в каждой строке смещение от UTC, и добавлять поправку "на лету". Можно не хранить, а держать эту поправку в словаре для каждого клиента.

Мне как раз и не нравится концепция двух таймстемпов и вычисления диффа. Поэтому и задаю вопрос)

Если вам не нужно хранить много разных таймзон - то вообще проблем нет никаких. Если много разных - то кроме того варианта который выше можно хранить в каждой строке смещение от UTC, и добавлять поправку "на лету". Можно не хранить, а держать эту поправку в словаре для каждого клиента.

У меня таймзон 10-15 по городам из словаря. Наверное проще для всех использовать нормализванное время (по зоне сервера) а смещение брать по городу

Мне как раз и не нравится концепция двух таймстемпов и вычисления диффа. Поэтому и задаю вопрос)

Если не нужно одновременно данные для разных таймзон обрабатывать - то можно просто в селект добавлять нужную таймзону.

Если не нужно одновременно данные для разных таймзон обрабатывать - то можно просто в селект добавлять нужную таймзону.

Так к сожалениию не выдет. Выброка идет именно по срезу с большим кол-вом городов

Тогда или два таймстампа или таймстами+смещение.

Смещение можно в словаре

Я так понимаю, напрямую никак нельзя сериализовать/десериализовать java-объект в базу? Т.е. прогонять придется через собственный маппер?

@mfilimonov спасибо за ответ)

А зачем нужно хранить время не в UTC? Я 20 лет занимаюсь только БД и никогда не мог понять зачем это надо?

Это как если хранить температуру в 3 полях, в кельвинах, цельсиях и фаренгейтах, вот нафига?

А зачем нужно хранить время не в UTC? Я 20 лет занимаюсь только БД и никогда не мог понять зачем это надо?

У базы 100 клиентов из разных городов. Напишите запрос - в какое время (локальное) они охотнее всего делают инсерты :)

Т.е. например в 17 часов 26 минут :)

При этом эти "локальные" 17:26 могут случиться в 18:26 19:26 или даже 23:56 :)

ну короче суточная активность с учетом локальных таймзон. Например на локальных суточных графиках оч. хорошо видно как "просыпаются" люди в одтельных тайзонах. Если же всё посчитать в UTC (когда разные таймзоны наложены друг на друга) - получается такая непонятная кардиограмма и не понятно кто и во сколько "проснулся" :)

Т.е. из таймзоны вычисляется местоположение? Т.е. странно это, в чехии просыпаются в 5 утра, в тойже таймзоне в Росси в 7.

Т.е. по таймзоне можно получить релевантные данные относительно местоположения

иногда это бывают даже совсем идиотские истории про "конец дня" который случается в разных городах в разное время.

Ну вычислять местоположение по таймстампах - это немного другая история.

Проблема появилась с августовских релизов

Обновил сервер ClickHouse и установил новый ODBC драйвер версии 2018-09-03 и все. Проблема ODBC: ERROR (Cannot interpret NULL as int64: invalid stoll argument" РЕШЕНА.

Я вчера улицу перелшел, оказался в другой провинции и время сдвинулось на час, а в булочной на другой стороне не сдвинулось ?

Т.е. из таймзоны вычисляется местоположение? Т.е. странно это, в чехии просыпаются в 5 утра, в тойже таймзоне в Росси в 7.

Речь как раз и шла о том, чтобы хранить время в таймзоне сервера, но при выборке опираться на таймзону города и относительно ее вычислять смещение

Я вчера улицу перелшел, оказался в другой провинции и время сдвинулось на час, а в булочной на другой стороне не сдвинулось ?

Не сдвинулось. Но булочная была закрыта. Рановато :P

Потому что она в другой таймзоне

:)

А теперь задача: напишите запрос сколько денег потеряла булочная сравнивая среднесуточную активность пользователей в булочных с суточной активностью пользователей в этой конкретной булочной. :) И как изменились бы её доходы если бы она открывалась на час раньше. Всё это с учетом информации о том что через дорогу живет в два раза больше людей в другом часовом поясе.

т.е. у каждой булочной она своя система таймзон, я не понимаю как TZ и локальное время одной булочной применить к другой, т.е. мы поймем что для Чехии надо открываться в 5 и начинать печь булки в 3, проблема в том что для Росии это неверно, я согласен, для анализа это проще чем использовать UTC + (местоположение булочной и покупателя).

подскажите, как корректно дропунть партиции на всех нодах для дистриб таблицы?

alter table db.table_local on cluster clustername drop partition='partname' ?

alter table db.table_local on cluster clustername drop partition='partname' ?

спасибо, Table table_rep is replicated, but shard #2 isn't replicated according to its cluster definition. Possibly <internal_replication>true</internal_replication> is forgotten in the cluster config. необходимо прописать internal_replication или на живом кластере это уже не прокатит?

алтерить нужно mergetree таблицу, а не дистрибутед

или у меня лыжи уже под конец вечера не едут

алтерить нужно mergetree таблицу, а не дистрибутед

а это и есть МТ таблица =(

точнее ReplicatedMergeTree

спасибо, Table table_rep is replicated, but shard #2 isn't replicated according to its cluster definition. Possibly <internal_replication>true</internal_replication> is forgotten in the cluster config. необходимо прописать internal_replication или на живом кластере это уже не прокатит?

Можно прописать, а можно просто ручками на каждом шарде запустить

Можно прописать, а можно просто ручками на каждом шарде запустить

вариант ручакми знаю, хотелось более ленивого)

мы в тяжелых случаях ансиблом по всем хостам запрос прогоняем

а возможности писать PARTITION like '....' не появилось еще? если за год дропать то 12 партицией на каждой ноде?)

проще использовать delete по условию

@blinkovivan а можно вот такое реализовать в ODBC? https://github.com/Microsoft/DataConnectors/blob/master/docs/odbc.md

Почитал по диагонали: звучит скорее как разработка плагина к Power BI на C#, от ODBC там только тот факт, что он в конечном счете будет использоваться для передачи данных...

Почитал по диагонали: звучит скорее как разработка плагина к Power BI на C#, от ODBC там только тот факт, что он в конечном счете будет использоваться для передачи данных...

ага (глянул внимательнее)\, изначально сложилось впечатление что это спецификация драйвера должна быть какая то особая.

осталось научиться и написать коннектор, штука была бы очень нужная)

можно ли использовать haproxy для балансировки между 2-мя репликами?

Лучше использовать chproxy - https://github.com/Vertamedia/chproxy . Он лучше осведомлен о специфике запросов к clickhouse

А может кто-нибудь скинуть пример конфига словаря и внешний файл с источником данных?

коллеги, если найдутся сочувствующие помогите запилить DirectQuery коннектор КХ для Power BI на основе: https://github.com/Microsoft/DataConnectors/tree/master/samples/ODBC/SqlODBC =)

Коллеги, добрый вечер! Одна нода кликхауса не стартует с ошибкой: <Error> Application: DB::Exception: Shard address 'detached' does not match to 'user[:password]@host:port#default_database' pattern Подскажите, куда смотреть?

Коллеги, добрый вечер! Одна нода кликхауса не стартует с ошибкой: <Error> Application: DB::Exception: Shard address 'detached' does not match to 'user[:password]@host:port#default_database' pattern Подскажите, куда смотреть?

Удалите detached из директории disributed таблицы, забавная ошибка

Кирилл, спасибо. Снова выручили) Это последствия ручного восстановления данных)

Вот с DROP TABLE все и началось... :) Был нужен временный словарь, быстренько запилил таблицу с данными (внутри КХ) и конфиг словаря. Потом словарь перестал быть нужен, таблицу и конфиг словаря удалил, а КХ теперь каждые пару сек пишет в error_log сообщение мол " Failed reloading '<удаленный словарь>' external dictionary: Code: 47, ". Рестартовать "по пустякам" не хочется т.к. КХ минут 5 стартует.

Это на 18.10.3 или старее?

Старее, не помню сейчас номер версии - с начала лета.

Старее, не помню сейчас номер версии - с начала лета.

Я сейчас готовлю changelog, там как раз есть пункт по этому поводу.

Какие кто использует способы для изменения формата даты при выгрузке, например, в тот же csv. Например, если надо вывести дату в файл в формате DD.MM.YYYY HH24:MI:SS

Здравствуйте, подскажите пожалуйста, выполняю команду sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 выводит ошибку Executing: /tmp/apt-key-gpghome.Xrk7HSuSwb/gpg.1.sh —keyserver keyserver.ubuntu.com —recv E0C56BD4 gpg: keyserver receive failed: Server indicated a failure ошибка выводится в образе вагранта, на локальной машине все ставится нормально

Всем доброго утра. У меня возник вопрос. В bigquery у меня есть переменная в формате DATETIME. Мне нужно добавить к ней 7 дней, для построения неравенства. Но функции DATE_ADD(), DATE_SUB() не хотят работать.

Добрый день. Подскажите с такой задачей: Есть столбцы уникальный id клиента, дата и время посещения, нужно присвоить каждому уникальному id свой номерной порядок от первого до последнего посещения.

Делаю примерно так: INS_DATE between REQDATE and DATE_SUB(DATE(REQDATE), INTERVAL 7 DAY)

Делаю примерно так: INS_DATE between REQDATE and DATE_SUB(DATE(REQDATE), INTERVAL 7 DAY)

INS_DATE between REQDATE and (REQDATE - INTERVAL 7 DAY)

т.е. у каждой булочной она своя система таймзон, я не понимаю как TZ и локальное время одной булочной применить к другой, т.е. мы поймем что для Чехии надо открываться в 5 и начинать печь булки в 3, проблема в том что для Росии это неверно, я согласен, для анализа это проще чем использовать UTC + (местоположение булочной и покупателя).

Конечно, политически верный вариант (5NF и т.п.) - хранить один таймстамп (нормальный, в UTC) + таймзону/локацию пользователя в виде какого-нибудь timezone_id. Ну и чтобы база умела прозрачно для пользователя "переводить стрелки часов" если возникает такая потребность. Но мы тут про большие данные, где всякие там нормализации скорее мешают чем помогают, да и у Кликхауса нет "встроенной" возможности использовать одновременно много таймзон, если они хранятся вместе с данными. Поэтому проще и удобнее просто тупо 2 таймстампа, или таймстамп + смещение.

может редактор просто не знает?

Я сейчас готовлю changelog, там как раз есть пункт по этому поводу.

спасибо. ?

Всем привет. Обьясните или ткните нормальной ссылкой на информацию по vertical и horizontal merge. Интересно понять, как они работают, а гугл одну экономику скидывает

Ordinary (horizontal) merge proceeds like follows: take several sorted parts and create a read cursor for each of them, then create a resulting part by repeatedly appending to it the smallest row among those pointed by the current cursors. By contrast, vertical merge proceeds as follows: first perform a horizontal merge on primary key columns, remembering for each row the part number from which it was taken (this is the rows_sources file). Then for each non-key column perform a "gather" step: gather the values of the resulting column from the source columns according to the rows_sources. For wide tables vertical merge performs much better.

@mfilimonov И на том спасибо?

Всем привет, какой способ загрузки данных в ClickHouse самый быстрый? Какой формат использовать при вставке? Может быть использовать какой-нибудь clickhouse-driver?

Здравствуйте, подскажите пожалуйста, выполняю команду sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 выводит ошибку Executing: /tmp/apt-key-gpghome.Xrk7HSuSwb/gpg.1.sh —keyserver keyserver.ubuntu.com —recv E0C56BD4 gpg: keyserver receive failed: Server indicated a failure ошибка выводится в образе вагранта, на локальной машине все ставится нормально

в общем проблема решилась так sudo apt-key adv —keyserver hkp://keyserver.ubuntu.com:80 —recv-keys E0C56BD4

Всем доброго утра. У меня возник вопрос. В bigquery у меня есть переменная в формате DATETIME. Мне нужно добавить к ней 7 дней, для построения неравенства. Но функции DATE_ADD(), DATE_SUB() не хотят работать.