1. Прочитать все пункты "Обратно несовместимые изменения" в changelog между вашей версией и последней. 2. Обновить всё на тестовом окружении. Если всё Ок - обновить на продакшене. Для обновления без даунтайма достаточно: - установить новый пакет; - перезапустить ClickHouse на части реплик; - перезапустить ClickHouse на оставшейся части реплик;

Алексей, раз вы тут, подскажите, а нативной поддержки с полным функционалом в продуктах jetbrains не предвидится?

Это вопрос к джетбрейну вроде. Вроде и сейчас норм, не?

Алексей, раз вы тут, подскажите, а нативной поддержки с полным функционалом в продуктах jetbrains не предвидится?

Я не уверен, так как не работаю в JetBrains. Они хотят это сделать. Недавно они у нас спрашивали про формальное описание языка ClickHouse и документацию, мы им передали описание диалекта ClickHouse на ANTLR (у коллег нашлось такое). Наверное что-то готовят.

Я не уверен, так как не работаю в JetBrains. Они хотят это сделать. Недавно они у нас спрашивали про формальное описание языка ClickHouse и документацию, мы им передали описание диалекта ClickHouse на ANTLR (у коллег нашлось такое). Наверное что-то готовят.

Да, я понимаю, что вопрос не к вам, просто, вдруг вы в курсе.

Господа, а как вот такое побеждается?

jdbc брал отсюда: https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc/0.1.40

Добавить slf4j в classpath.

Хоть и немного странно, что это требуется сделать.

не знаю что такое DG, но если тупо скачали jar, то это только ch код, там еще куча зависимостей, соберите mvn, получится jar на 6мб. https://github.com/yandex/clickhouse-jdbc To build a jar with dependencies use....

Джентльмены, какая самая стабильная сборка на данный момент?

Можно ли обновляться между мажорными версиями на горячую?

у всех самая стабильная -- разная. я использую 1.1.54394, дальше просто не тестил. что значит на горячую? КХ ставится apt-get install потом ребут КХ нод, вместе или по очереди, естественно надо перед этим тестить, потому что если прод не заведется из-за несовместимостей, будет неприятно.

Ясно, спасибо.

Нет, там поставки от нас никак не зависят. Хотя на всякий случая я спрошу, вдруг что-нибудь получится.

Спасибо! )

https://en.wikipedia.org/wiki/Time_series_database здесь в списке нет кликхауса, предлагаю добавить

Он же вроде не настолько Time Series, чтобы нельзя было создать таблицы вообще без Date/Datetime

но функционал-то соответствующий есть?

Кой-чего нехватает - автоудаления старого и, местами, автоагрегации.

А скриптами такое и в мускле можно...

Привет. Есть две реплицируемые таблицы с одинаковой структурой (A и B). Делаю DETACH на одной из реплик для таблицы A. После этого переношу все данные из папки detached таблицы A в папку detached таблицы B. Делаю ATTACH этих данных на одной из реплик для таблицы B. В результате на той реплике, где запущен ATTACH партиции подключаются, на второй реплике данные в папке detached игнорируются и происходит репликация с другой машины. Это нормальное поведение?

Доброе утро. Как я понял если есть MV над таблицей и по каким то причинам в MV вставка не удается то при вставке батчами эти батчи будут дуплицироваться в основной таблице (тк туда вставка проходит) Получается что использование MV лишает вставку атомарности. Это планируется пофиксить или считается что это нормальное поведение? ЗЫ: Сейчас встал вопрос в добавлении в таблицу искуственного уникального поля для возможности использования ReplacingMergeTree для устранения дубликатов и это порождает много других проблем, начиная с того что данные на диске вырастут на 50% а это терабайты лишние. Как-то нехорошо выходит

+1 про атомарность и MV

+1 про атомарность и MV

Я тут уже всех заколебал дубликатами своими, но что-то надо делать ))

Но у меня, кстати, наоборот. Не дубли, а пропуски в MV. То есть, инсерт в первую таблицу проходит, а во вьюшку нет, и это молча игнорируется.

Доброе утро. Как я понял если есть MV над таблицей и по каким то причинам в MV вставка не удается то при вставке батчами эти батчи будут дуплицироваться в основной таблице (тк туда вставка проходит) Получается что использование MV лишает вставку атомарности. Это планируется пофиксить или считается что это нормальное поведение? ЗЫ: Сейчас встал вопрос в добавлении в таблицу искуственного уникального поля для возможности использования ReplacingMergeTree для устранения дубликатов и это порождает много других проблем, начиная с того что данные на диске вырастут на 50% а это терабайты лишние. Как-то нехорошо выходит

Это не нормально, так или иначе это будет меняться.

Прям бальзам на душу Я знаю что это наглость но спрошу тк стоит вопрос с какой схемой через неделю выходить в прод Меняться будет в этом году или может в ближайшее время или никто не знает и может и через год? Ну ваши ощущения. На гитхабе завести тикет или это где-то уже есть ии только ждять?

Привет. Есть две реплицируемые таблицы с одинаковой структурой (A и B). Делаю DETACH на одной из реплик для таблицы A. После этого переношу все данные из папки detached таблицы A в папку detached таблицы B. Делаю ATTACH этих данных на одной из реплик для таблицы B. В результате на той реплике, где запущен ATTACH партиции подключаются, на второй реплике данные в папке detached игнорируются и происходит репликация с другой машины. Это нормальное поведение?

Это документированное поведение

Прям бальзам на душу Я знаю что это наглость но спрошу тк стоит вопрос с какой схемой через неделю выходить в прод Меняться будет в этом году или может в ближайшее время или никто не знает и может и через год? Ну ваши ощущения. На гитхабе завести тикет или это где-то уже есть ии только ждять?

Да, на Гитхаб нужно завести тикет - это достаточно больная проблема и в какое-то время она будет кем-то решена, когда и кем пока не понятно ) В продакшен лучше выходить с тем что работает и понятно как

Ок, заведу. Ужасно не хочется выходить с костылями, если б знали что до НГ поправиться то выбрали бы рисковый путь

Этот UUID несжимаемый всю малину сьел, а без него Replaced не взлетит

Этот UUID несжимаемый всю малину сьел, а без него Replaced не взлетит

Храните UUID в FixedString(16) чтоб меньше был, что вам UUID попортил?

для того чтобы хоть как-то исключить коллизии UUID должен тыть миннимум 24 бита Тоесть 3 байта, а у нас всего каждая строка 7 байт. Получается +30% а сжиматься колонка с ним почти не будет

а почему uuid не жмётся? это же 2 лонга по сути.

ну сжатие по сути это нахождение общего в большом объеме и замена этого общего на что-то коротенькое

А какое общее в UUID

24 бита звучит совсем не как uuid. там же 128 должно быть

таймстемпы хорошо сжамаються, рандом не должен сжиматься совсем

А какое общее в UUID

а это смотря как генерировать

слгласен

в v1 общего дохрена

но у нас нет единой точки

для того чтобы хоть как-то исключить коллизии UUID должен тыть миннимум 24 бита Тоесть 3 байта, а у нас всего каждая строка 7 байт. Получается +30% а сжиматься колонка с ним почти не будет

Он не может быть минимум или максимум, он 16 байт

откусить же можно

хеш использовать итд

откусить же можно

и чем это будет лучше рандомного инта в таком случае?

суть ре в этом суть в том что 3 байта надо и они будут плохосжимаемыми

Это документированное поведение

В документации для ATTACH указано: "Запрос реплицируется. Каждая реплика проверяет, если ли данные в директории detached. Если данные есть - проверяет их целостность, проверяет их соответствие данным на сервере-инициаторе запроса, и если всё хорошо, то добавляет их. Если нет, то скачивает данные с реплики-инициатора запроса, или с другой реплики, на которой уже добавлены эти данные." Получается по какой то причине реплика решила, что данные не соответствуют с сервером-инициатором запроса?

Приветствутю. Подскажите пожалуйста, можно ли хоть как то сделать group concat в КХ?

В документации для ATTACH указано: "Запрос реплицируется. Каждая реплика проверяет, если ли данные в директории detached. Если данные есть - проверяет их целостность, проверяет их соответствие данным на сервере-инициаторе запроса, и если всё хорошо, то добавляет их. Если нет, то скачивает данные с реплики-инициатора запроса, или с другой реплики, на которой уже добавлены эти данные." Получается по какой то причине реплика решила, что данные не соответствуют с сервером-инициатором запроса?

А, я понял, вы на всех серверах перетащили куски в detached, ясно, тогда нужно посмотреть, какая у вас версия?

суть в том что бы объединить записи: 1 5 1 10 1 22 в 1 5,10,22

А, я понял, вы на всех серверах перетащили куски в detached, ясно, тогда нужно посмотреть, какая у вас версия?

да, версия ClickHouse 1.1.54388

Приветствутю. Подскажите пожалуйста, можно ли хоть как то сделать group concat в КХ?

SELECT groupArray(number) FROM ( SELECT number FROM system.numbers LIMIT 5 ) ┌─groupArray(number)─┐ │ [0,1,2,3,4] │ └────────────────────┘

спасибо

и чем это будет лучше рандомного инта в таком случае?

ничем суть не в названии а в что как не назови нужна уникальность а это дает плохосжимаемость (иначе сжимаемую часть нужно отбросить)

может это мое наивное представление но внутреннии голос говорит что как-то так оно работает

какой-то очень корнер-кейс с записями по 7 байтов всего

все строки перегнали в инты через словарь внешнии и все сжалось до таких размеров если поделить размер на диске на кол во строи то 7 байт

и мне кажется, что с "локально уникальными" айдишками по 3 байта можно выстрелиь себе в ногу, если кх решит смерджить очень старые партиции в более крупную.

но я не уверен, что так бывает

ПК не только из этих айдишек

ПК и так достаточно уникальный

эти 3-4 байта это дополнение к ПК чтобы исключить то что вы описали выше

Но для "хорошего" исклбчения математика говорит что надо 4 байта а это дофига для нас

Вот и получается что вроде небольшая проблема с вьюхами в геморр вырастает Уже подумываем выпилить их и писать в 3 таблицы самим, но там свои минусы

Подскажите как использовать clickhouse-local ? Не пойму где искать эту утилиту ?

Вот и получается что вроде небольшая проблема с вьюхами в геморр вырастает Уже подумываем выпилить их и писать в 3 таблицы самим, но там свои минусы

в 3 таблицы-то тоже атомарности не будет

дубликатов не будет а если писать синхронно последовательно во все три по на какой застопоримся на той и перезапустимся

хз понятно ли написал

Подскажите как использовать clickhouse-local ? Не пойму где искать эту утилиту ?

https://clickhouse.yandex/docs/ru/operations/utils/clickhouse-local/ Установить на ubunut: apt-get install clickhouse-client

https://github.com/yandex/ClickHouse/issues/2765

Голосуем ^ !

Пжлст

Есть реплицируемая таблица. В данный момент происходит репликация данных с одного сервера на другой. При выполнении селекта каждый раз возвращаются разные данные (то с одной реплики, то с другой). Возможно кто нибудь знает, почему Distributed таблица обращается за данными на реплику, где нет 100% данных? Можно ли какой нибудь настройкой запретить читать данные с таблицы, которая еще реплицируется?

есть delay настройка по умолчанию 300сек вроде бы

Может поможет │ │ max_replica_delay_for_distributed_queries │ 300 │ 0 │ If set, distributed queries of Replicated tables will choose servers with replication delay in seconds less than the specified value (not inclusive). Zero means do not take delay into account.

есть delay настройка по умолчанию 300сек вроде бы

а это настройка профиля (users.xml) или сервера (config.xml)?

не подскажу

Коллеги, добрый день! Создал MV на основе таблицы с ReplacingMergeTree: CREATE MATERIALIZED VIEW matv ENGINE = AggregatingMergeTree(created_date, (campaign_id), 8192) POPULATE as select created_date, campaign_id, countState() as total, uniqState(user_id) as unique from requests where arrayExists(x -> x = 'start', triggered_events) group by created_date, campaign_id В основную таблицу данные по-тихоньку записываются. Но в результате в MV данные сегодняшнего дня (2018-07-31) почему-то хранятся за вчерашний (2018-07-30). У кого-то было такое?

не подскажу

все равно спасибо ;)

Может поможет │ │ max_replica_delay_for_distributed_queries │ 300 │ 0 │ If set, distributed queries of Replicated tables will choose servers with replication delay in seconds less than the specified value (not inclusive). Zero means do not take delay into account.

к сожалению не помогло

Есть способ при неудочном апдейте откатиться на нужную версию ?

сохрани тупым копированием бинарник кликхауса

и если неудачный апдейт тупо заменить его

Мне хватило просто поставить пакет

Мне хватило просто поставить пакет

это сильно сложнее

apt-get install clickhouse-server=$version

что тут сложного-то?

ну может версии не быть например в репо

Тогда да, тогда - dpkg -i /var/cache/apt/archives/clickhouse-server_$version.....deb

тоже может не быть )