В документации сказано, что надо использовать зуукипер для этих целей и дистрибьютед таблицы вместе. Видимо я неправильно понял. Можете привести боевой пример пожалуйста или ссылку.

В документации сказано, что надо использовать зуукипер для этих целей и дистрибьютед таблицы вместе. Видимо я неправильно понял. Можете привести боевой пример пожалуйста или ссылку.

Distributed таблицы нужны, чтобы делать запросы к нескольким шардам. Для репликации через ZooKeeper они не нужны

Спасибо!

Перепутал типы таблиц. Хотел все сказать про ReplicatedMergeTree.

Доброго дня. Подскажите, обновление на новую версию как проходит? Просто накатывание новой версии?

А то я что-то в доках не вижу эту тему. Нужно с версии 1.1.54327 обновиться до последней

yum upgrade ?

yum upgrade ?

docker

Точнее вопрос такой: хочу новую версию натравить на старые данные, кто-нибудь так делал?

Точнее вопрос такой: хочу новую версию натравить на старые данные, кто-нибудь так делал?

Да, делал. Выключаете КХ, обновляете пакеты clickhouse-server и clickhouse-client, стартуете КХ, ждете пока подхватятся данные

Повторяете для всех серверов с КХ

Да, делал. Выключаете КХ, обновляете пакеты clickhouse-server и clickhouse-client, стартуете КХ, ждете пока подхватятся данные

Спасибо, попробую так

Напомните, как директива называлась, которая настраивала сбор данных материалайзед вью по времени ?

хочу чтоб сбрасывал данные раз в 5 сек

Почему Clickhouse называется Clickhouse?

домик для кликов?)

подозреваю, что имелся ввиду clickchaos, который надо было упорядочивать, но таки решили не раздувать :-)

Почему Clickhouse называется Clickhouse?

рискну предположить, что это про кликстрим и warehouse https://en.wikipedia.org/wiki/Clickstream https://en.wikipedia.org/wiki/Data_warehouse

Скажите пожалуйста, где прочитать про то, как кликхаус хранит дефолтные (пустые) значения колонок. Если много полей не будут иметь значения - как это отразится на занимаемом базой месте?

Ну оно будет просто очень хорошо сжиматься

Т.е. что-то типа 1 бита на запись просто чтобы знать - дефолтное значение согласно типу или нет?

домик для кликов?)

мне тоже эта версия нравится)

Т.е. что-то типа 1 бита на запись просто чтобы знать - дефолтное значение согласно типу или нет?

Нет, просто это колоночная бд и жмется вся колонка

ага, ок, спасибо

А в докере почему то не обновляются словари по таймауту?

А в докере почему то не обновляются словари по таймауту?

А причем тут докер то.

Ну потому что оно только в докере себя так странно ведет

У словаря lifetime 55 секунд. Данные записались в словарь и минут 10 висели без обновления, пока я принудительно не сделал reload dictionary. После этого все изменения подхватывались корректно через указанный lifetime.

Ну надо логи видимо и конфиги смотреть

Привет ! а https://github.com/yandex/clickhouse-jdbc по http на кластер ходит или там сложнее все ? Встал вопрос замокать кластер чтобы посмотреть на клиент , чтобы слабое место найти Клиент ходит через clickhouse-jdbc - была идея замокать http endpoint

Привет ! а https://github.com/yandex/clickhouse-jdbc по http на кластер ходит или там сложнее все ? Встал вопрос замокать кластер чтобы посмотреть на клиент , чтобы слабое место найти Клиент ходит через clickhouse-jdbc - была идея замокать http endpoint

Да, ходит по http

Да, ходит по http

правильно ли я понимаю, что могу поднять http endpoint с ?query, указать ip и запросы туда пойдут ?

правильно ли я понимаю, что могу поднять http endpoint с ?query, указать ip и запросы туда пойдут ?

да

да

Спасибо, попробуем

попробуйте где то поднять инстанс с 1.1.54378 и попробовать без 1=1. У меня похожая магия была. в 1.1.54378 ушла

Проблема продолжает иметь место на версии 1.1.54380

митап в 18:30 ?

18 - встреча гостей, 19 - начало докладов.

Да, приходите в 18 30 :)

ClickHouse C++ Meetup https://events.yandex.ru/events/meetings/16-May-2018/

Прошу прощения, а регистрация закрыта совсем? Только увидел :(

после добавления колонки в середину получаю ошибки: DB::Exception: Cannot append block to another: different type of columns at index 5. видимо как-то не правильно вставляю колонку структура такая: my_table (Distributed), my_table_data - таблица с данными 2 реплики на каждой делаю ALTER TABLE my_table ADD COLUMN ALTER TABLE my_table_data ADD COLUMN ON CLUSTER - сделать нельзя, т.к. старая версия ch, не поддерживается такая вставка подскажите, как правильно делать добавление колонки?

похоже проблема из-за расхождения реплик

по сути вопрос, как добавить колонку, если есть 2 реплики и нет поддержки ON CLUSTER

по сути вопрос, как добавить колонку, если есть 2 реплики и нет поддержки ON CLUSTER

Скорее всего так: 1. остановить запись 2. дождаться окончания репликации 3. расширить все таблицы 4. вернуть запись

да, тоже об этом подумал, видимо так придется

Все снова привет. Есть простой вопрос: Безопасно ли делать insert into из select, где источник и назначение одна и та же таблица? Сейчас все работает правильно, но не нашел в документации, что так и останется. Спасибо

combot.org/chat/-1001080295593

коллеги, подскажите пожалуйста, допустимо ли делать бэкапы через SELECT * FORMAT Native ? не будет ли на нодах сильного жора по памяти для больших партиций.

Приветствую Правильно ли я понимаю что для подсчета количество операциий в секунду можно получить из Запись select * from system.metrics where metric = ''Write" Чтение select * from system.metrics where metric = ''Read" А есть возможность аналогично получить размер запроса?

коллеги, подскажите пожалуйста, допустимо ли делать бэкапы через SELECT * FORMAT Native ? не будет ли на нодах сильного жора по памяти для больших партиций.

сразу скажу, что восстанавливаются большие объёмы Очень долго

про жор памяти не скажу

сразу скажу, что восстанавливаются большие объёмы Очень долго

скорость восстановления не критична, просто у нод есть лимиты по памяти, не хотелось бы чтоб бэкап вылетал по лимитам

не думаю, что по памяти вылетит. читает с диска без транзакций итд

а не отвечает ли Primary key за уникальность?

или в таблице могут быть данные с одинаковым PK?

а не отвечает ли Primary key за уникальность?

Нет, не отвечает

Круто

если это не ReplacingMergeTree, где в каком-то роде отвечает )

Он отвечает за построение индекса по MergeTree таблицам.

В документации к описанию TSVWithNames (https://clickhouse.yandex/docs/ru/formats/tabseparatedwithnames/) есть вот такая фраза, которая немного сбивает с толку: "вы не можете использовать имена столбцов, чтобы указать их порядок расположения". Как ее стоит понимать?

Т.е. строка реально игнорируется и это сделать просто для удобства, чтобы не заморачиваться с удалением первой строки при вставке самостоятельно?

Возможно здесь уже задавали этот вопрос, есть табличка GraphiMergeTree с кастомным партицированием. Почему после OPTIMIZE партиции останется несколько файлов? , Т.е. я вижу несколько кусков этой таблицы вместо ожидаемого одного.

по сути вопрос, как добавить колонку, если есть 2 реплики и нет поддержки ON CLUSTER

ALTER TABLE реплицируется. Если вы добавили колонку в одной из реплик, и она не прилетела в остальные реплики, вам надо искать, что пошло не так.

конечно, если вы в Replicated*MergeTree колонку добавляли

во все остальные Engines надо добавлять руками на каждом сервере

Если кто-то знает как рассчитывать маркетинговые воронки для сессии пользователя, при учёте того, что пользователь может несколько раз попать в воронку за одну сессию - пришлите варианты запросов

и надо эти несколько раз посчитать как больше одного?

Именно

Я два раза за сессию прошёл одну воронку, и это должны быть два хита

Здесь вопрос в том, как побить сессию на новый этап воронки

Предположим что я делаю пример из лекции Марии с arrayFilter

И вот я получаю результаты поподания (где эти номера порядковый номер в сессии)

И тут я вижу две воронки

11 -> 13 -> 15

78 -> 80

Но если считать по лекции, попадание будет одно

тут есть разные варианты что чем считать. вот если бы у вас было [11,12] [13,14] [15] то это уже две воронки, или еще нет. можно искать покрытие независимыми цепями, можно бить по времени и начинать вторую воронку после окончания первой,

в любом случае для запроса это может оказаться тяжеловато, может sequenceCount что-нибудь может посчитать, а может нет.

ок, попробую sequenceCount

Это что было нужно!

Спасибо

Скажите пожалуйста, есть те, кто смог подружить КХ с Зуукипером для репликации? Что-то у меня не получается данные отреплицировать.

в любом случае для запроса это может оказаться тяжеловато, может sequenceCount что-нибудь может посчитать, а может нет.

SELECT sum(step_1), sum(step_2), sum(step_3) FROM ( SELECT session_id, countIf( first_cond ) AS step_1, sequenceCount('(?1).*(?2)')(datetime , first_cond , second_cond ) AS step_2, sequenceCount('(?1).*(?2).*(?3)')(datetime, first_cond , second_cond, third_cond ) AS step_3 FROM events GROUP BY session_id )

Теперь осталось придумать как это переписать на функции высшего порядка

Скажите пожалуйста, есть те, кто смог подружить КХ с Зуукипером для репликации? Что-то у меня не получается данные отреплицировать.

а что конкретно не получается?

а что конкретно не получается?

Конкретно не получается реплицировать даннные. Не понимаю, что мне нужно написать в конфиге КХ для этих целей. Я указал <zookeeper> </zookeeper> сервера. Вопрос надо ли мне указывать настройки <remote_servers> и там прописывать replica? + Откуда брать параметры при создании таблицы '/clickhouse/tables/{shard}/hits', '{replica}'

> Я указал <zookeeper> </zookeeper> сервера. Этого достаточно. Параметры при создании таблицы использовать не обязательно. Если вы хотите их использовать, надо прописать их в секции <macros>