ну чего оно стрельнет? если время на поднятие нового инстанса около 10 минут при падении ноды, а время чистки уж каждый сам может выбирать, какие риски тут видите?

Этот процесс (поднятие ноды в замен старой и манипуляции с Zookeeper) должен быть связан, иначе в этой схеме что-то сработает, а что-то нет.

Жаль, спасибо за рекомендации!

Zookeeper не так уж и страшен, даже я смог развернуть его кластер )

Этот процесс (поднятие ноды в замен старой и манипуляции с Zookeeper) должен быть связан, иначе в этой схеме что-то сработает, а что-то нет.

поднятие ноды и поднятие ноды взамен другой по идее же не связаны?

Zookeeper не так уж и страшен, даже я смог развернуть его кластер )

Я не говорю что он страшен, просто хотелось бы сократить зоопарк SD

поднятие ноды и поднятие ноды взамен другой по идее же не связаны?

Нет, по идее это должно быть как-то так: падает нода, понимаем что проще стартануть новый контейнер, поднимаем новый, синкаем данные, понимаем что данные приехали и прописываем в remote_servers и где-то в этот момент подчищаем в Zookeeper данные о старой ноде, а не по таймауту )

Здравствуйте, скажите, с чем связанна данная ошибка <Error> executeQuery: Code: 159, e.displayText() = DB::Exception: Timeout exceeded: elapsed 20.180135335 seconds …. далее идет запрос SELECT это таймаут на выполнение?

Я не говорю что он страшен, просто хотелось бы сократить зоопарк SD

Zookeeper - это не про service discovery

Нет, по идее это должно быть как-то так: падает нода, понимаем что проще стартануть новый контейнер, поднимаем новый, синкаем данные, понимаем что данные приехали и прописываем в remote_servers и где-то в этот момент подчищаем в Zookeeper данные о старой ноде, а не по таймауту )

ну в любом случае это получается что такой функционал желательно втаскивать в кх, а не держать отдельной утилитой

Zookeeper - это не про service discovery

Я про то что и так есть etcd и consul

ну в любом случае это получается что такой функционал желательно втаскивать в кх, а не держать отдельной утилитой

Пускай КХ останется просто хорошей СУБД и не будет делать все что угодно и даже кофе варить, а нужный тулинг будет - это просто вопрос времени.

погляди в сторону consul, у них этот функционал называется autopilot, когда кластер сам подчищает за собой мусор, полезно во всяких AWS инсталляциях, когда у тебя размер кластера скачет туда сюда

Есть, но я бы не назвал ее понятной на 100%. Сам долго мучался. Могу подсказать если что.

Как бы ее посмотреть, не поделитесь ссылкой?

Всем привет. Подскажите, пожалуйста, по дефолтным значениям колонок. Правильно, ли я понимаю, что если мы добавляем колонку с дефолт значением альтером, то для старых данных на диск ничего записываться не будет. и выражения типа domain(`url`) будет пересчитываться при каждом селекте? И лучше всего пересоздать таблицу и перелить в нее данные, чем держать такие колонки?

Как бы ее посмотреть, не поделитесь ссылкой?

Э... 1) настроить zookeer по https://clickhouse.yandex/docs/en/operations/tips/#zookeeper 2) вписать его узлы в секцию zookeeper (могу дать работающий пример, но вообще спёр это из док кликхауса) 3) настроить секцию macros индивидуально для каждого узла кликхауса (аналогично)

Из проблем вижу только настройки самого зукипера. Остальное - в соответствии с документацией.

https://clickhouse.yandex/docs/en/table_engines/replication/

Как бы ее посмотреть, не поделитесь ссылкой?

Можете в личку написать, я расскажу свой путь.

Э... 1) настроить zookeer по https://clickhouse.yandex/docs/en/operations/tips/#zookeeper 2) вписать его узлы в секцию zookeeper (могу дать работающий пример, но вообще спёр это из док кликхауса) 3) настроить секцию macros индивидуально для каждого узла кликхауса (аналогично)

А 3ий пункт вы как использовали?

# cat /etc/clickhouse-server/config.d/macros.xml <?xml version="1.0"?> <yandex> <macros replace="replace"> <!-- id шарда, у нас всегда одно и тоже, ибо репликация типа зеркало --> <shard>01</shard> <!-- id реплики, уникальное для каждого сервера в шарде --> <replica>01</replica> </macros> </yandex>

Можете в личку написать, я расскажу свой путь.

Спасибо! Буду разбираться!

Ну и использовал потом подстановки в CREATE TABLE

У меня проблема была в создании реплицируемой таблицы, я не мог долго понять какие параметры писать. Имя реплики и так далее.

Ну и использовал потом подстановки в CREATE TABLE

А можете примере пожалуйста использования вашего макроса при создании таблицы?

CREATE TABLE telegraf.docker ON CLUSTER telegraf_replica ( date Date, datetime DateTime, engine_host String, host String, service String, n_containers_stopped UInt64, n_used_file_descriptors UInt64, n_containers_running UInt64, n_listener_events UInt64, memory_total UInt64, n_cpus UInt64, n_containers UInt64, n_goroutines UInt64, n_images UInt64, n_containers_paused UInt64 ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/telegraf_docker', '{replica}', date, (date, datetime, engine_host, host, service), 8192)

{shard} и {replica} берутся из макросов

Вобщем, по ссылке выше это тоже есть.

Спасибо!

Вопрос по организации хранения. Допустим у нас есть разные события. Какие-то события относятся к маркетингу, какие-то к игре, какие-то к чему-то еще. У каждого события есть определенные группы полей, причем есть набор полей, который общий для всех событий (например utm метки пользователя или идентификатор пользователя); остальные поля разные у всех событий и специфичны только для конкретного типа событий. Насколько корректно будет хранить все эти события в одной большой таблице? Т.е. проблема в том, что каждое событие будет заполнять только свои поля, а другие поля будут пустыми. Имеет ли место быть такая практика?

отлично будет храниться

Нормально хранится, проверено.

Спасибо!

А вот такое чудо о чем говорит? О том, что до ЗК не может достучаться, или ЗК долго думает? <Warning> ZooKeeper: Error on attempt 0: operation timeout. Retry

Делает три попытки и валится дальше с ошибкой Cannot create table from metadata file...

Всем привет. Подскажите, пожалуйста, по дефолтным значениям колонок. Правильно, ли я понимаю, что если мы добавляем колонку с дефолт значением альтером, то для старых данных на диск ничего записываться не будет. и выражения типа domain(`url`) будет пересчитываться при каждом селекте? И лучше всего пересоздать таблицу и перелить в нее данные, чем держать такие колонки?

не правильно create table test (a String) Engine = MergeTree partition by tuple() order by a; insert into test(a) select toString(number) from numbers(100000); alter table test add column b String default a; optimize table test partition tuple() final; alter table test modify column b String; show create table test; select count(distinct b) from test; 100000

Товарищи, а что бы можно было сделать для ускорения мержей? Постоянно упираюсь в то, что КХ ругается на большое кол-во кусков мержей ( более 300), при этом самые частые записи уже делаются через буфер. Что-то ещё может покрутить ?

не правильно create table test (a String) Engine = MergeTree partition by tuple() order by a; insert into test(a) select toString(number) from numbers(100000); alter table test add column b String default a; optimize table test partition tuple() final; alter table test modify column b String; show create table test; select count(distinct b) from test; 100000

т.е. после оптимайза данные станут физическими?

т.е. после оптимайза данные станут физическими?

да

отлично

спасибо

коллеги, подскажите а как в случае с curl отправить параметр на поднятие памяти (max_result_bytes) POST'ом а не в гете (curl -sS 'http://localhost:8123/?max_result_bytes=4000000)

Коллеги, добрый день! Кто-нибудь подключал кликхаус к Power BI в DirectQuery моде?

Коллеги, добрый день! Кто-нибудь подключал кликхаус к Power BI в DirectQuery моде?

вроде бы MS пока не расщедрился на нативную поддрежку КХ для DirectQuery - https://docs.microsoft.com/ru-ru/power-bi/desktop-directquery-data-sources

Прошу прошения за глупый вопрос, но мне нужна функция типа DATEADD в мускуле есть такая? Не смог найти в доках

SELECT * FROM system.functions WHERE name LIKE '%add%' ┌─name───────┬─is_aggregate─┐ │ addSeconds │ 0 │ │ addMonths │ 0 │ │ addDays │ 0 │ │ addMinutes │ 0 │ │ addHours │ 0 │ │ addWeeks │ 0 │ │ addYears │ 0 │ └────────────┴──────────────┘

SELECT * FROM system.functions WHERE name LIKE '%add%' ┌─name───────┬─is_aggregate─┐ │ addSeconds │ 0 │ │ addMonths │ 0 │ │ addDays │ 0 │ │ addMinutes │ 0 │ │ addHours │ 0 │ │ addWeeks │ 0 │ │ addYears │ 0 │ └────────────┴──────────────┘

Спасибо!

Прошу прошения за глупый вопрос, но мне нужна функция типа DATEADD в мускуле есть такая? Не смог найти в доках

или можно просто datetimе + - число

А можно еще вопрос, создал я materialized view и у меня там только новые данные а старые не подтянулись, можно это как-то исправить? Или я просто сделал что-то не так?

https://clickhouse.yandex/docs/ru/query_language/queries/#create-view > Если указано POPULATE, то при создании представления, в него будут вставлены имеющиеся данные таблицы, как если бы был сделан запрос CREATE TABLE ... AS SELECT ... . Иначе, представление будет содержать только данные, вставляемые в таблицу после создания представления. Не рекомендуется использовать POPULATE, так как вставляемые в таблицу данные во время создания представления, не попадут в него.

https://clickhouse.yandex/docs/ru/query_language/queries/#create-view > Если указано POPULATE, то при создании представления, в него будут вставлены имеющиеся данные таблицы, как если бы был сделан запрос CREATE TABLE ... AS SELECT ... . Иначе, представление будет содержать только данные, вставляемые в таблицу после создания представления. Не рекомендуется использовать POPULATE, так как вставляемые в таблицу данные во время создания представления, не попадут в него.

Потресающе! Спасибо)

а как кх будет себя вести если поставить условие not in("1 млн записей из внешнего справочника")

никто не пробовал?

а как кх будет себя вести если поставить условие not in("1 млн записей из внешнего справочника")

попробует вгрузить это в память. И если не поместится то ругнется

миллион записей это айдишники

тоесть поидее не много

в сам запрос с таким not in насколько плохо будет работать?

у нас заказчик захотел черный список в аналитике...

миллион записей это айдишники

Мы не грузим миллионы, но тысячи грузим, грузим через внешний файл

Работает как надо

Думаю можно ЧС в мемори таблицу загнать и периодически дополнять его

из memory удалять же нельзя?

и партиции там не дропаются?

у нас могут в любой момент удалить из чс

Можно хранить список в другой бд, а при изменении чс пересоздавать таблицу и писать туда данные

он часто вообще обновляется?

пользователь может в любую секунд тыкнуть кнопку и отредактировать)

его еще нету

я думаю, как сделать

у нас подобное нормально работает, но пришлось лезть в конфиг и увеличивать max_ast_elements

всмысле через справочник работает?

справочник == словарь? в нашем случае приложение формирует огромный запрос сразу с in (1, 2, 3, ...)

без этого бы хотелось обойтись

например написать id not in (select id from black_list)

справочник == словарь? в нашем случае приложение формирует огромный запрос сразу с in (1, 2, 3, ...)

Такие запросы сложно дебажить...

Мы так тоже делали

Пока строками за 16кб не вылезли

Пришлось писать транспорт через cli клиент

откуда ограничение в 16кб?

вопрос не столько - дебажить

при формировании запроса

придется спрашивать каждый раз у постгреса черный список

а в случае с внешним словарем можно поставить запуск обновления словаря в триггере постгреса

vs обновлять ЧС на всех нодах кликхауса

1 млн айдишников это 4 килобайта

в рамках - обновить по триггеру фигня

но дергать для каждого запроса

накладно

откуда ограничение в 16кб?

http протокол в query string. А постом файл отправить и запрос нельзя, пришлось изгаляться

1 млн айдишников это 4 килобайта

У нас строки передавались

вы передавали строки

а odbc будет брать числа

вопрос больше в том