я нашел ошибку что в докер маунтится внешним диском только директория data, то есть метаданные пропадают после деплоя нового контейнера

хренасе вы

чета затупили да

я копипастил откуда-то что маунтить на внешний диск

не подумал

по мимо метаданных там еще и системные штуки всякие даже в /etc кх пишет

но вот куда данные пропали вопрос открыт ))

по мимо метаданных там еще и системные штуки всякие даже в /etc кх пишет

Оо

и как быть с докером

но вот куда данные пропали вопрос открыт ))

ну с тем что вы маунтили только одну папку из всех сложно что то сказать, надо смотреть логи

и как быть с докером

ну маунтишь просто папку /etc/clickhouse

ну маунтишь просто папку /etc/clickhouse

это я понял уже да ))

или не понял

/var/lib/clickhouse и /etc/clickhouse?

оба

оба

а где можно узнать про это?

а где можно узнать про это?

как догадаться что маунтить, а что нет

а где можно узнать про это?

Ну в документации наверно

Я же уже написал в чем ваша ошибка и что сделать

как догадаться что маунтить, а что нет

а как вы догадываетесь в других случаях ?

Всем привет, не нашел ответа поиском по каналу, потому спрошу: Есть желание сделать такую структуру table -> {mat. view} -> table -> {mat. view} -> table, небольшой конвейер преобразования данных, но вторая mat. view не отрабатыватет. был ли у кого опыт?

а как вы догадываетесь в других случаях ?

обычно пишут на докер хабе что куда пишется, что куда маунтить

а яндекс не пишет на докер хабе ?

я не сильно девопс, если это вдруг очевидно

Всем привет, не нашел ответа поиском по каналу, потому спрошу: Есть желание сделать такую структуру table -> {mat. view} -> table -> {mat. view} -> table, небольшой конвейер преобразования данных, но вторая mat. view не отрабатыватет. был ли у кого опыт?

и не должно. работает только таким образом: table -> {mat. view} -> table -> {mat. view} -> table

в докерфайле написано https://hub.docker.com/r/yandex/clickhouse-server/~/dockerfile/ USER clickhouse EXPOSE 9000 8123 9009 VOLUME /var/lib/clickhouse я бы еще и лог (var/log/ch...) с хоста монитровал, для разборок.

Друзья , есть спецы по Zookeeper

Отзовитесь в ЛС кому не сложнл

в докерфайле написано https://hub.docker.com/r/yandex/clickhouse-server/~/dockerfile/ USER clickhouse EXPOSE 9000 8123 9009 VOLUME /var/lib/clickhouse я бы еще и лог (var/log/ch...) с хоста монитровал, для разборок.

спасибо

возможно сменили пути в какой-то момент, у меня маунтится /etc/clickhouse-server/conf.d

и такого вообще нет в докерфайле

а вот неправильно работает) SELECT toYear(toDate('2018-01-03')) - toYear(toDate('2017-01-01')) AS x - должно получиться меньше единицы, а получается единица

если без учета leap year SELECT toDate('2018-01-01') a, toDate('2000-01-04') b, a-b AS x , x/365 а если надо точно, то наверное if else if с месяцами и днями и вычесть годы

если без учета leap year SELECT toDate('2018-01-01') a, toDate('2000-01-04') b, a-b AS x , x/365 а если надо точно, то наверное if else if с месяцами и днями и вычесть годы

Есть функция DATEDIFF

есть-то она есть SELECT toDate('2018-01-01') a, toDate('2017-01-04') b, a-b AS x, datediff('YEAR', b,a) xx , x/365 xy ┌──────────a─┬──────────b─┬───x─┬─xx─┬─────────────────xy─┐ │ 2018-01-01 │ 2017-01-04 │ 362 │ 1 │ 0.9917808219178083 │ └────────────┴────────────┴─────┴────┴────────────────────┘

или даже так SELECT toDate('2018-01-01') a, toDate('2017-12-31') b, a-b AS x, datediff('YEAR', b,a) xx , x/365 xy ┌──────────a─┬──────────b─┬─x─┬─xx─┬────────────────────xy─┐ │ 2018-01-01 │ 2017-12-31 │ 1 │ 1 │ 0.0027397260273972603 │ └────────────┴────────────┴───┴────┴───────────────────────┘

как-то можно запретить выполнение drop/create/update-команд для таблиц и дб?

Друзья помогите! Как зукипер подружить с кликхаусом?

Прописали единичку в файл myid в настройках сервера

А дальше что делать?

Ребята, помогите советом!

Myid в настройках клиента

Друзья, кто имел дело, помогите плиз

как-то можно запретить выполнение drop/create/update-команд для таблиц и дб?

либо RO профиль, либо allow_ddl ClickHouse release 18.12.14, 2018-09-13 Добавлена настройка allow_ddl, упраляющая доступом пользователя к DDL-запросам.

Друзья помогите! Как зукипер подружить с кликхаусом?

https://clickhouse.yandex/docs/ru/operations/table_engines/replication/

Denny Crane, почитали всё и посмотрели и ничего не поняли

Denny Crane, почитали всё и посмотрели и ничего не поняли

Прочитайте ещё раз и не паникуйте так. Попробуйте сделать как написано, там ничего сложного.

Прочитайте ещё раз и не паникуйте так. Попробуйте сделать как написано, там ничего сложного.

Проблема в том, что там нет примеров. А самому написать как-то не получается.

Проблема в том, что там нет примеров. А самому написать как-то не получается.

Как нет?

(Да, нас здесь 2 с одним и тем же заданием.)

Как нет?

Хм. Сейчас перечитаю.

а да, еще нужно это прочитать https://clickhouse.yandex/docs/ru/operations/server_settings/settings/#remote_servers

В общем КХ нода ничего не знает про кластер. каждая таблица *replicated "сама" ходит по заданному пути в зукипер и там хранит информацию, если создать таблицу с таким же путем на другой ноде, появится реплика. т.е. можно создать на 1м сервере ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard1/tableXXX', 'replica1' на втором ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard1/tableXXX', 'replica2' на третьем ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard2/tableXXX', 'replica1' на четвертом ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard2/tableXXX', 'replica2' и будет 2 реплицированных таблицы (одна с двумя шардами, каждый с одной копией) для облегчения можно использовать макросы, создать на каждой ноде свой уникальный macros.xml и сделать например такой путь '/clickhouse/{cluster}/tables/{shard}/tableXXX', '{replica}' ну и напрмер добавить базу в путь (чтобы создавать одинаковые таблицы в разных базах) '/clickhouse/{cluster}/tables/{shard}/newmydb/tableXXX', '{replica}' или так, '/clickhouse/{cluster}/tables/{shard}/newmydb_tableXXX', '{replica}' cat /etc/clickhouse-server/conf.d/macros.xml <?xml version="1.0" ?> <yandex> <macros> <cluster>new_cluster</cluster> <replica>server_sw1</replica> <shard>1</shard> </macros> </yandex> на другом сервере cat /etc/clickhouse-server/conf.d/macros.xml <?xml version="1.0" ?> <yandex> <macros> <cluster>new_cluster</cluster> <replica>server_sw112_windowsmustlive</replica> <shard>2</shard> </macros> </yandex>

макрос cluster мы используем чтобы несколько стейджей (разные кластеры КХ) пользовались одним зукипером, а путь оставался уникальным

а да, еще нужно это прочитать https://clickhouse.yandex/docs/ru/operations/server_settings/settings/#remote_servers

В общем КХ нода ничего не знает про кластер. каждая таблица *replicated "сама" ходит по заданному пути в зукипер и там хранит информацию, если создать таблицу с таким же путем на другой ноде, появится реплика. т.е. можно создать на 1м сервере ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard1/tableXXX', 'replica1' на втором ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard1/tableXXX', 'replica2' на третьем ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard2/tableXXX', 'replica1' на четвертом ReplicatedReplacingMergeTree('/clickhouse/new_cluster/tables/shard2/tableXXX', 'replica2' и будет 2 реплицированных таблицы (одна с двумя шардами, каждый с одной копией) для облегчения можно использовать макросы, создать на каждой ноде свой уникальный macros.xml и сделать например такой путь '/clickhouse/{cluster}/tables/{shard}/tableXXX', '{replica}' ну и напрмер добавить базу в путь (чтобы создавать одинаковые таблицы в разных базах) '/clickhouse/{cluster}/tables/{shard}/newmydb/tableXXX', '{replica}' или так, '/clickhouse/{cluster}/tables/{shard}/newmydb_tableXXX', '{replica}' cat /etc/clickhouse-server/conf.d/macros.xml <?xml version="1.0" ?> <yandex> <macros> <cluster>new_cluster</cluster> <replica>server_sw1</replica> <shard>1</shard> </macros> </yandex> на другом сервере cat /etc/clickhouse-server/conf.d/macros.xml <?xml version="1.0" ?> <yandex> <macros> <cluster>new_cluster</cluster> <replica>server_sw112_windowsmustlive</replica> <shard>2</shard> </macros> </yandex>

макрос cluster мы используем чтобы несколько стейджей (разные кластеры КХ) пользовались одним зукипером, а путь оставался уникальным

макрос cluster мы используем чтобы несколько стейджей (разные кластеры КХ) пользовались одним зукипером, а путь оставался уникальным

Chroot же)

Проблема в том, что там нет примеров. А самому написать как-то не получается.

А вы начните от https://clickhouse.yandex/tutorial.html похоже вы этого не читали / не проходили.

Chroot же)

и чего? запустить 30 зукиперов вместо 3 ?

А вы начните от https://clickhouse.yandex/tutorial.html похоже вы этого не читали / не проходили.

Читал, на русском. Там есть принципиальные отличия?

Нет

Нет

Сейчас стоит вопрос конкретно по ZK: как их соединить друг с другом? Если у вас есть ссылка на документацию по нему, не могли бы скинуть? Я нашел официальную, от Apache, но утонул в ней.

я завтра посмотрю уже, ну ты если не сложно зашарь, всеравно я думаю ктонибудь еще спросит, в чате можно будет найти

Помню, но с компа скинуть пока не могу.

и чего? запустить 30 зукиперов вместо 3 ?

Секця chroot в конфиге для zoo позволяет один и тот же путь в приложении юзать, без подстановки cluster

Сейчас стоит вопрос конкретно по ZK: как их соединить друг с другом? Если у вас есть ссылка на документацию по нему, не могли бы скинуть? Я нашел официальную, от Apache, но утонул в ней.

Там просто чтоб начало работать вроде все примитивно - см. например https://dzone.com/articles/how-to-setup-zookeeper-cluster

Там просто чтоб начало работать вроде все примитивно - см. например https://dzone.com/articles/how-to-setup-zookeeper-cluster

Спасибо. Сейчас пойду читать.

Там в этом примере все 3 зукипера на одной машине ставят, но суть та же.

Спасибо. Сейчас пойду читать.

Ну или тут чуть подробнее

https://www.thegeekstuff.com/2016/10/zookeeper-cluster-install/comment-page-1/

https://www.thegeekstuff.com/2016/10/zookeeper-cluster-install/comment-page-1/

+

Секця chroot в конфиге для zoo позволяет один и тот же путь в приложении юзать, без подстановки cluster

кто бы знал об этом, в документации об этом нету. t.me/clickhouse_ru/29716

Парни, есть кто живой?

Только боты.

Жаль.

Только боты.

Был вопрос, но сейчас другие проблемы. Впрочем... Из-за чего одна реплика может висеть 'в воздухе'?

Да, и где бы посмотреть файлы, которые создают реплики? А то я её создавал/удалял, а теперь создать не могу - что-то осталось.

Что значит висеть в воздухе?

Да, и где бы посмотреть файлы, которые создают реплики? А то я её создавал/удалял, а теперь создать не могу - что-то осталось.

Var/lib и зукипер.

Что значит висеть в воздухе?

SELECT * FROM system.zookeeper WHERE path = '/clickhouse/tables/01-08/visits/replicas' На 3 клиентах показывает все 3, а на одном только себя.

Var/lib и зукипер.

А в нем это где?

SELECT * FROM system.zookeeper WHERE path = '/clickhouse/tables/01-08/visits/replicas' На 3 клиентах показывает все 3, а на одном только себя.

А сейчас вообще как-то рассинхрон пошёл...

SELECT * FROM system.zookeeper WHERE path = '/clickhouse/tables/01-08/visits/replicas' На 3 клиентах показывает все 3, а на одном только себя.

В одном 2, в другом 3, в третьем одна, в четвертом не одной.

В одном 2, в другом 3, в третьем одна, в четвертом не одной.

Хм. Ладно. На это я, в принципе, могу забить. Просто создам другую таблицу и к ней пачку других реплик.

Хм. Ладно. На это я, в принципе, могу забить. Просто создам другую таблицу и к ней пачку других реплик.

А вот как синхронизовать данные, я не понимаю. По шагам: Создаю таблицу ontime2 для всех 4 клиентов. Создаю для каждого из них реплику с уникальным названием. Далее, заливаю данные в... Одну из реплик? Одну оригинальную таблицу? Все реплики? Все оригинальные таблицы?

ошибки про зукипер в логе КХ есть? и надо смотреть статус прямо в зукипере

ошибки про зукипер в логе КХ есть? и надо смотреть статус прямо в зукипере

Сейчас посмотрю. А вот это пока не умею.

А вот как синхронизовать данные, я не понимаю. По шагам: Создаю таблицу ontime2 для всех 4 клиентов. Создаю для каждого из них реплику с уникальным названием. Далее, заливаю данные в... Одну из реплик? Одну оригинальную таблицу? Все реплики? Все оригинальные таблицы?

т.е. есть 4 сервера и таблица должна быть одинаковая на всех четырех? 1+3 копии?

т.е. есть 4 сервера и таблица должна быть одинаковая на всех четырех? 1+3 копии?

Да. И в случае отключения одного другие должны её 'подхватить'.

Да. И в случае отключения одного другие должны её 'подхватить'.

они всегда "держат"

они всегда "держат"

Я ещё не совсем понимаю, поэтому уточнил. + Если мы делаем insert в оставшиеся 3, то он должен пройти и потом добавить на 4.

ну так и будет, вставка идет в таблице на одной ноде, ее реплики скачивают все что добавилось, сразу или потом.

путь одинаковый должен быть на всех 4 нодах и разное имя у реплики. как таблицу создаете?

путь одинаковый должен быть на всех 4 нодах и разное имя у реплики. как таблицу создаете?

Оригинальная таблица - из примера ontime. Для реплик меняю название на ontime_r и engine на

ну да ща я побежал смотреть что такое ontime