Таково задание. На всех компах должен стоять Zookeeper

сделайте с одним и сразу станет все ок

Так. Тогда вопросы по одному: запустили, работает. В zoo.cfg IP прописал (перезапустил ЗК), в config.xml CH тоже (перезапустил КХ). Что ещё и где нужно повернуть?

ну вы сделайте с одним и потом поднимате другие

Т.е., прописали для одного, запустили, потом просто запускать на других машинах ЗК? В myid цифры уже вбил, в zoo.cfg тоже всё прописал, для одного строку лидер раскомментировал.

вообще сделайте пока один зукипер без других

и настройте все

Так не догоняю, что ещё и где настроить. Потому что на этом вроде бы всё.

оставьте один зукипер и в конфигах кх пропишите его

Так. Так... Момент.

Реплика отрабатывает но почемуто стучится на адресс ubuntu:9009 O_o<Trace> ReadWriteBufferFromHTTP: Sending request to http://ubuntu:9009/?endpoint=DataPartsExchange%3A%2Fclickhouse%2Ftables%2F01%2Fwikistat%2Freplicas%2Fwikistat01&part=19700101_19700101_1_1_0&compress=false

Это где то настраиваеся?

А какой хостнейм у другой иашины?

по её мнению

192.168.56.102

в локалке

Хостнейм нормальный задайте на серверах

Спасибо, все заработало

Получается можно реплицировать отдельно шарды а не всю базу ?

Реплики касаются только таблиц по сути

Реплики ничего про шарды не знают

Шард это выдуманная абстракция

Т.е., прописали для одного, запустили, потом просто запускать на других машинах ЗК? В myid цифры уже вбил, в zoo.cfg тоже всё прописал, для одного строку лидер раскомментировал.

что конкретно вы раскоментировали про лидера?

что конкретно вы раскоментировали про лидера?

Последняя строка zoo.cfg: leaderServes=yes

Последняя строка zoo.cfg: leaderServes=yes

Только на одном ПК.

Последняя строка zoo.cfg: leaderServes=yes

Во первых это включено по умолчанию. Поэтому вы сделали ровно ничего. Во вторых это означает что лидер будет обслуживать запросы. В третьих они выбирают лидера голосованием.

Во первых это включено по умолчанию. Поэтому вы сделали ровно ничего. Во вторых это означает что лидер будет обслуживать запросы. В третьих они выбирают лидера голосованием.

Понял. Ладно, хуже от этого вроде бы не стало.

ребятки. а подскажите такой вопрос версия 18.12.17 revision 54407 две реплики. есть табличка ReplicatedMergeTree на обоих делаю truncate на сервере на котором первом создавалась таблица все ок на втором Code: 48. DB::Exception: Received from :9000. DB::Exception: Can't proxy this query. Unsupported query type.

а зачем на втором делать, в смысле реплики сами это сделают. На втором точно версия такая же?

точно такая же версия. я не знаю на какой я попаду с балансера

и не хотел бы знать

а кто у нас балансером?

chproxy

но пробовал воспроизвести напрямую. через clickhouse client

воспроизводится

Да, это просто не доделали, нужно поправить

Поставлю себе в TODO на https://opensourcefriday.com )

понял. а есть какие то грубые этимейты, следующий релиз или дольше? как посоветуете пока обходить? балансируем round robin. пробовать truncate до успеха?

понял. а есть какие то грубые этимейты, следующий релиз или дольше? как посоветуете пока обходить? балансируем round robin. пробовать truncate до успеха?

Ну, я бы создавал задачу и смотрел на всех машинах, если реплика являтся лидером то делал бы truncate

Или пофиксил бы и пересобрал сервер )

хм. а как мы можем узнать лидер ли эта реплика?

хм. а как мы можем узнать лидер ли эта реплика?

В system.replicas есть флажек is_leader

Можно поверх system.replicas сделать distributed и запросом выбирать где сейчас для какой таблицы лидер и идти на нудный сервер

хм. выяснить это одно. но я не могу быть уверен что попаду на него при выполнении запроса. так как хожу через jdbc на chproxy и оттуда в ch. запрос на выяснение может попасть на первую а транкейт на вторую)

но вот пул реквест звучит интересно. такое я еще не пробовал=)

а вот еще вопрос. какой правильный механизм дропа сервера реплики насовсем? немогу в доке найти. интересует два варианта 1) если сервер еще есть и я хочу его убить 2) если сервера уже нет

знаю что можно в zk подчистить

но какие есть еще варианты?

а вот еще вопрос. какой правильный механизм дропа сервера реплики насовсем? немогу в доке найти. интересует два варианта 1) если сервер еще есть и я хочу его убить 2) если сервера уже нет

> 1) если сервер еще есть и я хочу его убить drop database

Ночи. Есть вопрос по поводу отдельных файлов конфигураций: не понимаю куда его положить. Конкретно: использую файл clickhouse_remote_servers.xml. Сначала положил рядом с conf.xml. Не работает. Почитал документацию (https://clickhouse.yandex/docs/ru/operations/configuration_files/), создал (там же) папку conf.d, положил туда. Не работает. Почитал https://github.com/yandex/ClickHouse/issues/2892, создал папку clickhouse_remote_servers (тоже в папке настроек сервера), сложил туда. Не работает. Как правильно сделать? UP: clickhouse_remote_servers.d - как папка тоже не помогло.

пишите все настройки в главный файл , пусть у вас будет он один кроме юзеров

Ночи. Есть вопрос по поводу отдельных файлов конфигураций: не понимаю куда его положить. Конкретно: использую файл clickhouse_remote_servers.xml. Сначала положил рядом с conf.xml. Не работает. Почитал документацию (https://clickhouse.yandex/docs/ru/operations/configuration_files/), создал (там же) папку conf.d, положил туда. Не работает. Почитал https://github.com/yandex/ClickHouse/issues/2892, создал папку clickhouse_remote_servers (тоже в папке настроек сервера), сложил туда. Не работает. Как правильно сделать? UP: clickhouse_remote_servers.d - как папка тоже не помогло.

<remote_servers>conf.d/remote_servers.xml</remote_servers> и закидывайте эти файлы в папку conf.d У нас вот так там root@ch1-r1-dev:~# ll /etc/clickhouse-server/conf.d/ total 44 drwxr-xr-x 2 clickhouse clickhouse 4096 Oct 10 13:21 ./ drwxr-xr-x 3 root root 4096 Oct 9 15:01 ../ -rw-r--r-- 1 clickhouse clickhouse 11915 Oct 10 13:23 dictionaries-preprocessed.xml -rw-r--r-- 1 clickhouse clickhouse 11899 Oct 10 13:21 dictionaries.xml -rw-r--r-- 1 clickhouse clickhouse 176 Oct 2 15:23 macros.xml -rw-r--r-- 1 clickhouse clickhouse 2024 Oct 9 15:06 remote_servers.xml -rw-r--r-- 1 clickhouse clickhouse 231 Oct 2 15:24 zookeeper-servers.xml

господа, а есть ли у кого урлы на нормальные примеры настройки clickhouse и советы может быть для того или другого случая? оф дока скудная пздц

ну все по ней и настраивают

случаи тут у всех примерно одни и теже , очень много таймсериес данных

Нихрена себе скудная

А как надо

С видео?

Видео тоже есть )

Нихрена себе скудная

ну например описание ошибок

Code: 32. DB::Exception: Attempt to read after eof

читать сорцы эт оконечно ок, но блджад

Добрый день! Подскажите пожалуйста есть ли аналог GIST INDEX в КХ. Если я задам MergeTree(date, (date1,date2 ), 8192) то как будет осуществляться запрос в котором я укажу where date1 > "2010-01-02" and date2 < "2010-02-02" . Неважно с чем сравнивать.. Как я понимаю сначала будет поиска по b-tree по date1 и потом пойдет полный поиск по date2 или же будет одновременный поиск по смешанному b-tree дереву? (наподобие gist в postgress)

Добрый день! Подскажите пожалуйста есть ли аналог GIST INDEX в КХ. Если я задам MergeTree(date, (date1,date2 ), 8192) то как будет осуществляться запрос в котором я укажу where date1 > "2010-01-02" and date2 < "2010-02-02" . Неважно с чем сравнивать.. Как я понимаю сначала будет поиска по b-tree по date1 и потом пойдет полный поиск по date2 или же будет одновременный поиск по смешанному b-tree дереву? (наподобие gist в postgress)

https://medium.com/@f1yegor/clickhouse-primary-keys-2cf2a45d7324

тут про индексы есть

на англ правда

Добрый, подскажите пожалуйста, вот в данном исполнении хранить надо группированные данные за неделю, т.е у них фактически нет даты, но эти данные постоянно будут обновляться. Собственно движок CollapsingMergeTree ест первым аргументом какую то дату, и вот непонятно что туда засунуть, возможно тут другой движок лучше использовать, или вести что то вроде даты начала недели спецом для этого аргумента?

Добрый, подскажите пожалуйста, вот в данном исполнении хранить надо группированные данные за неделю, т.е у них фактически нет даты, но эти данные постоянно будут обновляться. Собственно движок CollapsingMergeTree ест первым аргументом какую то дату, и вот непонятно что туда засунуть, возможно тут другой движок лучше использовать, или вести что то вроде даты начала недели спецом для этого аргумента?

какую то вы ересь делаете, почему просто дату не писать ?

@milovidov_an а не подскажите кто то вообще занимается проблемой с limit в запросах к дистрибьютед таблице с where по date ? А то уже встретился с этой проблемой в трех инсталаяциях https://github.com/yandex/ClickHouse/issues/2156

на англ правда

угу. Почитал. Не то. Совсем не то.

какую то вы ересь делаете, почему просто дату не писать ?

Все сложно) Это всего лишь промежуточная таблица, по ней может быть куча фильтрованных запросов, так же как и группированный ее результат уйдет инсертом в другую таблицу. в общем данные не просто так в таком виде

ну мне кажется что как раз кх хорош тем что можно было избавится от таких таблиц , у нас просто было похожее в постгресе раньше

Да не, мы конечно тоже сделали бы дату, если бы бизнес не требовал статистики сверхатомарной, даже учитывая скорость и возможности КХ, не заедет

Нельзя ли первым аргументом передать в этот движок какую то группу полей?

или мб какой то подобный движек есть, где можно без даты обойтись

да вроде можно уже и без даты в эти движки ложить данные

не так давно обсуждали и вроде даже в доку уже добавили

Обновился с 1.1.54362 -> 18.12,17 поотваливались постгревые словари с range_hashed с ошибкой Unsupported type Nullable(Date) хотя дата прописана в range_min/range_max. Что-то поменялось в объявлении словарей или ишью открывать?

Привет, вопрос по смежной теме. Сейчас пытаюсь добавить 4 ноды в кластер zookeeper, после запуска: bash-4.2# zkServer.sh status ZooKeeper JMX enabled by default Using config: /conf/zoo.cfg Error contacting service. It is probably not running. Однако, echo "ruok" | nc 127.0.0.1 2181 imok

Кому можно верить?

Из странного: /data/myid у новых нод у всех равен 1 :/ Подозреваю дело в этом

Ну да, id-ы должны быть разными

Обновился с 1.1.54362 -> 18.12,17 поотваливались постгревые словари с range_hashed с ошибкой Unsupported type Nullable(Date) хотя дата прописана в range_min/range_max. Что-то поменялось в объявлении словарей или ишью открывать?

а как <null_value> задан? <null_value>0000-00-00<null_value>

Из странного: /data/myid у новых нод у всех равен 1 :/ Подозреваю дело в этом

так это ваша обязанность записать туда уникальный номер. Each zookeeper server should have a unique number in the myid file. For example, server 1 will have value 1, server 2 will have value 2 and so on. server 1 sudo sh -c "echo '1' > /var/lib/zookeeper/myid" server 2 sudo sh -c "echo '2' > /var/lib/zookeeper/myid"

Да, добавил валидный. Пока status все тот же :/

Да, добавил валидный. Пока status все тот же :/

почему-то путь такой странный Using config: /conf/zoo.cfg

ну файл есть

где ?

# cat /conf/zoo.cfg clientPort=2181 dataDir=/data dataLogDir=/datalog tickTime=2000 initLimit=30000 syncLimit=20 maxClientCnxns=2000 server.1=name1:2888:3888 server.2=name2:2888:3888 server.3=name3:2888:3888

echo "stat" | nc 127.0.0.1 2181

echo "stat" | nc 127.0.0.1 2181 This ZooKeeper instance is not currently serving requests echo "ruok" | nc 127.0.0.1 2181 imok

и что значит >Сейчас пытаюсь добавить 4 ноды в кластер zookeeper, после запуска вы добавляете 4 новых ноды в существующий кластер? почему тогда в конфиге только 3 ?

Ну суммарно машин 7, да Конфиг обрезал, тк хостнеймы выдуманные не играют роли. У 4х новых машин myid соответствуют ID из конфига

а как <null_value> задан? <null_value>0000-00-00<null_value>

нет. Это тэг range_min&range_max. Откатил на 18.10.3 и заработало

Вообще пытаюсь делать по гайду https://gist.github.com/miketheman/6057930 Возможно, он врет?