какие-то эксепшены там есть, но не вижу что-то про remote_servers или cluster

какие-то эксепшены там есть, но не вижу что-то про remote_servers или cluster

Естьпро то что XML конфига не мог распарсить?

какие-то эксепшены там есть, но не вижу что-то про remote_servers или cluster

И посмотрите на то что КХ записал в config-processed.xml

кажется всё так как ожидается https://pastebin.com/uCnhNmNZ

remote-servers а нужно remote_servers

ммм... вотоночё!

ща попробую

Ну кажется это помогло, теперь оно просто зависает)

Ну кажется это помогло, теперь оно просто зависает)

порт 9000 открыт на обоих? У меня тоже вис, пока не открыл между ними и 9000 и 9009

Странно, каким образом до этого данные реплицировались нормально.

репликация по 9009, а вот запросы по 9000 я так понял

А в <remote_servers> какой порт нужно указывать? 9000 или 9009?

Ага! Кажется я вижу косяк. Всем большое спасибо за помощь!))

Вопрос. Какую визуализацию посоветуете для аналитики… Чтобы можно было дашборды собирать, а люди, ничего не знающие об sql могли бы хотя бы группировки сами добавлять. Некоторый конструктор. Что попробовал: 1. Tabix 2. Grafana 3. Superset Superset ещё потестирую, но есть ощущение, что не про то всё… Может у кого есть чудо-опыт с чудо-визуализацией?

Вопрос. Какую визуализацию посоветуете для аналитики… Чтобы можно было дашборды собирать, а люди, ничего не знающие об sql могли бы хотя бы группировки сами добавлять. Некоторый конструктор. Что попробовал: 1. Tabix 2. Grafana 3. Superset Superset ещё потестирую, но есть ощущение, что не про то всё… Может у кого есть чудо-опыт с чудо-визуализацией?

+1

Вопрос. Какую визуализацию посоветуете для аналитики… Чтобы можно было дашборды собирать, а люди, ничего не знающие об sql могли бы хотя бы группировки сами добавлять. Некоторый конструктор. Что попробовал: 1. Tabix 2. Grafana 3. Superset Superset ещё потестирую, но есть ощущение, что не про то всё… Может у кого есть чудо-опыт с чудо-визуализацией?

я пользую SuperSet и вполне доволен. Есть еще вроде QlikView но его не пробовал

Вопрос. Какую визуализацию посоветуете для аналитики… Чтобы можно было дашборды собирать, а люди, ничего не знающие об sql могли бы хотя бы группировки сами добавлять. Некоторый конструктор. Что попробовал: 1. Tabix 2. Grafana 3. Superset Superset ещё потестирую, но есть ощущение, что не про то всё… Может у кого есть чудо-опыт с чудо-визуализацией?

таббикс вполне неплох, легко устанавливается, вкладочки есть и запросы остаются почти как zeppelin

redash

tableau если деньги есть

redash

а как он в сравнении с Super Set ?

super set не юзал

redash

Менеджер своими руками сможет срез сделать?

мы зеппелин используем, табикс мрет у нас, видимо из-за того что таблиц много

У нас его аналитики используют и очень довольны. А аналитики они достаточно грамотные. И sql умеют делать и доки по редашу сами читают. Как он для менеджеров я хз.

Power bi по odbc. Но я пишу к нему запросы руками

вряд ли. Надеюсь, что кликаус кэширует скомпилированные регэкспы. В этом случае ошибка бы вылезла только один раз при компиляции. В следующий раз она бы появилась после вытеснения скомпилированного регэкспа из кэша. Поэтому, скорее всего, в каждом запросе используются разные регэкспы. Вот сюда можно по-быстрому добавить опцию hide_re2_errors - https://github.com/yandex/ClickHouse/blob/ea3953018cd6408e808c62295841cf3e3a8d6909/dbms/src/Common/OptimizedRegularExpression.inl.h#L269 , прописав regexp_options.set_log_errors(!hide_re2_errors)

Посмотрел сейчас на то что логирует re2. Не уверен в полезности этих логов на уровне КХ - больше похоже на то что с их помощью можно дебажить поведение re2. Скорее всего по умолчанию можно просто их отключить.

У нас его аналитики используют и очень довольны. А аналитики они достаточно грамотные. И sql умеют делать и доки по редашу сами читают. Как он для менеджеров я хз.

Да с аналитиками всё ясно. К сожалению, а может и к счастью, есть много других желающих использовать данные из ClickHouse

И вот им прямо очень не хватает чего-то удобного и интуитивно понятного

Power bi по odbc. Но я пишу к нему запросы руками

А что у него с лицензией?

А что у него с лицензией?

10$ на юзера в месяц для облачной версии

А что у него с лицензией?

Бесплатно для персонального использования. Если нужно шарить отчеты друг с другом то уже да 10$

Привет, Возможно ли сделать drop/detach partition по name? Т.е. есть, например, такие записи в system.parts, у которых значения в partition и partition_id одинаковые, но я хочу дропнуть только одну из них. Как я понял из доков нужно указывать именно значение из колонки partition, но мб можно как-то дропнуть по name?

Если очень надо, можно попробовать alter table detach partition, потом удалить на файловой системе тот парт, который вам не нравится, и сделать alter table attach partition

Привет. Кто-нибудь создавал материализованные представления с удалённым источником данных (from remote(....))? Такой функционал поддерживается? Как по-другому можно относительно регулярно передавать данные между нодами для агрегации во вьюшку?

Ребята, привет. Не подскажете в какую сторону копать? Обновили сервера до последней версии и теперь ОЧЕНЬ медленно идеут мержи частей для реплицируемых таблиц. Причем на одном сервере все норм, а на втором еле-еле.

Ребята, привет. Не подскажете в какую сторону копать? Обновили сервера до последней версии и теперь ОЧЕНЬ медленно идеут мержи частей для реплицируемых таблиц. Причем на одном сервере все норм, а на втором еле-еле.

А есть что в системном логе или в еррор логе кх ?

Я просто сегодня обновил до последней версии стаж и завтра собираюсь прод

А есть что в системном логе или в еррор логе кх ?

Ошибок нет. Только "Query was cancelled".

И куски сливаются, но очень медленно.

а нет многократных cancelled и попыток скачать одно и тоже?

а нет многократных cancelled и попыток скачать одно и тоже?

нет, куски уже есть. он их просто очень медленно сливает.

Вопрос. Какую визуализацию посоветуете для аналитики… Чтобы можно было дашборды собирать, а люди, ничего не знающие об sql могли бы хотя бы группировки сами добавлять. Некоторый конструктор. Что попробовал: 1. Tabix 2. Grafana 3. Superset Superset ещё потестирую, но есть ощущение, что не про то всё… Может у кого есть чудо-опыт с чудо-визуализацией?

как вариант, seektable.com умеет коннектиться к КХ. Уже есть вариант развернуть self-hosted (докер).

как вариант, seektable.com умеет коннектиться к КХ. Уже есть вариант развернуть self-hosted (докер).

интересно. Посмотрю, спасибо

Единственное, с лицензией неясно

если что спрашивайте в личке, я разработчик этой штуки

https://www.nrecosite.com/pivotdata_service.aspx

Похожи чем-то во многом

не дождался апдейтов к clickhouse-exporter, вот билд моего форка, который работает с нужными (новыми) версиями latest должен работать, но еще планирую тегать все версии, начиная с 18.12.14 на всякий https://hub.docker.com/r/tkroman/clickhouse_exporter_fresh/

если что, делал по гуглежу, пожелания и исправления приветствуются)

всем привет! может кто подскажет, поднял clickhouse_server, в config.xml прописал путь до словарей <dictionaries_config>dictionary.xml</dictionaries_config> создал dictionary.xml в котором описал словари, запускаю и получаю ошибку 19.09 16:37:23.913 [debug] *710720: genrepd.Engine: running CH query 301 19.09 16:37:23.915 [debug] *710720: genrepd.Engine: CH error: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Connections to all replicas failed: db_test@localhost:3600 as user root, e.what() = Exception конфиг словарей примерно такой <dictionary> <name>inapp_store_id</name> <source> <mysql> <host>localhost</host> <port>3600</port> <db>db_test</db> <table>table_2</table> <user>root</user> <password></password> <where>id in (SELECT id from table)</where> </mysql> </source> <lifetime> <min>3000</min> <max>3600</max> </lifetime> <layout><complex_key_hashed /></layout> <structure> <key> <attribute><name>store_id</name><type>String</type></attribute> </key> <attribute><name>id</name><type>UInt64</type><null_value>0</null_value></attribute> </structure> </dictionary>

В лог файле же написано что КХ не смог подключится к мускулу

С такими данными

Connections to all replicas failed: db_test@localhost:3600 as user root

Проверьте данные для подключения в базе MySQL

всем привет! может кто подскажет, поднял clickhouse_server, в config.xml прописал путь до словарей <dictionaries_config>dictionary.xml</dictionaries_config> создал dictionary.xml в котором описал словари, запускаю и получаю ошибку 19.09 16:37:23.913 [debug] *710720: genrepd.Engine: running CH query 301 19.09 16:37:23.915 [debug] *710720: genrepd.Engine: CH error: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Connections to all replicas failed: db_test@localhost:3600 as user root, e.what() = Exception конфиг словарей примерно такой <dictionary> <name>inapp_store_id</name> <source> <mysql> <host>localhost</host> <port>3600</port> <db>db_test</db> <table>table_2</table> <user>root</user> <password></password> <where>id in (SELECT id from table)</where> </mysql> </source> <lifetime> <min>3000</min> <max>3600</max> </lifetime> <layout><complex_key_hashed /></layout> <structure> <key> <attribute><name>store_id</name><type>String</type></attribute> </key> <attribute><name>id</name><type>UInt64</type><null_value>0</null_value></attribute> </structure> </dictionary>

я так понял он к реплике хочет доступ, но не понял о какой реплике идет речь, в конфиге то нет ничего) ок, буду разбираться

я так понял он к реплике хочет доступ, но не понял о какой реплике идет речь, в конфиге то нет ничего) ок, буду разбираться

там можно несколько mysql серверов указать (типа реплик), и по этому такое сообщение. В вашем случае КХ не смог подключится к root@localhost:3600 , кстати обычно порт mysql 3306, у вас может опечатка?

разобрался, оказалось адрес и порт не правильный указывал))

там можно несколько mysql серверов указать (типа реплик), и по этому такое сообщение. В вашем случае КХ не смог подключится к root@localhost:3600 , кстати обычно порт mysql 3306, у вас может опечатка?

все так, ага

Для мускля, неплохое решение - maxscale. Не надо париться куда "смотрит" линк

картинки не грузятся?

картинки не грузятся?

ага

причём стабильно

https://clickhouse.yandex/docs/ru/images/row_oriented.gif https://clickhouse.yandex/docs/ru/images/column_oriented.gif

а, там просто src="#" почему-то

а у меня точно такие же картинки, но показываются.

а у меня точно такие же картинки, но показываются.

а ссылка https://clickhouse.yandex/docs/ru/single/ такая же?

нет, я тут нашел https://clickhouse.yandex/docs/ru/

нет, я тут нашел https://clickhouse.yandex/docs/ru/

здесь и у меня картинки открылись))

а там у меня тоже не работает.

выглядит как баг.

вот я и принёс репорт)

спасибо

Всем привет! Нашел упоминание проблемы выше несколько раз в разных вариациях, но исправить пока не получается. Помогите, пожалуйста, советом куда копать. Дано: кластер из трех нод по две реплики, вставка идет через одну ноду (нагрузка маленькая: около 10К в минуту пачками каждые 5 секунд, лежит сейчас по 20Гб на сервер), ZK стоит на отдельной ноде. Нода проработала 5 дней стабильно, после чего начали теряться данные при INSERT. Из симптомов только ошибки в логе ZK (каждые 1-3 минуты): 2018-09-20 16:27:28,211 - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@595] - Got user-level KeeperException when processing sessionid:0x165f7ca87ac0003 type:multi cxid:0x6d9 zxid:0x216628704 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/2/events/replicas/ch3.sg/parts/20180920_20180920_326441_326473_8 Error:KeeperErrorCode = NodeExists for /clickhouse/tables/2/events/replicas/ch3.sg/parts/20180920_20180920_326441_326473_8 По версиям – ZK 3.4.9, самый свежий CH. Вопрос: как его вывести из этого ступора и форсировать запись данных? В прошлый раз удалось исправить обновлением всех нод CH, после чего он начал подтягивать пропущенные данные. Причину возникновения проблемы, очевидно, еще придется искать, но на данный момент хочется хотя бы уметь восстанавливать работоспособность. Спасибо всем и хорошей пятницы ?

ощущение что у вас криво созданы реплики

ощущение что у вас криво созданы реплики

То есть стоит перепроверить и пересоздать ReplicatedMergeTree? Или все таблицы и перелить данные? Если не трудно, объясните, почему подозрение именно на корректность реплик? Спасибо!

подскажите, есть ли оптимальное количество разных строк для LowCardinality ? Ну по типу как с пртициями - не больше нескольких тысяч.

Какая сейчас стабильная версия CH? То что в релизнотах пишется stable отражает действительность? Или на практике сейчас не последний stable стабильный?

Всем привет! Подскажите, пожалуйста, как правильно организовать архитектуру для таблицы с Distributed движком и двумя нодами? Нужно ли ставить перед КХ отдельный балансер и обращаться к нему для хорошей производительности?

Добрый день. Имеется сервер Debian 9.4. Версия CH - 18.12.17. После запуска CH создаю 3 таблицы. create table a (EventDate Date) ENGINE MergeTree() partition by toYYYYMM(EventDate) order by (EventDate) settings index_granularity=8192; create table k (EventDate Date) ENGINE=Kafka('kafka:9092', 'a', 'clickhouse', 'JSONEachRow', '', 2); create materialized view w to a as select * from k; Все работает нормально ровно до первого перезапуска CH сервера. После этого количество файловых дескрипторов начинает расти каждую секунду до лимита настроек. В логах ничего подозрительного нет. Не подскажите в каком направлении копать?

А что за браузер?

Всем привет! Нашел упоминание проблемы выше несколько раз в разных вариациях, но исправить пока не получается. Помогите, пожалуйста, советом куда копать. Дано: кластер из трех нод по две реплики, вставка идет через одну ноду (нагрузка маленькая: около 10К в минуту пачками каждые 5 секунд, лежит сейчас по 20Гб на сервер), ZK стоит на отдельной ноде. Нода проработала 5 дней стабильно, после чего начали теряться данные при INSERT. Из симптомов только ошибки в логе ZK (каждые 1-3 минуты): 2018-09-20 16:27:28,211 - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@595] - Got user-level KeeperException when processing sessionid:0x165f7ca87ac0003 type:multi cxid:0x6d9 zxid:0x216628704 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/2/events/replicas/ch3.sg/parts/20180920_20180920_326441_326473_8 Error:KeeperErrorCode = NodeExists for /clickhouse/tables/2/events/replicas/ch3.sg/parts/20180920_20180920_326441_326473_8 По версиям – ZK 3.4.9, самый свежий CH. Вопрос: как его вывести из этого ступора и форсировать запись данных? В прошлый раз удалось исправить обновлением всех нод CH, после чего он начал подтягивать пропущенные данные. Причину возникновения проблемы, очевидно, еще придется искать, но на данный момент хочется хотя бы уметь восстанавливать работоспособность. Спасибо всем и хорошей пятницы ?

internal_replication?

Всем привет! Подскажите, пожалуйста, как правильно организовать архитектуру для таблицы с Distributed движком и двумя нодами? Нужно ли ставить перед КХ отдельный балансер и обращаться к нему для хорошей производительности?

есть хорошая штука chproxy, которая позволяет делать агрегацию на нодах непосредственно и не загружать одну ноду доагрегацией, мы пока не пробовали ее, но судя по доке вещь очень интересная

Посмотрю, спасибо!

подскажите, есть ли оптимальное количество разных строк для LowCardinality ? Ну по типу как с пртициями - не больше нескольких тысяч.

Штука довольно свежая, поэтому вряд ли кто-то обладает большим реальным опытом. Чем меньше значений и чем чаще они повторяются - тем больший эффект от LowCardinality.

Чем больше разных значений и чем более случайно они появляются - тем вреднее LowCardinality. Можете посмотреть этот доклад: https://www.youtube.com/watch?v=rqf-ILRgBdY&t=927s

Всем привет! Подскажите, пожалуйста, как правильно организовать архитектуру для таблицы с Distributed движком и двумя нодами? Нужно ли ставить перед КХ отдельный балансер и обращаться к нему для хорошей производительности?

2 ноды = 1 шард, 2 реплики. Локальные таблицы с ReplicatedMergeTree. Можно использовать Distributed в качестве лоадбалансера или любой внешний лоадбалансер.

internal_replication?

Стоит в true

Всем привет! Нашел упоминание проблемы выше несколько раз в разных вариациях, но исправить пока не получается. Помогите, пожалуйста, советом куда копать. Дано: кластер из трех нод по две реплики, вставка идет через одну ноду (нагрузка маленькая: около 10К в минуту пачками каждые 5 секунд, лежит сейчас по 20Гб на сервер), ZK стоит на отдельной ноде. Нода проработала 5 дней стабильно, после чего начали теряться данные при INSERT. Из симптомов только ошибки в логе ZK (каждые 1-3 минуты): 2018-09-20 16:27:28,211 - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@595] - Got user-level KeeperException when processing sessionid:0x165f7ca87ac0003 type:multi cxid:0x6d9 zxid:0x216628704 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/2/events/replicas/ch3.sg/parts/20180920_20180920_326441_326473_8 Error:KeeperErrorCode = NodeExists for /clickhouse/tables/2/events/replicas/ch3.sg/parts/20180920_20180920_326441_326473_8 По версиям – ZK 3.4.9, самый свежий CH. Вопрос: как его вывести из этого ступора и форсировать запись данных? В прошлый раз удалось исправить обновлением всех нод CH, после чего он начал подтягивать пропущенные данные. Причину возникновения проблемы, очевидно, еще придется искать, но на данный момент хочется хотя бы уметь восстанавливать работоспособность. Спасибо всем и хорошей пятницы ?

А вы проверяете статус которым отвечает ClickHouse на инсерты? Всегда 200 OK?

А вы проверяете статус которым отвечает ClickHouse на инсерты? Всегда 200 OK?

Да, всегда 200, воспроизводится даже через консоль: 10 инсертов подряд в distributed table, появляется только 3 записи.

А пачки данных не идентичны?

И кстати почему вставляете через Distributed? Чтобы шардирование?

Нет, не идентичны, проверял с разными таймстемпами, например (так что не дедупликация). Да, через Distributed, что бы шардировалось, да.