результат вызова агрегатной функции при группировке по пустому туплу

?

Короче, походу проблема с SAMPLE. Цитата из доков: « SAMPLE n, где n - достаточно большое целое число».

@milovidov_an а какой юзкейс многоуровневого шардирования?

Многоуровневое шардирование оправдано использовать при наличии большого количества шардов (примерно больше 20) и одновременно большого количества коротких запросов в единицу времени (примерно больше 100 QPS).

?

по идее это uniqExact(visit_id) AS visits без группировки по page

тогда возможно, что один из юзеров на 3 страницы заходил, остальные по однй. и тогда сходится

тогда возможно, что один из юзеров на 3 страницы заходил, остальные по однй. и тогда сходится

этот же селект сделайте без GROUP BY page

должно быть 4

привет. поделитесь плиз ссылкой на инструкцию, как установить кликхаус+графана

А зачем их вместе-то устанавливать?

Всё ж разные сервисы

Подскажите, где посмотреть у функции pointInPolygon какие параметры? Я что-то запутался, что на первом месте latitude или longitude всё-таки.

Вы про redash? Он абсолютно бесплатен хостить у себя. Опенсорсный, есть докер компоуз.

поставил и протестировал, очень похоже, что это как раз то, что я искал

Всем привет, возникла проблема при работе с zookeeper. Всего один шард, на локальной машине (таблицы ReplicatedMergeTree). Никогда такого не было, но сейчас очень часто возникает ошибка: Code: 122. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Table structure in ZooKeeper is too different from local table structure. Пробовал удалять таблицу через zookeeper-cli, из папки /var/lib. Где zookeeper хранит данные о таблице??? Можно ли как-то удалить данные о всех таблицах из zookeeper?

Подскажите, где посмотреть у функции pointInPolygon какие параметры? Я что-то запутался, что на первом месте latitude или longitude всё-таки.

На первом x, на втором y :D Обычно Long = X а Lat = Y. Но если сделать наоборот - тоже все будет работать (тсс!..), главное последовательно использовать.

Всем привет, возникла проблема при работе с zookeeper. Всего один шард, на локальной машине (таблицы ReplicatedMergeTree). Никогда такого не было, но сейчас очень часто возникает ошибка: Code: 122. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Table structure in ZooKeeper is too different from local table structure. Пробовал удалять таблицу через zookeeper-cli, из папки /var/lib. Где zookeeper хранит данные о таблице??? Можно ли как-то удалить данные о всех таблицах из zookeeper?

Когда сделаете DROP TABLE со всех реплик - само удалится.

На первом x, на втором y :D Обычно Long = X а Lat = Y. Но если сделать наоборот - тоже все будет работать (тсс!..), главное последовательно использовать.

Спасибо, предполагал, что так, но не был уверен.

Всем привет, возникла проблема при работе с zookeeper. Всего один шард, на локальной машине (таблицы ReplicatedMergeTree). Никогда такого не было, но сейчас очень часто возникает ошибка: Code: 122. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Table structure in ZooKeeper is too different from local table structure. Пробовал удалять таблицу через zookeeper-cli, из папки /var/lib. Где zookeeper хранит данные о таблице??? Можно ли как-то удалить данные о всех таблицах из zookeeper?

Путь к параметрам таблицы в зукипере вы задаете при CREATE TABLE.

поставил и протестировал, очень похоже, что это как раз то, что я искал

Рад был помочь :)

Путь к параметрам таблицы в зукипере вы задаете при CREATE TABLE.

а вручную как-то можно снести все полностью, что он знает о таблицах?

На первом x, на втором y :D Обычно Long = X а Lat = Y. Но если сделать наоборот - тоже все будет работать (тсс!..), главное последовательно использовать.

а разве за счёт схождения сетки на полюсах там не особые правила расчёта? tile38 говорит об этом явно. тогда если поменять местами, могут быть и расхождения.

а разве за счёт схождения сетки на полюсах там не особые правила расчёта? tile38 говорит об этом явно. тогда если поменять местами, могут быть и расхождения.

AFAIK pointInPolygon работает просто на плоскости. Плоскости всё равно где у неё x, а где y, разве нет?

а вручную как-то можно снести все полностью, что он знает о таблицах?

Ну если у вас уже нет этих реплик, то можно просто снести соответствующие папки, например с помощью cli-клиета zookeeper: https://www.tutorialspoint.com/zookeeper/zookeeper_cli.htm

спасибо, но не помогает, уже пробовал это. Он все равно где-то видит старую структуру.....

Не может быть :) Может у вас какая-то другая таблица на том же хосте в ту же папку смотрит?

Загляните ещё так: SELECT * FROM system.zookeeper WHERE path='/clickhouse/ ... путь к вашей таблице ...'

SELECT * FROM system.zookeeper WHERE path = '/clickhouse' ┌─name───────┬─value─┬─czxid─┬─mzxid─┬───────────────ctime─┬───────────────mtime─┬─version─┬─cversion─┬─aversion─┬─ephemeralOwner─┬─dataLength─┬─numChildren─┬─pzxid─┬─path────────┐ │ tables │ │ 6 │ 6 │ 2018-07-09 15:40:59 │ 2018-07-09 15:40:59 │ 0 │ 4 │ 0 │ 0 │ 0 │ 0 │ 41 │ /clickhouse │ │ task_queue │ │ 3 │ 3 │ 2018-07-09 15:40:50 │ 2018-07-09 15:40:50 │ 0 │ 1 │ 0 │ 0 │ 0 │ 1 │ 4 │ /clickhouse │ └────────────┴───────┴───────┴───────┴─────────────────────┴─────────────────────┴─────────┴──────────┴──────────┴────────────────┴────────────┴─────────────┴───────┴─────────────┘ localhost :) select * from system.zookeeper WHERE path='/clickhouse/tables' Ok. 0 rows in set. Elapsed: 0.005 sec.

нет ничего)

localhost :) show tables SHOW TABLES Ok. 0 rows in set. Elapsed: 0.007 sec.

и таблиц нет

причем до сегодняшнего дня все отлично работало)

вот я и думаю, что он куда то может скинул данные о моих таблицах, которые были

$ cat nginx.sql | clickhouse-client -n -m Received exception from server (version 1.1.54385): Code: 122. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Table structure in ZooKeeper is too different from local table structure.

А базы данных другие есть? SHOW DATABASES?

localhost :) show databases SHOW DATABASES ┌─name────┐ │ default │ │ system │

Может вы поудаляли данные из зукипера пока таблицы ещё были? Попробуйте перезапустатить Clickhouse.

то же самое...

zookeeper можно как-то снести полностью, чтобы он за собой все подчистил свои данные?

Многоуровневое шардирование оправдано использовать при наличии большого количества шардов (примерно больше 20) и одновременно большого количества коротких запросов в единицу времени (примерно больше 100 QPS).

А что это вообще такое? У вас нет презентаций или видео про это? Я пытаюсь понять, как это работает, по упоминанию в документации и пока не осилил)

zookeeper можно как-то снести полностью, чтобы он за собой все подчистил свои данные?

Можно только руками подчистить базы после удаления.

Обычно в /var/lib/zookeeker всё лежит.

Если требуется не удалить, а получить свежеустановленный зукипер - достаточно остановить, удалить базы (у меня лежат в /var/lib/zookeeper/version-2) и потом запустить.

А что это вообще такое? У вас нет презентаций или видео про это? Я пытаюсь понять, как это работает, по упоминанию в документации и пока не осилил)

Это значит - у вас есть очень большой кластер. Его можно рассматривать и как единое целое - для глобальных запросов, и как совокупность небольших кластеров - для запросов по одному клиенту. На каждом сервере создано две Distributed таблицы и в конфиге объявлено два кластера - один большой, а другой - маленький, для части данных. Для примера, у нас всего серверов в одном кластере - 584. Они разбиты на 39 маленьких кластеров, которые мы называем "слои". Данные каждого счётчика Метрики (сайта) располагаются в пределах одного слоя. Каждый слой содержит от 4 до 16 шардов - от 8 до 32 серверов. Слои можно масштабировать независимо. В рамках слоя схема шардирования - произвольная (random).

Лично мне это понадобилось только когда у кластера съехала крыша (неправильно расчитал требуемый объём памяти) и его содержимое пришлось восстанавливать из бекапа, выбирая узел с самым последним сбекапленым содержимым и очищая остальные...

yandex/ClickHouse was tagged: v1.1.54390-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54390-stable Release notes: v1.1.54390-stable

yandex/ClickHouse was tagged: v1.1.54390-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54390-stable Release notes: v1.1.54390-stable

а где можно список изменений глянуть?

а где можно список изменений глянуть?

https://github.com/yandex/ClickHouse/compare/v1.1.54390-stable...master

спасибо

https://github.com/yandex/ClickHouse/compare/v1.1.54390-stable...master

Неверно.

https://github.com/yandex/ClickHouse/compare/v1.1.54388-stable...v1.1.54390-stable Вот так правильно.

https://github.com/yandex/ClickHouse/compare/v1.1.54388-stable...v1.1.54390-stable Вот так правильно.

так гораздо больше :) но удаления пока нет?

ALTER DELETE есть и в предыдущем релизе.

ALTER DELETE есть и в предыдущем релизе.

?

@milovidov_an а почему alter delete только для реплицируемых таблиц? В чем особенность?

@milovidov_an а почему alter delete только для реплицируемых таблиц? В чем особенность?

Никакой особенности. Сейчас доделывается для нереплицируемых тоже.

Просто мне казалось, что в обратном порядке делать проще :) Или вы начали POC делать на примере посложнее обычной таблички на одном сервере?

Просто мне казалось, что в обратном порядке делать проще :) Или вы начали POC делать на примере посложнее обычной таблички на одном сервере?

Вся сложность сосредоточена в ReplicatedMergeTree. Было бы бессмысленно делать для MergeTree будучи неуверенным, что на ReplicatedMergeTree выбранный подход будет хорошо работать. К тому же, нам самим на практике нужно именно для ReplicatedMergeTree (обычные MergeTree почти не используются в продакшене).

Вся сложность сосредоточена в ReplicatedMergeTree. Было бы бессмысленно делать для MergeTree будучи неуверенным, что на ReplicatedMergeTree выбранный подход будет хорошо работать. К тому же, нам самим на практике нужно именно для ReplicatedMergeTree (обычные MergeTree почти не используются в продакшене).

Логично :) Мы оооооочень сильно ждали эту штуку! Спасибо большое! Пошел играться :)

Логично :) Мы оооооочень сильно ждали эту штуку! Спасибо большое! Пошел играться :)

Сейчас ещё ожидаются некоторые доработки. Например, в последнем релизе, насколько я знаю, ещё нет отсечения не затронутых партиций. CC @ztlpn

У нас просто есть блок работ в котором есть вилка из мигратора данных из партиций с устаревшими данными в новые и потом удаление старых партиций, либо использование функционала удаления. Мы пока доберемся с этим блоком в работу, глядишь вы допилите полноценную поддержку!

Мы планируем активно этой штукой пользоваться

Мы планируем активно этой штукой пользоваться

Отлично, мы тоже :)

Кто-нибудь пробовал ограничивать память для пользователя clickhouse в security/limits.conf, чтобы избежать ситуации возможных ООМ-ов? Работало/работает ли?

всем привет, запрос возвращает значения колонки 1 2 3 4 можно сделать так, чтобы вернулась одной строкой: 1,2,3,4? тк нужен по сути хеш последовательности

всем привет, запрос возвращает значения колонки 1 2 3 4 можно сделать так, чтобы вернулась одной строкой: 1,2,3,4? тк нужен по сути хеш последовательности

SELECT groupArray(number) FROM numbers(1, 4) ┌─groupArray(number)─┐ │ [1,2,3,4] │ └────────────────────┘

то что надо, спс

/clickhouse

Всем привет. Подскажите пожалуйста. У меня есть данные в json по типу {"number":1,"string":1} {"string":9,"number":2}. Мне нужно их разложить в следующем виде: number,1 string,1 string,9 number,2 Искал в доке функции для работы с json или регулярками, но ничего подходящего не нашел.

как в селекте из distributed таблы принудительно подставить значение из словаря только когда данные попадут на локальный сервер? только create table as select … ? потом select getDict,* из таблицы?

/clickhouse

Добрый день!

vast_tracking.Distributed.DirectoryMonitor: Code: 209, e.displayText() = DB::NetException: Timeout exceeded while reading from socket (192.168.0.12:9000)

имею такую ошибку на кластере

на хосте 192,168,0,12 - все в порядке

консоль КХ работает

хост виден и пингуется: ING 192.168.0.12 (192.168.0.12) 56(84) bytes of data. 64 bytes from 192.168.0.12: icmp_seq=1 ttl=64 time=12.2 ms 64 bytes from 192.168.0.12: icmp_seq=2 ttl=64 time=12.0 ms

файрволлом лишнего не прикрыто? В частности, коннект с/на соседний сервер. И на соседнем сервере.

нет, внутри сети серверов нет ничего такого

вот даже попробовал приконектить консоль к тому серверу: @s1:/var/log/clickhouse-server# clickhouse-client —host 192.168.0.12 —multiline ClickHouse client version 1.1.54164. Connecting to 192.168.0.12:9000. Connected to ClickHouse server version 1.1.54164. :)

однако, дистрибуция данных сбоит...

Ошибка единичная или постоянная ?

я сейчас перезапустил ту ноду

посомтрю

а так да, лог весь усупан

вроде рестарт ноды помог

но она у вас наверно первичныйключ, и не должно быть пустым?

DateTime вставляете как epoch без скобочек по бокам?