Присоветуйте: как сделать из строки(или массива) со списком чисел строку(или массив) без дублей, но с сохранением порядка? SELECT '1,3,3,5,7,7' as S, splitByChar(',', S) as A, arrayReduce('groupUniqArray', A) as B выдаёт в 'B' без дублей, но порядок ломает: 1,3,3,5,7,7 ['1','3','3','5','7','7'] ['1','7','5','3']

если они сортированные, то можно в конце отсортировать

Будет. Имхо таблица отсортирована по a,b,c, разбита на куски и примерно известно в каких кусках есть эти значения a,b,c. create table test(a Int64, b Int64, c Int64, d String) engine=MergeTree partition by tuple() order by (a,b,c); insert into test select 1, 0, number, toString(number) from numbers(1000000); insert into test select 2, 2, number, toString(number) from numbers(100); insert into test select 3, 3, number, toString(number) from numbers(1000000); select count() from test where a=2 and c=1; 1 rows in set. Elapsed: 0.002 sec. select count() from test prewhere a=3 and c=1; 1 rows in set. Elapsed: 0.002 sec. Processed 9.44 thousand rows, 151.10 KB (5.03 million rows/s., 80.44 MB/s.) select count() from test where a=3; 1 rows in set. Elapsed: 0.003 sec. Processed 1.00 million rows, 8.01 MB (378.03 million rows/s., 3.02 GB/s.) меняем размер куска: SETTINGS index_granularity = 1024; select count() from test prewhere a=3 and c=1; 1 rows in set. Elapsed: 0.002 sec. Processed 2.28 thousand rows, 36.42 KB (1.15 million rows/s., 18.43 MB/s.) и что интересно, можно обратиться к последнему полю select count() from test prewhere c=1; 1 rows in set. Elapsed: 0.009 sec. Processed 3.30 thousand rows, 26.40 KB (352.25 thousand rows/s., 2.82 MB/s.)

Присоветуйте: как сделать из строки(или массива) со списком чисел строку(или массив) без дублей, но с сохранением порядка? SELECT '1,3,3,5,7,7' as S, splitByChar(',', S) as A, arrayReduce('groupUniqArray', A) as B выдаёт в 'B' без дублей, но порядок ломает: 1,3,3,5,7,7 ['1','3','3','5','7','7'] ['1','7','5','3']

Дубли могут быть в любом месте, а может и не быть совсем. Может быть и только единственное число в списке - одно или с дублями. Группы дублей одного числа даже могут встречаться и не один раз в разных местах.

а остаться должен только элемент на 1й позиции?

WITH [11, 2, 11, 3, 44] AS arg SELECT arrayFilter((x, y) -> (y = 1), arg, arrayEnumerateUniq(arg)) AS res ┌─res─────────┐ │ [11,2,3,44] │ └─────────────┘

В примере на входе 5 и на выходе 5 значений. Но подход ясен. Спасибо за наводку. Завтра уже попробую у себя.

а как в клиенте с опцией с --multiline – редактировать этот самый мультилайн? как по строкам двигаться?

Привет! Подскажите, пожалуйста. Такая ситуация: добавили новые реплики на новых серверах, погасили и удалили часть реплик на старых серверах. После этого стали пухнуть ноды /log в зукипере. Такое впечатление, что кликхауз перестал удалять старые записи, т.к. ждёт какого-то подтверждения от реплик, которые уже не существуют. Вероятно, при выводе реплик из кластера надо что-то почистить в зукипере?

спасибо, очень хороший ответ

Здравствуйте! Есть одиночный сервер КХ. На нем есть таблица, над которой вью: CREATE TABLE IF NOT EXISTS url_events ( url_id UInt32, date_hour DateTime DEFAULT toString(toStartOfHour(now()), 'UTC'), click UInt32, show UInt32 ) ENGINE = Log и CREATE MATERIALIZED VIEW IF NOT EXISTS url_events_agg ENGINE = SummingMergeTree((click, show)) /* столбцы для суммирования */ PARTITION BY date_hour ORDER BY (url_id, date_hour) /* ключи */ AS SELECT * FROM url_events Как теперь с этим переехать в кластер? (2 шарда по 2 реплики) Таблицу менять на ReplicatedMergeTree, над ней строить Distributed, а над ней уже View? И вью что, дублировать на каждой ноде? Или есть лучше вариант?

А в КХ можно сделать список дат по данному интервалу как-то проще, чем так? SELECT arrayJoin(arrayMap(x -> (toDate('2018-05-01') + x), range(toUInt8(toDate('2018-05-31') - toDate('2018-05-01'))))) AS Date

SELECT toDate('2018-05-01')+number AS Date from numbers(toUInt8(toDate('2018-05-31') - toDate('2018-05-01')))

перестраивали кластер, поймали code: 252, message: Too many parts (301). Merges are processing significantly slower than inserts. стакливался кто?

прчием даже при записи в те части кластера, которые не трогали

Привет. При инсталле CH с нуля на ubuntu 18.04 в консоли apt-get вылезло вот такое: Executing: /lib/systemd/systemd-sysv-install enable clickhouse-server /var/lib/dpkg/info/clickhouse-server-base.postinst: 34: [: unexpected operator /var/lib/dpkg/info/clickhouse-server-base.postinst: 34: [: unexpected operator /var/lib/dpkg/info/clickhouse-server-base.postinst: 34: [: unexpected operator Содержимое этой и 2 предыдущих строк: # Make sure the administrative user exists if ! getent passwd ${CLICKHOUSE_USER} > /dev/null; then if [ "$OS" == "rhel" ] || [ "$OS" == "centos" ] || [ "$OS" == "fedora" ]; then видимо, есть какая-то опечатка в скрипте из пакета. Дальше разбираться не стал.

а какая версия поставилась ? в последних релиза холжно уж ебыть

Значит как-то потрогали. У вас мержи не идут, что в логах? В system.merges, system.replication_queue?

Привет. Сможет кто-то подсказать статьи/доклады/документацию по траблшутингу использования ресурсов кликхаусом? То память скачет, то цпу, лог ничего подозрительного не показывает. Возможно, принято смотреть где-то еще?

запустили в docker-compose ноду, а она падает, в логах ничего нет

Скорее всего у вас фоновые мерджи жрут больше чем нужно. Смотрите системную таблицу system.merges

может есть какие-то хорошие статьи? как правильно запускать КХ в docker-compose/kubernetes

просто запускаешь, ну вы смотрите логи в композе , а не в логи кх

какая то новая фишка в докере что ли ?

какая то новая фишка в докере что ли ?

скорее имеется в виду, что на каждый сервис по контейнеру, в том числе на storage

нет, не новая volume`ы никуда не делись

благодарю. Полагаю, проблема может быть в слиянии слишком больших кусков и пережор памяти?