Привет! Помогите составить запрос пожалуйста. Есть таблица kw | ids ----|------------ kw1 | [id1, id2, id3] kw2 | [id3, id4, id5] Мне надо получить массив, который является конкатеницией всех записей второй колонки. Я попробовал функцию arrayConcat(groupArray(ids)). Не получается. Она возвращает массив из двух элементов, потому что по документации: аргумент функции arrayConcat - это "Перечисленные через запятую массивы"

а я все команды выполняю внутри контейнера из под root (docker exec -it clickhouse sh)

ps afx посмотрите, может у вас уже все запущено там

# ps afx PID TTY STAT TIME COMMAND 58 pts/1 Ss+ 0:00 sh 1 pts/0 Ss 0:00 sh 136 pts/0 R+ 0:00 ps afx

# ps afx PID TTY STAT TIME COMMAND 58 pts/1 Ss+ 0:00 sh 1 pts/0 Ss 0:00 sh 136 pts/0 R+ 0:00 ps afx

docker exec -it -u root clickhouse sh

Скажите, кто-нибудь использует resharding?

(Solved на v18.14.10 работает нормально) Привет ! Необходимо получить из таблицы записи не ранее определенного времени DESCRIBE TABLE streams ┌─name───┬─type─┬─default_type─┬─default_expression─┐ │ date │ Date │ DEFAULT │ today() │ │ time │ DateTime │DEFAULT │ now() │ │ name │ String │ │ │ Делаю запрос SELECT time, now(), name FROM streams WHERE (time > (now() - 30)) AND (name = 'yv') ┌───────time─┬──────now()─┬─name─┐ │ 2018-10-26 13:37:11 │ 2018-10-26 13:46:32 │ yv │ │ 2018-10-26 13:37:12 │ 2018-10-26 13:46:32 │ yv │ └─────────────────────┴────┘ И такой результат, в случае если данные таблицы не меняются относительно where всегда Далее, меняем условие where , ранее не использованное SELECT time,now(),name FROM streams WHERE time>now()-28 and name='yv' SELECT time, now(), name FROM streams WHERE (time > (now() - 28)) AND (name = 'yv') Ok. 0 rows in set. Elapsed: 0.009 sec. Методом проб и ошибок нахожу, что запрос вида SELECT time, now() - 30, name FROM streams WHERE (time > (now() - 30)) AND (name = 'yv') работает всегда корректно

Скажите, кто-нибудь использует resharding?

оно не работает, его нет

то что вы можете найти в гугле устарело давно

Ясно, так и подозревал

оно не работает, его нет

Спасибо

погуглите по истории чата "решардинг", я решил этот вопрос ребалансировкой записей на новую шарду

или пояндексите

что ближе ?

погуглите по истории чата "решардинг", я решил этот вопрос ребалансировкой записей на новую шарду

А что значит ребалансировкой?

Перечитать и переписать?

@kshvakov Кирилл подскажите пожалуйста каким образом можно посмотреть данные из конкретной партиции ?

В новых версиях вот так kshvakov :) CREATE TABLE T (Date Date , Value String) Engine MergeTree PARTITION BY toYYYYMM(Date) ORDER BY Date CREATE TABLE T ( Date Date, Value String ) ENGINE = MergeTree PARTITION BY toYYYYMM(Date) ORDER BY Date Ok. 0 rows in set. Elapsed: 0.006 sec. kshvakov :) INSERT INTO T VALUES (today(), 'X') INSERT INTO T VALUES Ok. 1 rows in set. Elapsed: 0.015 sec. kshvakov :) SELECT *, _partition_id FROM T SELECT *, _partition_id FROM T ┌───────Date─┬─Value─┬─_partition_id─┐ │ 2018-10-26 │ X │ 201810 │ └────────────┴───────┴───────────────┘ 1 rows in set. Elapsed: 0.014 sec.

В новых версиях вот так kshvakov :) CREATE TABLE T (Date Date , Value String) Engine MergeTree PARTITION BY toYYYYMM(Date) ORDER BY Date CREATE TABLE T ( Date Date, Value String ) ENGINE = MergeTree PARTITION BY toYYYYMM(Date) ORDER BY Date Ok. 0 rows in set. Elapsed: 0.006 sec. kshvakov :) INSERT INTO T VALUES (today(), 'X') INSERT INTO T VALUES Ok. 1 rows in set. Elapsed: 0.015 sec. kshvakov :) SELECT *, _partition_id FROM T SELECT *, _partition_id FROM T ┌───────Date─┬─Value─┬─_partition_id─┐ │ 2018-10-26 │ X │ 201810 │ └────────────┴───────┴───────────────┘ 1 rows in set. Elapsed: 0.014 sec.

А как дропнуть определенную партицию ?

Коллеги, подскажите плиз, в prometheus пуляться метриками КХ какой способ предпочтительней? clickhouse_exporter ? Хочется красивых картинок в графане

В новых версиях вот так kshvakov :) CREATE TABLE T (Date Date , Value String) Engine MergeTree PARTITION BY toYYYYMM(Date) ORDER BY Date CREATE TABLE T ( Date Date, Value String ) ENGINE = MergeTree PARTITION BY toYYYYMM(Date) ORDER BY Date Ok. 0 rows in set. Elapsed: 0.006 sec. kshvakov :) INSERT INTO T VALUES (today(), 'X') INSERT INTO T VALUES Ok. 1 rows in set. Elapsed: 0.015 sec. kshvakov :) SELECT *, _partition_id FROM T SELECT *, _partition_id FROM T ┌───────Date─┬─Value─┬─_partition_id─┐ │ 2018-10-26 │ X │ 201810 │ └────────────┴───────┴───────────────┘ 1 rows in set. Elapsed: 0.014 sec.

drop *, _partition_id FROM T так ?

А как дропнуть определенную партицию ?

ALTER TABLE DROP PARTITION X

ALTER TABLE DROP PARTITION X

Спасибо !

ловил кто-нибудь с jdbc-драйвером такие проблемы ? Caused by: java.io.IOException: Attempted read on closed stream. at org.apache.http.conn.EofSensorInputStream.isReadAllowed(EofSensorInputStream.java:109) ~[httpclient-4.5.2.jar:4.5.2] at org.apache.http.conn.EofSensorInputStream.read(EofSensorInputStream.java:118) ~[httpclient-4.5.2.jar:4.5.2] at ru.yandex.clickhouse.response.ClickHouseLZ4Stream.readNextBlock(ClickHouseLZ4Stream.java:82) ~[clickhouse-jdbc-0.1.42.jar:na] at ru.yandex.clickhouse.response.ClickHouseLZ4Stream.checkNext(ClickHouseLZ4Stream.java:74) ~[clickhouse-jdbc-0.1.42.jar:na] at ru.yandex.clickhouse.response.ClickHouseLZ4Stream.read(ClickHouseLZ4Stream.java:50) ~[clickhouse-jdbc-0.1.42.jar:na] at ru.yandex.clickhouse.response.StreamSplitter.readFromStream(StreamSplitter.java:92) ~[clickhouse-jdbc-0.1.42.jar:na] at ru.yandex.clickhouse.response.StreamSplitter.next(StreamSplitter.java:54) ~[clickhouse-jdbc-0.1.42.jar:na] at ru.yandex.clickhouse.response.ClickHouseResultSet.hasNext(ClickHouseResultSet.java:116) ~[clickhouse-jdbc-0.1.42.jar:na] ... 70 common frames omitted версия jdbc 0.1.42

https://github.com/yandex/clickhouse-jdbc/issues/253

Коллеги, подскажите плиз, в prometheus пуляться метриками КХ какой способ предпочтительней? clickhouse_exporter ? Хочется красивых картинок в графане

Да, он достаточно метрик собирает. У меня еще свой есть, но мы его так пока и не начали использовать

Да, он достаточно метрик собирает. У меня еще свой есть, но мы его так пока и не начали использовать

Благодарю

всем привет! нужна помощь Дано: docker from ubuntu:xenial и установка по инструкции https://clickhouse.yandex/docs/en/getting_started/ Когда: запускаю команду sudo service clickhouse-server status Тогда: получаю clickhouse-server service is stopped Когда: запускаю команду sudo service clickhouse-server start Тогда: получаю сообщение Start clickhouse-server service: bash: /usr/bin/clickhouse-extract-from-config: Operation not permitted Cannot obtain value of path from config file: /etc/clickhouse-server/config.xml Когда: запускаю команду clickhouse-server —config-file=/etc/clickhouse-server/config.xml Тогда: получаю clickhouse-server: Operation not permitted При этом: лог /var/log/clickhouse-server - пуст Заранее спасибо за содействие!!!

https://stackoverflow.com/questions/46917533/data-directory-permissions-on-host-for-clickhouse-installation-via-docker/46967182#46967182 может у вас эта проблема? (не хватает прав доступа к папке логов или данных)?

А есть у кого нибудь опыт использования внешних словарей с миллиардами значений?

<layout> <cache>

А есть у кого нибудь опыт использования внешних словарей с миллиардами значений?

это зависит от. Для обычных словарей памяти не хватит. Для cached будет sql запросы мегабайтные строить. Что у вас за бекэнд?

это зависит от. Для обычных словарей памяти не хватит. Для cached будет sql запросы мегабайтные строить. Что у вас за бекэнд?

Aerospike например

Не знаю такого. Odbc? В общем для cached кх построит sql запрос select where id in (100 млн. значений через запятую).

через http будет работать

Aerospike например

Поплюсуйте этот ишью: https://github.com/yandex/ClickHouse/issues/2718 :)

А есть у кого нибудь опыт использования внешних словарей с миллиардами значений?

есть. Но удачным этот опыт я бы его назвал. Cached - очень медленный и жрет память.

Не знаю такого. Odbc? В общем для cached кх построит sql запрос select where id in (100 млн. значений через запятую).

Мы как раз пробовали через HTTP. Это выглядит так - для каждого блока данных (примерно по 65 тысяч) он идет спрашивать в словаре внешние данные. Словарь ищет их в кеше, не находит почти ничего. После чего идет греть кэш. Разогревка кэша идет в один поток. Он делает 1 запрос в HTTP с 65 тысячами ключей, обновляет кэш, отдает результат. Всё это время остальные 15 потоков стоят в очереди каждый ожидая пока обслужат первого. ПОсле этого каждые следующие 65 тысяч записей обслуживаются по тому же сценарию, с той лишь разницей что есть небольшая вероятность что часть ключей уже лежит в кэше.

Там можно конечно развлекаться с улучшением работы кэша - чтоб могло многопоточно и обновляться и запрашивать данные. Но прикрутить внешний источник данных по-моему дешевле.

так этот источник данных придётся точно так же спрашивать, как мисс кэша сейчас. по 65к строк вычитывать на блок. или я что-то не понимаю?

Там можно конечно развлекаться с улучшением работы кэша - чтоб могло многопоточно и обновляться и запрашивать данные. Но прикрутить внешний источник данных по-моему дешевле.

Так а что делать с внешним источником? Join? Также память и сожрет на хештаблицу на миллиард уйдет 500гб.

Привет! Помогите составить запрос пожалуйста. Есть таблица kw | ids ----|------------ kw1 | [id1, id2, id3] kw2 | [id3, id4, id5] Мне надо получить массив, который является конкатеницией всех записей второй колонки. Я попробовал функцию arrayConcat(groupArray(ids)). Не получается. Она возвращает массив из двух элементов, потому что по документации: аргумент функции arrayConcat - это "Перечисленные через запятую массивы"

Вам нужны агрегатные функции с модификатором -Array. SELECT groupArrayArray(ids) FROM ( SELECT kw, ids FROM system.one ARRAY JOIN ['kw1', 'kw2'] AS kw, [[1, 2, 3], [3, 4, 5]] AS ids ) ┌─groupArrayArray(ids)─┐ │ [1,2,3,3,4,5] │ └──────────────────────┘

Вам нужны агрегатные функции с модификатором -Array. SELECT groupArrayArray(ids) FROM ( SELECT kw, ids FROM system.one ARRAY JOIN ['kw1', 'kw2'] AS kw, [[1, 2, 3], [3, 4, 5]] AS ids ) ┌─groupArrayArray(ids)─┐ │ [1,2,3,3,4,5] │ └──────────────────────┘

спасибо. Пробую

Так а что делать с внешним источником? Join? Также память и сожрет на хештаблицу на миллиард уйдет 500гб.

Есть всякие key-value хранилища, которые могут обслуживать миллионы запросов в секунду многопоточно, если обращаться к ним непосредственно. Т.е. без дополнительной накладки в виде скопированной в память процесса ClickHouse словаря. Почитайте https://github.com/yandex/ClickHouse/issues/2718 я там описывал подробности.

Есть всякие key-value хранилища, которые могут обслуживать миллионы запросов в секунду многопоточно, если обращаться к ним непосредственно. Т.е. без дополнительной накладки в виде скопированной в память процесса ClickHouse словаря. Почитайте https://github.com/yandex/ClickHouse/issues/2718 я там описывал подробности.

я понял, да такое сработает. Ну и для начала еще хорошо бы иметь компактные словари на хештаблицах с коллизиями в КХ. Сейчас словари супержрут память, для каждого атрибута строится разреженная хештаблица, в итоге память уходит просто невероятно.

я понял, да такое сработает. Ну и для начала еще хорошо бы иметь компактные словари на хештаблицах с коллизиями в КХ. Сейчас словари супержрут память, для каждого атрибута строится разреженная хештаблица, в итоге память уходит просто невероятно.

Ну это вещи ортогональные. Улучшение memory-layout словарей тоже нужно, но если бы был прямой / быстрый / многопоточный доступ к примеру к аэроспайку или хоть тому же редису, то возможно словарь лежажий в памяти кликхауса и вовсе не понадобился бы (а в key-value хранилищах память организована хорошо).

меня немного смущает перспектива кинуть 10 миллионов запросов в спайк на один запрос в клике

Ещё вариант таки http сервис и enrichment данных делать как materialized полей

Ещё вариант таки http сервис и enrichment данных делать как materialized полей

materialized это тоже самое что и дефолт, при мерже и инстерте просто запишутся в таблицу навсегда т.е. если слделать alias через dictGet , будет тоже самое что и без alias, просто dictget в select

меня немного смущает перспектива кинуть 10 миллионов запросов в спайк на один запрос в клике

вовсе не обязательно 10 млн. В аероспайк (и других key-value) есть пакетные запросы, когда в одном запросе сразу скажем 100 тысяч ключей запрашиваешь.

Конечно если можно сделать без этого - то лучше без этого.

У нас проблема была (и отчасти по прежнему есть) с графом разных ид пользователей, который может весьма динамически меняться и есть такая странная идея использовать самое свежее состояние графа на момент построения рапорта. Граф большой и никакие MATERIALIZED не сработают т.к. динамический.

граф айди - это как?

граф айди - это как?

Ну когда по каким-то признакам выясняется что пользователи X и Y это на самом деле одно лицо.

А через месяц к тому же что и Z - тоже он же, но с нарисованными усиками.

На HL Siberia был целый доклад на эту же тему https://www.highload.ru/siberia/2018/abstracts/3664

и как это было бы в спайке? таблица соответствий юзер_ид и юник_юзер_ид с датами начала/конца?

А через месяц к тому же что и Z - тоже он же, но с нарисованными усиками.

А как вы решаете эту проблему? У нас почти тоже самое

Я думал потом просто как то переписывать данные

Я думал потом просто как то переписывать данные

Переписывать данные в бигдата - боль.

Переписывать данные в бигдата - боль.

Понятное дело :)

Слава богу с GDPR справились

Вроде обсуждали, что не страшно, но глаз мозолит =)

Привет, вопрос, а это нормально, что на новом сервере после аттача партишенев взятых их бекапа, systems.parts.name отличают от тех, что на сервере с которого бекап брался? И если нормально, по какой логике названия выбираются, что-то не нашел в доке

Да, нормально. Название меняется при аттаче. В название входит номер блока и глубина кажись, эта информация есть в доке. Выбор названия, наверное идет по текущим блокам что есть (наверное)

вообще-то too many parts (300) одна из самых больших проблем, ведет к падению insert-в, потере ( неконсистентности) данных. Вы бы проверили у вас мержи вообще идут? И данные у вас не вставляются 100%

Коллеги, а подскажите плиз по clickhouse_exporter. я его завел, судя по логам, запросы в КХ он шлет и данные получает. но в прометеусе у меня пусто и дашборды пустые. Нужно еще какое-то шаманство, чтобы из экспортера в прометеус данные шли?

а ты скрапаешь прометеусом експортер?)

А что за с показателем background_pool_task? можешь попробовать лимиты завысить, в купе с увеличение backgroundpool может помоьч разгрести и уменьшить число кусков, но увеличится нагрузка на cpu.

вообще-то too many parts (300) одна из самых больших проблем, ведет к падению insert-в, потере ( неконсистентности) данных. Вы бы проверили у вас мержи вообще идут? И данные у вас не вставляются 100%

Не понятно только, почему в таком случае количество частей не растёт, а стоит на одном месте.

По процесслисту инсерты идут все же, но не без делейд инсертс

делей в дефолтных настройках уже на 150 будет.

потому что он не может создать кусок сверх лимита

потому что он не может создать кусок сверх лимита

А где лимит указывается?

config.xml

Каким параметром?

<merge_tree> <parts_to_delay_insert>6000</parts_to_delay_insert> <parts_to_throw_insert>10000</parts_to_throw_insert> </merge_tree>

Спасибо

При достижении parts_to_delay_insert будет замедление, по умолчанию на 1 сек. При parts_to_throw_insert ошибка.

Не понятно только, почему в таком случае количество частей не растёт, а стоит на одном месте.

потому что там backpressure и insert начинает тормозить, а дальше падают с ошибкой toomany parts

Но ещё глянь в параметр user.xml для профилей: <background_pool_size>512</background_pool_size> когда он в лимитах (по умолчанию 16), то как раз число кусков активно растет.

судя по полочке, мержи не идут, надо читать логи -- почему.

а ты скрапаешь прометеусом експортер?)

а вот этот момент я не понял, https://github.com/f1yegor/clickhouse_exporter по этому ману запустился

а вот этот момент я не понял, https://github.com/f1yegor/clickhouse_exporter по этому ману запустился

exporter выплевывает по url значение метрик. А их должен собирать prometheus server. В графане долен быть указать prometheus сервер как datasource

А когда таблица типа distributed натыкается на throw insert, она сохраняет кусок не вставленный для попыток вставить позже, или он теряется? Очень интересно...

exporter выплевывает по url значение метрик. А их должен собирать prometheus server. В графане долен быть указать prometheus сервер как datasource

я понял, что я упустил в конфиге прометеуса, где нужно из экспортера данные брать. сейчас дополню, спасибо

А когда таблица типа distributed натыкается на throw insert, она сохраняет кусок не вставленный для попыток вставить позже, или он теряется? Очень интересно...

хуже всего что можно вставить пол-куска, или вставить в таблицу и не вставить в MV.

Интересно было бы услышать комментарий разработчиков... и как выкарабкиваться из ситуации с множеством кусков? Сервер по процесслисту ничего не делает, а инсерты отвергает

Интересно было бы услышать комментарий разработчиков... и как выкарабкиваться из ситуации с множеством кусков? Сервер по процесслисту ничего не делает, а инсерты отвергает

лог читайте, там написано почему мержи не идут, может у вас места нет, может прав на создание файла.

Все есть. Но кх ничего не делает.

уверен? pool пустой?

Все есть. Но кх ничего не делает.

у ну тогда все ок. Ждите телепатов третьего уровня.

Все есть. Но кх ничего не делает.

select * from system.metrics where metric = 'BackgroundPoolTask'