я думал например, создаю стринг поле с чистыми словами

и по нему ищу лайком

и отдельно лежит json объект для отдачи

А какую задачу вы пытаетесь решить? Для чего нужен кликхаус в этом месте?

Ребят, вопрос по обновлению внешних словарей. КХ каждый раз обновляет словарь полностью? Или есть возможность каким то образом обновить только те данные, которые обновились во внешней бд? Интресует Mongo как источник.

А как вы себе представляете обновить только измененные данные ? В любом случае тогда надо будет отправить данные которые есть в кх в монгу чтобы она знала что обновилось, так уж проще селекнуть все сразу и обновить все.

У меня в монге 1 млрд записей (которые постоянно обновляются), хочу ее подсоединить как внешний словарь к кх. Вот и спрашиваю мб есть какие алгоритмы, чтоб каждый раз не копировать в словарь весь миллиард записей

или это bad practice создавать такие объемные словари?

А какую задачу вы пытаетесь решить? Для чего нужен кликхаус в этом месте?

текстовый поиск по сущностям

сейчас сущности лежат в постгресе

но постгрес на лайках умирает

У меня в монге 1 млрд записей (которые постоянно обновляются), хочу ее подсоединить как внешний словарь к кх. Вот и спрашиваю мб есть какие алгоритмы, чтоб каждый раз не копировать в словарь весь миллиард записей

1. Такой объем не рекомендуется использовать как внешний словарь, поскольку КХ будет пытаться всё в память прогрузить (не для всех типов словарей, но всё равно) 2. Попробуйте новый движок ODBC, это подключение внешнего источника по протоколу ODBC. Оно ходит в источник по требованию

У меня в монге 1 млрд записей (которые постоянно обновляются), хочу ее подсоединить как внешний словарь к кх. Вот и спрашиваю мб есть какие алгоритмы, чтоб каждый раз не копировать в словарь весь миллиард записей

Возможно с таким обьемом стоит попробовать odbc, а не словарь

Ок,понял Спасибо!

Возможно с таким обьемом стоит попробовать odbc, а не словарь

+1. Я использую движок MySQL для похожих целей. работает. И не нужно париться как менять данные в КХ

но постгрес на лайках умирает

Индекс создайте чтоб не умирал

чтото я не знаю в постгресе индекса, который умеет в лайки

полнотекстовый поиск нормально

текстовый поиск по сущностям

Тогда вам лучше всё таки рассмотреть для себя elasticsearch или что-либо похожее вместо кликхауса. Кликхаус чуть меньше в этом случае подходит для строк, хотя и будет с ними работать, возможно даже быстрее постгре. Бывают случаи когда можно хранить текстовую составляющую в одной базе например эластик/монго, доставать из неё определенные идентификаторы данных и уже с ними идти в кликхаус за значениями но если у вас только поиск значений по тексту - документы эластика подойдут.

я думал первоначально в постгресе хранить только текст по которому искать

чтото я не знаю в постгресе индекса, который умеет в лайки

GIN/GIST https://niallburkley.com/blog/index-columns-for-like-in-postgres/

а сами объекты в постгресе

спасибо, я чото индесты только в доке искал

не смотря в расширения

Всем привет!

Всем привет!

подскажите, как увеличить количество тредов занимающихся в фоне мержами? мне нужно это ускорить для того чтобы не получать Too much parts. Merges are processing significantly slower than inserts

Я вижу что ни по диску, ни по сети, ни по cpu у меня кластер не загружен, а мёржить он не успевает.

Может можно увеличить треды для этой задачи?

Вам скорее всего нужно смотреть не в сторону увеличения тредов (background_pool_size), а разобраться почему у вас мержи не успевают, возможно вы слишком часто пишите

и слишком мелкими порциями

Я пишу в 200 потоков пачками по 250000 записей.

Это зря

Пишите реже но большими порциями

В кх хорошо вставлять скажем раз в секунду , а ваши двести потоков поди 200 раз в секунду вставляют

Всем привет. Похоже default expression не работает в последней версии. event_time DateTime DEFAULT now() - 0000-00-00 00:00:00

кто нибудь пытался прикрутить дашборд chproxy к графане? не получается ни валидировать data source, ни отрисовать дашборд, везде сыпятся ошибки вида unsupported path: "/metrics/api/v1/query_range" chproxy, вроде как, и не поддерживает данные эндпоинты

Всем привет. Похоже default expression не работает в последней версии. event_time DateTime DEFAULT now() - 0000-00-00 00:00:00

Расскажете подробнее? Простейший пример работает:

:) create temporary table tmp (x UInt32, t DateTime default now()) CREATE TEMPORARY TABLE tmp ( x UInt32, t DateTime DEFAULT now() ) Ok. 0 rows in set. Elapsed: 0.127 sec. :) insert into tmp (x) values (1) INSERT INTO tmp (x) VALUES Ok. 1 rows in set. Elapsed: 0.025 sec. :) select * from tmp SELECT * FROM tmp ┌─x─┬───────────────────t─┐ │ 1 │ 2018-03-20 14:26:25 │ └───┴─────────────────────┘ 1 rows in set. Elapsed: 0.001 sec.

Какой CREATE TABLE у таблицы, как вставляете?

Товарищи, подскажите, пожалуйста: есть ли функция для нумерации уникальных значений в кликхаусе? Поясню на примере: select enumerate(z),* from ( select 1 as x, 1 as y, 2 as z union all select 1 as x, 1 as y, 3 as z union all select 1 as x, 2 as y, 3 as z) Вот нужна волшебная функция enumerate, которая бы пронумеровывала уникальные комбинации x (т.е. вернула бы значения 1,2,2). В идеале с возможностью указания сортировки Или единственный способ-засунуть результат запроса во временную таблицу и там сделать group by, order by, rowNumberInAllBlocks, а потом приджоинить назад? Но в таком случае у меня проблемы с нуллами появляются. Джоин по ним работает совсем не так как мне нужно :) Да и производительность сильно хромает. Подскажите, пожалуйста, куда копать?

SELECT arrayEnumerateUniq([1, 2, 3, 1, 2, 1]) ┌─arrayEnumerateUniq([1, 2, 3, 1, 2, 1])─┐ │ [1,1,1,2,2,3] │ └────────────────────────────────────────┘

или вам не эти уникальные значения.

это функция для работы с массивом. И она наоборот, нумерует дубликаты по сути

то есть вы хотите отобразить значения некоторого выражения в отрезок целых чисел 1..N, причем порядок для этого отображения взять откуда-то из запроса. звучит очень оконно, и кажется плохо работает в распределенном случае.

то есть вы хотите отобразить значения некоторого выражения в отрезок целых чисел 1..N, причем порядок для этого отображения взять откуда-то из запроса. звучит очень оконно, и кажется плохо работает в распределенном случае.

Да. Порядок в принципе не важен

Расскажете подробнее? Простейший пример работает:

Пардон, похоже накосячил во время вставки.

Подскажите, пожалуйста, а есть ли возможность сделать на одном сервере КХ запрос к другому серверу КХ? например, прилинковать через ODBC?

можно словарь clickhouse использовать

изврат, конечно.. но иногда требуется делать небольшие выгрузки ручками. оптимально поднять КХ и прилинковать туда всё что можно

У КХ есть функция remote

https://clickhouse.yandex/docs/ru/single/?query=remote#remote

https://clickhouse.yandex/docs/ru/single/?query=remote#remote

сеньк! :)

День добрый. Имеем дамп из монги и хотим поэксперементировать с переливом и выборкой данных в CH. Вливаем так: cat dump.json| clickhouse-client --input_format_skip_unknown_fields=1 --query="INSERT INTO table FORMAT JSONEachRow" на выходе Code: 117. DB::Exception: Unexpected nested field for key '_id' Есть ли возможность пропускать "кривые" поля без переформатирования дампа?

Я так понимаю всё дело в фориате хранения id записи монгой {"_id":{"$oid":"5a497a00aaabf03ff7ea8bdb"}, ... }

Мб заюзать упомянутый выше remote, и - инсерт фром селект?

:)

Словарь же сохраняется в памяти я так понимаю... да и remote для запросов между CH и CH

:(

А ещё КХ игнорирет пустые значения в CSV и пытается распарсить запятую и следующие за ней символы ?

Code: 27. DB::Exception: Cannot parse input: expected [ at end of stream.: (at row 1) Row 1: Column 0, name: ts, type: UInt32, parsed text: "1514764800" Column 1, name: id, type: UInt32, ERROR: text ",0,0,1,20," is not like UInt32 когда в данных 1514764800,,0,0,1,20,,,

но ведь пустая строка это не uint32

Ну или я не знаю как его готовить )

а nullable как его сделать?

Должен пустые значения как 0 интерпретировать

То, что у вас там квадратная скобка, говорит, что где-то массив путается :)

и вместо пустого массива должно быть [] да...

Словарь же сохраняется в памяти я так понимаю... да и remote для запросов между CH и CH

Попробуйте ODBC-движок таблицы, который может может ходить в монгу. Правда примера ни в доке, ни в тестах нет?

Попробуйте ODBC-движок таблицы, который может может ходить в монгу. Правда примера ни в доке, ни в тестах нет?

Попробуем, аж интересно как он вложенные структуры схлопывает, или конвертирует в Nested

Попробуем, аж интересно как он вложенные структуры схлопывает, или конвертирует в Nested

Скорее всего, если вы не угадаете что уже может движок при создании таблицы, ошибку будете получать в рантайме при селекте

Добрый вечер. Подскажите плз как узнать какая из нод обрабатывает запрос? Можно ли эти данные получить с результатом?

скорее нет чем да

можно в целом самому посмотреть какая нода обрабатывает

Добрый вечер. Подскажите плз как узнать какая из нод обрабатывает запрос? Можно ли эти данные получить с результатом?

:) select 1, hostName() SELECT 1, hostName() ┌─1─┬─hostName()──────────┐ │ 1 │ hostname.yandex.net │ └───┴─────────────────────┘

спасибо!

Коллеги, давайте добьёмся, чтобы в графану добавили алерты для CH. Для этого нужно, как я понимаю, чтобы плагин vertamedia добавили в апстрим, в плагины по-умолчанию. А потом уже можно будет сделать доработку для алертов (как понимаю, у vertamedia оно уже даже есть). Я готов создать issue на добавление, но логичнее это будет сделать от имени vertamedia.

@hagen1778 Посмотрите, пожалуйста, это сообщение и несколько следующих.

@hagen1778 Посмотрите, пожалуйста, это сообщение и несколько следующих.

я смотрел и даже ответил)

А, так это ваше последнее сообщение было. Я не сопоставил ник и имя :)

Тогда пойду спрошу у разработчика плагина для заббикс, что и как.

Дрбрый вечер, имеется небольшая таблица CREATE TABLE mqttdata ( topic String, ts UInt64, v Float32, d Date MATERIALIZED toDate(ts), dt DateTime MATERIALIZED toDateTime(ts) ) ENGINE = MergeTree(d, (topic, dt), 8192); пытаюсь сделать выборку всех данных за сутки но усреднить значения для помещения их на график, подскажите пожалуйста в какую сторону копать что-бы запрос вернул значения по 1 часу или допустим из всех значений сделал 100 усредненых значений и часов от общего количества записей за день?

а как вы это обычно в sql делаете?

Пытаюсь сделать так SELECT toStartOfHour(toDateTime(dt)) as t, v, topic FROM mqttdata WHERE ts > 1521572835 and ts < 1521579599 GROUP BY topic, t, v LIMIT 500 но это не совсем верно

а усредненные значения - это avg(v) ?

а усредненные значения - это avg(v) ?

да

хорошо. и чем именно неверно?

Кажется все правильно, просто в записях был пустой промежуток и сбил меня с толку.

а может кто знает, я вот часто вижу тут в группе, что время хранят в интовом таймстампе, а колонку Date для MergeTree материализуют из нее

это какой-то бест практис или что-то еще?

Просто так проще :-) и портабельно

А я правильно понимаю, что поля MATERIALIZED вычисляются при инсерте и далее ХРАНЯТСЯ в таблице? (но если поле добавили, то для старых строк вычислится при select на лету)

Говорят, что ещё что-то поправили. Посмотрите, не исчез этот Warning?

Исчез. Спасибо

кто-нибудь сталкивался с сегфолтами на версии 1.1.54343? Упало почти одновременно на двух нодах 2018.03.20 22:37:38.616560 [ 78 ] <Error> ExternalDictionaries: Cannot update external dictionary 'meta_internal_id', leaving old version: Poco::Exception. Code: 1000, e.code() = 2027, e.displayText() = mysqlxx::BadQuery: Malformed packet (10.128.0.6:3306), e.what() = mysqlxx::BadQuery 2018.03.20 22:37:42.908631 [ 8813 ] <Error> BaseDaemon: ######################################## 2018.03.20 22:37:42.908661 [ 8813 ] <Error> BaseDaemon: (from thread 60) Received signal Segmentation fault (11). 2018.03.20 22:37:42.908669 [ 8813 ] <Error> BaseDaemon: Address: NULL pointer. 2018.03.20 22:37:43.004288 [ 8813 ] <Error> BaseDaemon: 0. /usr/bin/clickhouse-server(tcmalloc::ThreadCache::ReleaseToCentralCache(tcmalloc::ThreadCache::FreeList*, unsigned long, int)+0x11b) [0x750a6fb] 2018.03.20 22:37:43.004313 [ 8813 ] <Error> BaseDaemon: 1. /usr/bin/clickhouse-server(tcmalloc::ThreadCache::Scavenge()+0x40) [0x750a820] 2018.03.20 22:37:43.004332 [ 8813 ] <Error> BaseDaemon: 2. /usr/bin/clickhouse-server(std::_Rb_tree<char const*, char const*, std::_Identity<char const*>, std::less<char const*>, std::allocator<char const*> >::_M_erase(std::_Rb_tree_node<char const*>*)+0x155) [0x6a13075] 2018.03.20 22:37:43.004362 [ 8813 ] <Error> BaseDaemon: 3. /usr/bin/clickhouse-server(DB::IParserBase::parse(DB::TokenIterator&, std::shared_ptr<DB::IAST>&, DB::Expected&)+0x14e) [0x6c3056e] 2018.03.20 22:37:43.004370 [ 8813 ] <Error> BaseDaemon: 4. /usr/bin/clickhouse-server(DB::ParserSubquery::parseImpl(DB::TokenIterator&, std::shared_ptr<DB::IAST>&, DB::Expected&)+0xa8) [0x6c562c8] 2018.03.20 22:37:43.004379 [ 8813 ] <Error> BaseDaemon: 5. /usr/bin/clickhouse-server(DB::IParserBase::parse(DB::TokenIterator&, std::shared_ptr<DB::IAST>&, DB::Expected&)+0x1a6) [0x6c305c6]

Привет, а как можно заджойнить таблицы по полям UInt32 и Int32 ? Мне пишет Type mismatch of columns to JOIN by: product_id UInt32 at left, product_id Int32 at right

toUInt32(product_id) as product_id

а может кто знает, я вот часто вижу тут в группе, что время хранят в интовом таймстампе, а колонку Date для MergeTree материализуют из нее

Материализуют чтоб значение в Date было коректным, DateTime внутри и так хранится как Int, строкой оно только отображается. Имеет смысл если нужны миллисекунда т.к. ClickHouse их не поддерживает.

А я правильно понимаю, что поля MATERIALIZED вычисляются при инсерте и далее ХРАНЯТСЯ в таблице? (но если поле добавили, то для старых строк вычислится при select на лету)

Налету не считает, пишет в колонку при её добавлении.