/stat@combot

combot.org/chat/-1001080295593

А есть какой-то другой, более быстрый метод импорта данных, помимо того что описан в tutorial? xz -v -c -d < ontime.csv.xz | clickhouse-client --query="INSERT INTO ontime FORMAT CSV"

А есть какой-то другой, более быстрый метод импорта данных, помимо того что описан в tutorial? xz -v -c -d < ontime.csv.xz | clickhouse-client --query="INSERT INTO ontime FORMAT CSV"

Не уверен, но предположу что писать в нативном формате возможно будет быстрее

только описания нет https://clickhouse.yandex/docs/en/formats/native.html )

детального

ну для его использования надо будет ней загружатор писать. На сколько я знаю есть драйверы под go и c++

у нас задача - выгрузить данные из hive, и заимпортить их в кликхаус, было бы круто если бы был загружатор для parquet

не, коробочного нет. Есть кстати драйвер для Spark. https://github.com/DmitryBe/clickhouse-spark-connector

посмотрим сейчас спасибо!

Всем привет! Добавил графана-дашборд для отображения информации из таблицы query_log в КХ https://grafana.com/dashboards/2515

Полезная штука! Спасибо!

а можно через http интерфейс указать дефолтный формат для вывода данных, вместо того чтобы писать его в каждом запросе ?

Пробуйте аргументом в гет запросе

ага, default_format называется

спасибо

Добрый день! Может кто знает способ получить в выборке из news элементы которых нет в news. Т.е. left join значений в запросе на таблицу. Пытался как-то так, не выходит.. SELECT arrayJoin([300, 325]) AS newsId ALL LEFT JOIN (SELECT newsId FROM news WHERE date='2017-06-22' GROUP BY newsId) USING newsId

Добрый день! Может кто знает способ получить в выборке из news элементы которых нет в news. Т.е. left join значений в запросе на таблицу. Пытался как-то так, не выходит.. SELECT arrayJoin([300, 325]) AS newsId ALL LEFT JOIN (SELECT newsId FROM news WHERE date='2017-06-22' GROUP BY newsId) USING newsId

Подставляется алиасинг. AS .... В КХ алиасы работают по другому.

Вот так заработало. Выглядит так себе. Может есть вариант попроще.. SELECT newsId, views FROM (SELECT arrayJoin([toUInt32(300), toUInt32(325), toUInt32(1021170)]) as newsId) ALL LEFT JOIN (SELECT newsId, sum(views) views FROM news WHERE date='2017-06-22' GROUP BY newsId) USING newsId;

Ребят, а можно ли искать вхождение нескольких элементов в массиве по порядку? например есть массивы из 3 чисел, нужно найти все в которых входит массив [1,2]

Блин, после кх не могу состряпать запрос в mysql без подзапросов и пр фигни что бы он быстро работал ))))

Блин, после кх не могу состряпать запрос в mysql без подзапросов и пр фигни что бы он быстро работал ))))

есть такое :D

А порядок прям обязателен?

Можно попробовать сделать arrayMap какой нибудь и потом сравнить массивы

да, вот к примеру есть массивы: 1) [1,2,3] 2) [5,6,2] 3) [5,1,2] 4) [3,2,1] нужно найти все в которых есть [1,2], в результате хоче получить варианты с номерами 1 и 3.

не сюда )

не сюда )

в telegram есть delete, это же не clickhouse)

да, вот к примеру есть массивы: 1) [1,2,3] 2) [5,6,2] 3) [5,1,2] 4) [3,2,1] нужно найти все в которых есть [1,2], в результате хоче получить варианты с номерами 1 и 3.

Самому интересно. А массив который искать надо приходит извне?

Самому интересно. А массив который искать надо приходит извне?

да без разницы)

в telegram есть delete, это же не clickhouse)

быстрее так получилось

да без разницы)

Получилось

CREATE TABLE test ( col String, haystack Array(UInt16) ) ENGINE = Memory

insert into test (col, haystack) VALUES ('row 1', array(1,2,3)), ('row 2', array(5,6,2)), ('row 3', array(5,1,2)), ('row 4', array(3,2,1))

SELECT col, [toUInt16(1), toUInt16(2)] = arrayMap(x -> toUInt16(x), arrayFilter(x -> has([1, 2], x), haystack)) AS result FROM test WHERE result = 1

┌─col───┬─result─┐ │ row 1 │ 1 │ │ row 3 │ 1 │ └───────┴────────┘

Впринципе массив можно как извне (захардкодить) в запросе, так и из колонки брать

тюююю, это же прекрасно

Только там с типами значений внутри массива надо по хорошему поиграться

осталось понять на сколько это эффективно работает

Ну тут только тестировать

Получилось

1,3,2 ?

1,3,2 ?

Должно получиться только 1,3

Аааа прошу прощения _ я думал вы про результат

насколько я понимаю нужны элементы подряд, а не подпоследовательность

Добавил строчку

Не, там надо проверить наличие элементов в последовательности

Неважно что между ними еще

с 1,3,2 тоже работает

насколько я понимаю нужны элементы подряд, а не подпоследовательность

да, нужно точное вхождение. Ну кароч аналог like '%1,2%' только для массивов :D

position(arrayStringConcat(arrayMap(v->toString(v),x),'_'), '1_2') > 0

с 1,3,2 тоже работает

а не должно)

не то чтобы аналог, но в качестве шутки пойдет.

а не должно)

Значит я задачу не так понял )

Значит я задачу не так понял )

ну я вот выше описал, нечто вроде like '%1,2%' только для массивов ))

просто like имхо не оптимально вообще

подстрка это хотя бы линейно, а лямбды с поиском нужных индексов сразу квадрат даст. но вообще конечно для таких вещей, если они нужны, нужны подходящие функции.

Можно попробовать массив в строку загнать и там через match, но это регулярка...

можно кнута-морриса-пратта реализовать на массивах чего угодно вместо массивов символов и делать positionArray

position(arrayStringConcat(arrayMap(v->toString(v),x),'_'), '1_2') > 0

а не будет ли эффективнее просто сделать toString(arr_field) like '%1,2%' ?

Добрый день. Не нашел функцию, которая бы могла выдернуть из строки вида GET-параметров URL'a какой-то конкретный параметр. Исходя из специфики кликхауса может быть вполне полезно. Нет ли такого?

типа строки param1=v1&param2=v2&...

https://clickhouse.yandex/docs/ru/functions/url_functions.html#extracturlparameternames-url

Не подошла?

А потом сделать concat на массив

Если надо

Вру, не ту скинул

extractURLParameter(URL, name)

оо

https://clickhouse.yandex/docs/ru/functions/url_functions.html#extracturlparameters-url

что-то я мимо просмотрел

Спасибо!

Добрый вечер, CH стал выдавать забавные ошибки: select count() from key_events where app_type = 0 SELECT count() FROM key_events WHERE app_type = 0 Received exception from server: Code: 10. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Not found column image_ids in block. There are only columns: app_type. 0 rows in set. Elapsed: 0.055 sec. app_type : UInt8 image_ids : есть в другой таблице, но не в этой Одним словом ошибка забавная

Добрый вечер, CH стал выдавать забавные ошибки: select count() from key_events where app_type = 0 SELECT count() FROM key_events WHERE app_type = 0 Received exception from server: Code: 10. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Not found column image_ids in block. There are only columns: app_type. 0 rows in set. Elapsed: 0.055 sec. app_type : UInt8 image_ids : есть в другой таблице, но не в этой Одним словом ошибка забавная

а какая версия CH?

Добрый вечер, CH стал выдавать забавные ошибки: select count() from key_events where app_type = 0 SELECT count() FROM key_events WHERE app_type = 0 Received exception from server: Code: 10. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Not found column image_ids in block. There are only columns: app_type. 0 rows in set. Elapsed: 0.055 sec. app_type : UInt8 image_ids : есть в другой таблице, но не в этой Одним словом ошибка забавная

Я сталкивался с подобным багом, завел его в трекере в гите, ждемс когда ребята смогут поправить

Но у вас как я понял другая ситуация. У вас впринципе нет такой колонки в таблице ))

по версии сейчас отпишиусь

по поводу колонки, колонка такая есть

select app_type from page_visit limit 1 - работает

я имею ввиду колонки image_ids нет в таблице key_events

да, она есть в другой таблице

Просто в запросе select count() from key_events where app_type = 0 колонка не упоминается и почему вообще CH решил, что она где то упоминается в запроса достаточно странно

это да, только маленький апейт, таблица page_visit, я опечатался, все остальное остается верным

А там изначально такой колонки не было?

кстати єто работает: select app_type from page_visit where app_type=0 limit 1;

нет, эта колонка была и есть только в таблице tag_events

Тогда предлагаю завести issue в трекере гита )

так и сделаю)

по поводу версии: ClickHouse server version 1.1.54231.

если кому будет интерестно: select count() from page_visit where app_type = 0 - ошибка select count() from page_visit where app_type = 1 - выполняется

Добрый вечер. Может кто нибудь пояснит принцип работы materialized view? (и подойдет ли это мне, и если нет, то что подойдет..?) Задача: нужно при вставке в сырую таблицу осуществить авто вставку в другую таблицу части данных в запросе. Пример: вставляем в сырую таблицу запись - user_id 100 | shows 50 | clicks 10 нужно автоматом вставить такую же запись в другом представлении в таблицу например sum merge user_id 100 | shows 50 где только просмотры пользователя суммируются Помогите плиз)

у меня materialized view превратили сервера в тыкву, выжрав всю память при вставках :)

Другими словами есть таблица свалка. в которую сваливаем около 45 столбцов данных, нужно разбить эту таблицу на несколько маленький специализированных

но там у меня всякие разные агрегации были

всю память? при каком количество вставок в секунду? и в какое количество таблиц он дублирован данные?

и сколько памяти

))

вопрос целесообразности - либо 10 insert в разном виде либо 1 insert который превратит их в 10