INSERT INTO test VALUES ('kjh', '', 0, today()); на вашем примере

:) insert into test values ( 'kjh','',,'1990-08-14') INSERT INTO test VALUES Ok. 1 rows in set. Elapsed: 0.034 sec. :) select * from test SELECT * FROM test ┌─ts──┬─ts2─┬─ti2─┬───────date─┐ │ kjh │ │ 0 │ 1990-08-14 │ └─────┴─────┴─────┴────────────┘ 1 rows in set. Elapsed: 0.007 sec. :)

Получается что он не значение поумолчанию вписал, а то которое я передал, т.е. ''

да. если хотите значение по умолчанию, то укажите столбцы, которые собираетесь вставлять. не указывая при этом те, которые хотите, чтобы были по умолчанию )

INSERT INTO test (ts, date) VALUES ('asd', today());

в документации начинается со слов "В запросе может быть опционально указан список столбцов для вставки."

Ок, понял Вас. Спасибо. Это можно считать багом и написать git-issue, или это ожидаемое и стандартное поведение для String?

Есть ещё один вопросик. При инсёрте ловлю эксепшен из Functions/FunctionsArray.cpp throw Exception{"Function array requires at least one argument.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH}; Можете помочь разобраться что прокидывается в NUMBER_OF_ARGUMENTS_DOESNT_MATCH и при каком кейсе должно вылететь это исключение?

функция array(), которая массив создает, принимает 1 и более аргументов вы передаете ноль, судя по эксепшену > Должен быть передан хотя бы один аргумент, так как иначе непонятно, какого типа создавать массив.

updated https://github.com/crobox/clickhouse-scala-client

Привет! Поправте меня пожалуйста: есть цена 650.00р я умножаю ее на 1000000, чтобы вставить в Uint64 ругается на ошибку 65000000.00

toUInt64()

а зачем и умножать и еще и конвертить?

а зачем и умножать и еще и конвертить?

потому что 650.01 * 100 = 65001.00

я вообще пытаюсь распарсить csv (insert into T format csv)

а зачем и умножать и еще и конвертить?

потому что float * int = float

потому что 650.01 * 100 = 65001.00

Спасибо. только написано что не на 100 а на 1000000

да какая разница

Спасибо. только написано что не на 100 а на 1000000

))))

(insert into T format csv) и где сюда еще и toUInt64() воткнуть?

здесь нигде. а где вы умножаете цену 650.00 на 1сколькотамуваснулей?

вот там же можно и от дробной части избавляться

Все. Усек))

Спасибо за помошь))

Добрый день!

Сложилась такая ситуация:

изза человеческого фактора, были задублированы данные за некторое время

есть уникальный идентификатор каждого события

теоретически можно данные за сегодня перенести в другую таблицу

вопрос заключается, можно ли как-то друпнуть данные за сегодня?

дропать все таблицу не катит

там больше 1 млрд событий

можно дропнуть месяц (partition)

вроде как КХ хранит данные порционно

да, я и говорю https://clickhouse.yandex/reference_ru.html#Манипуляции%20с%20партициями%20и%20кусками

можете перенести данные за месяц (недублированные) в отдельную таблицу грохнуть месяц в старой таблице и INSERTнуть в старую таблицу недублированные данные из новой

https://drive.google.com/file/d/0B3kh1B0hBMbuamlreGdYUzBjdlU/view

я посмотрел, что у меня партиции по дням, а не месяцам

я так полагаю, что можно дропнуть партицию за сегодняшний день

это не партиции

это куски (или как там они правильно называются)

что будет если физически удалить куски данных из партиции?

теоретически - можно задетачить месяц

поправить куски - вставив уникальные данные и потом заново заатачить данные

тут люди с битыми данными мучаются, а вы их самостоятельно побить хотите ) CREATE TABLE table_april AS table; INSERT INTO table_april SELECT * FROM table WHERE date >= '2017-04-01' AND ...; -- или как там от дублей избавитесь ALTER TABLE table DETACH PARTITION '201704'; INSERT INTO table SELECT * FROM table_april; что-то типа того должно пройти безболезненно

есть уникальный идентификатор каждого события

учитесь жить с такими дубликатами, limit by вам в помощь https://clickhouse.yandex/reference_en.html#LIMIT N BY modifier

немного не понимаю, как связаны задвоенные данные с LIMIT

и я бы посмотрел на вас, если бы вам пришлось заплатить в 15 раз больше, чем вы заработали ?

при условии, если "жить с дубликатами"

limit by это не limit, если у вас есть уникальное значение то по нему можно отсекать только первое появившееся, а остальные откидывать, посмотрите в документации

это как если бы вы оконной функцией посчитали ранк с овер бай и вычитали записи только с ранком = 1

пример CREATE TABLE diff_test ( session_id String, price Float64, action_at DateTime ) ENGINE = Memory; insert into diff_test values ('session1', 0.42, '2017-02-14 10:16:00'), ('sessiondup1', 0.84, '2017-02-14 10:18:00'), ('sessiondup1', 0.42, '2017-02-14 10:16:00'), ('session2', 0.42, '2017-02-14 10:19:00'), ('sessiondup2', 0.42, '2017-02-14 10:19:00'), ('sessiondup2', 0.42, '2017-02-14 10:19:00'), ('session2', 0.42, '2017-02-14 10:19:00'), ('session3', 0.42, '2017-02-14 10:19:00'); и select * from diff_test order by action_at limit 1 by session_id; SELECT * FROM diff_test ORDER BY action_at ASC LIMIT 1 BY session_id ┌─session_id──┬───────────────price─┬───────────action_at─┐ │ session1 │ 0.42000000000000004 │ 2017-02-14 10:16:00 │ │ sessiondup1 │ 0.42000000000000004 │ 2017-02-14 10:16:00 │ │ session2 │ 0.42000000000000004 │ 2017-02-14 10:19:00 │ │ sessiondup2 │ 0.42000000000000004 │ 2017-02-14 10:19:00 │ │ session3 │ 0.42000000000000004 │ 2017-02-14 10:19:00 │ └─────────────┴─────────────────────┴─────────────────────┘ 5 rows in set. Elapsed: 0.016 sec.

я понял, не знал

спасибо!

если в каждом запросе использовать limit by - это сильно скажется на скорости выполнения запроса? Мы ведь используем доп группировку

если в каждом запросе использовать limit by - это сильно скажется на скорости выполнения запроса? Мы ведь используем доп группировку

мы вынуждены использовать limit by, раньше было другое, костыльное, решение и оно работало медленнее

например: если мобильные прокси дублируют вам клики/показы, но на них есть уникальный код, то без этого тут никак :)

Добрый день! Кто-нибудь сталкивался с задачей сравнения данных по периодам? Например, показатели за эту неделю по сравнению с показателями прошлой недели. Эту задачу можно решить одним запросом, но он выглядит довольно громоздко. Быть может, у кого-то был опыт решения аналогичной задачи?

Приветствую!

А почему бы не заюзать графану для этого?

тупо сделать два графика и врубить "cursor following"

тогда ведя курсор по одному графику он будет двигаться и по другому, синхронно

Добрый день! Кто-нибудь сталкивался с задачей сравнения данных по периодам? Например, показатели за эту неделю по сравнению с показателями прошлой недели. Эту задачу можно решить одним запросом, но он выглядит довольно громоздко. Быть может, у кого-то был опыт решения аналогичной задачи?

да, он выглядит довольно громоздко.

если потребитель этих данных - хомо сапиенс, тогда сработает я думаю ))

я и заюзал) данные нужны в табличной форме и у меня получилось это сделать, но запрос на сравнение выглядит примерно так SELECT (ReqsNow / ReqsPrev - 1) Reqs FROM ( SELECT minus($to, $from) range, toDateTime(minus($from, range)) prevFrom, sumIf(Reqs, (DateTime BETWEEN prevFrom AND $from)) ReqsPrev, sumIf(Reqs, (DateTime BETWEEN $from AND $to)) ReqsNow FROM $table WHERE DateTime BETWEEN prevFrom AND $to )

и меня не покидает мысль, что это можно решить более оптимальным способом

@hagen1778 не проще просто сгруппировать данные по нужным дименшинам (простой group by) для этой неделе и прошлую, а визуализировать результат уже в приложении? пивот таблицей (добавить измерение "неделя") или чартом

у нас и на экран запросы бывают.

можете подсказать, как вставить пустой массив не изнутри clickhouse-client? при [] получаю ошибку DB::Exception: Function array requires at least one argument..

в clickhouse-client работает select emptyArrayUInt32()

@hagen1778 не проще просто сгруппировать данные по нужным дименшинам (простой group by) для этой неделе и прошлую, а визуализировать результат уже в приложении? пивот таблицей (добавить измерение "неделя") или чартом

Да, спасибо! Вы мне помогли

в clickhouse-client и insert into x values([]) работает.

а без values можно как-нибудь? нужно заимпортить TSV

в clickhouse-client и insert into x values([]) работает.

Добрый день!

Столкнулся с проблемой дубликатов. В таблице есть данные, которые нужно переодически обновлять. Пытаюсь сделать это через инсерт. Подскажите, пожалуйста, какие есть пути решения данной задачи в clickhouse. Спасибо.

Пробовал ReplacingMergeTree, но он дубликаты схлопывает только при слиянии. Нужно выбирать только самые свежие.

argMax(column, datetime), final ?

попробую, спасибо.

Чуть выше предложили использовать Limit BY

LIMIT BY вернет первое значение, насколько я понимаю. нужно последнее.

сделайте ему order by по дате и все

Добрый день. через curl шлю запрос. прилетает жирный ответ (куча строк) за счет чего время отправки и получение достигает около 2 минут. как тут быть?

выводить не на экран, а в файлик, например

это никак не относится к КХ, как мне кажется

есть чатики по никсам

Они не такие классные как наш ))

выводить не на экран, а в файлик, например

в каком смысле в файлик выводить? на сервер кх сразу в файлик писать?

а в каком смысле "через curl шлю запрос"? какой, SELECT, INSERT?

а в каком смысле "через curl шлю запрос"? какой, SELECT, INSERT?

select

ну. отображаются результаты запроса у вас в терминале? отображаются. занимает время это все напечатать? занимает. вместо того, чтобы отображать на экране, можно записывать в файл. нет, не на сервере. локально. вы ж не с сервера запрос отправляете.

а в каком смысле "через curl шлю запрос"? какой, SELECT, INSERT?

получаю результат в виде 30 тыс строк (там группировка по часу и по другим полям sum)

ну. отображаются результаты запроса у вас в терминале? отображаются. занимает время это все напечатать? занимает. вместо того, чтобы отображать на экране, можно записывать в файл. нет, не на сервере. локально. вы ж не с сервера запрос отправляете.

вы имеете ввиду сразу в файл писать. но это просто агрегация на фоне статистических данных