insert into temp select * from typed_events where date > '2016-11-20'

хотя если считаются разжатые данные, то может столько и будет, т.е. сжатие ~7-8 раз

а count() сколько, с фильтром и без фильтра?

с фильтром ~200млн, всего ~900млн

значит читает с использованием фильтра, а байты китайские.

я верю что все данные - asci

при большой нагрузке CPU usage 300% максимум. как заюзать больше ядер?

В диск упирается наверное

при большой нагрузке CPU usage 300% максимум. как заюзать больше ядер?

Доброе утро! Я продолжу тему - больше 300% не ест, ио по нулям - файлы на ссд. Во что может упираться? Или ему нагрузки не приходит больше?

max_threads можно увеличить

Какой движок таблицы?

MergedTree

io по нулям по данным чего?

Ну и что за запрос

top, htop

куча запросов в большей массе - select

Ну это понятно. Какой паттерн запроса

И io лучше по iotop, я вообще не припомню чтобы top давал in

Io

iotop тоже нули показывает, write на уровне 100-200K/s

Привет. Подскажите пожалуйста, умеет ли кликхаус делать cumulative sum? То есть допустим есть табличка со строками (1,2,3) а хочется получить (1, 3, 6). На каком-нибудь MS SQL я бы сделал джойн таблички с самой собой по t1.id >= t2.id и просуммировал. Но CH так не умеет.

window functions!

Не умеет пока что

но оконные функции это не отменяет...

Понял. Спасибо. Жаль.

Найдите таск на гитхабе и поставьте лайк, например

В принципе, в CH тоже можно посчитать cumulative sum - не очень красиво, но вроде работает CREATE TABLE test ENGINE = Log AS SELECT arrayJoin([1, 2, 3]) as value SELECT value1 as value, sum(value2) as cumsum FROM (SELECT value as value1, 1 as fake FROM test ) ALL INNER JOIN (SELECT value as value2, 1 as fake FROM test ) USING fake WHERE value1 >= value2 GROUP BY value1

а есть какой-нибудь способ ускорить чтение данных? Тестирую опять же на графитной нагрузке

делаю запрос типа: SELECT Path, Time, Value, Timestamp FROM graphite WHERE (Path IN ({74 метрики})) AND ((Date >='2016-12-02' AND Date <= '2016-12-02' AND Time >= 1480650830 AND Time <= 1480672430)) FORMAT RowBinary

и аналогичный в графит

графит отвечает за 70мс

кликхаус за 120

а че если фильтр по Date в WHERE перенести в самое начало? Какие индексы стоят?

CREATE TABLE default.graphite ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32) ENGINE = Distributed(graphite, 'default', 'graphite_local', sipHash64(Path))

CREATE TABLE default.graphite_local ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32) ENGINE = GraphiteMergeTree(Date, (Path, Time), 8192, 'graphite_rollup')

или Path IN в PREWHERE запихнуть (но здесь я не уверен, могу фигню сказать, до сих пор не знаю, как он работает, блин)

Лучше всё условие в prewere

а че если фильтр по Date в WHERE перенести в самое начало? Какие индексы стоят?

дает +10мс

в смысле становится вместо 120 - 110

Лучше всё условие в prewere

а это как именно?

можно пример?

да вместо WHERE пишешь PREWHERE и все

хм, да, так веселее

да, теперь одинаково стало )

интересно, а можно еще лучше?

date = '2016-12-02'?

а почему в Time прописан Timestamp и для чего тогда date?

Date для индекса, ибо это MergeTree все-таки

ппц кастыли

а timestamp видимо еще какое-то время из себя представляет

date = '2016-12-02'?

ну в примере запроса да

я за сегодня спрашивал

там нет разницы <= AND >=

или просто =

ок(

а почему в Time прописан Timestamp и для чего тогда date?

Timestamp это версия данных

Time - свойство данных

А date, надо думать, оно вообще не хранит

@SLASH_CyberPunk потому что в графите нужно их уметь обновлять в прошлое, есть еще версия.

ибо это - метаданные

а Time это таймстамп который пришел вместе с чиселкой

я все равно не понял

по условию вижу, что они равнозначны, только типом данных отличаются...

то что дата нужна для индекса - это я понял

получается, если гоняешь данные со временем, то извращайся такой схемой, хотя более логично было бы что-то подобие trunc делать

Не для индекса. Для партиционирования

в данном контексте не суть важно

Привет. Подскажите пожалуйста, умеет ли кликхаус делать cumulative sum? То есть допустим есть табличка со строками (1,2,3) а хочется получить (1, 3, 6). На каком-нибудь MS SQL я бы сделал джойн таблички с самой собой по t1.id >= t2.id и просуммировал. Но CH так не умеет.

На самом деле есть. Функция runningAccumulate. Подробности потом.

а че если фильтр по Date в WHERE перенести в самое начало? Какие индексы стоят?

Порядок в WHERE ни на что не влияет. AND-ы жадные (не short-curcuit).

Привет. Подскажите как можно импортировать данные таблицу с движком MergeTree если отсутствует столбец с датой? (есть только DateTime)

Сделать еще столбец с датой

Привет. Подскажите как можно импортировать данные таблицу с движком MergeTree если отсутствует столбец с датой? (есть только DateTime)

Высчитать date из date time?

мм.... пробовал сделать поле date DEFAULT toDate(timestamp), а как тогда вставить в таблицу CSV с меньшим количеством столбцов?

Сделать свой ETL наверно

Либо лепить через временные

мм.... пробовал сделать поле date DEFAULT toDate(timestamp), а как тогда вставить в таблицу CSV с меньшим количеством столбцов?

перечислить колонки в запросе insert которые есть csv , на которые не указаны сработает default

перечислить колонки в запросе insert которые есть csv , на которые не указаны сработает default

а какой в данном случае будет синтаксис? сейчас импортирую просто: cat tes2.csv | clickhouse-client —query="INSERT INTO test FORMAT CSV";

В статье описывал https://habrahabr.ru/company/smi2/blog/314558/

понял, сейчас перечитаю внимательней, спасибо =)

А для консоли INSERT INTO test (col,col2) FORMAT

Так если при импорте запрос, прям в запросе и сделайте колонку

INSERT INTO test (col,trunk(col2),col2) FORMAT

Или транк в кх не завезли? ?

trunc это функция из oracle, с чего бы ей быть в clickhouse

Для этого есть toDate

А для консоли INSERT INTO test (col,col2) FORMAT

именно то что нужно!

trunc это функция из oracle, с чего бы ей быть в clickhouse

Не только оракл...

а имена типов а-ля String, Int (строго с большой буквы) это специально так задумано? или случайно получилось? ;)

Так изначально задумано. Скорее всего, мы сделаем также алиасы для типов из SQL (типа varchar), имена которых будут не регистрозависимыми. Но при этом придётся сохранить некоторые технические отличия в реализации (пример: отсутствие проверки на переполнение для int-ов).

хорошо не Stroka

Трололо :)

В коде кликхауса нет Stroka

и мата нету :(