версия кликхауса какая?

1.1.54165

https://groups.google.com/forum/#!topic/clickhouse/WfS_9xi6B5A

OPTIMIZE FINAL was fixed in version 1.1.54188

Спасибо, буду апдейтиться

Обновился до 1.1.54198 - результата не добился. Всё равно в трейс вылетает эта ошибка.

Побились данные, есть программа на С которая может "отрезать" побитую часть: https://github.com/ludv1x/ClickHouse/tree/broken-part-cutter/utils/broken-part-cutter

Как я понимаю, в таком случае данные побиты и на реплике?

Добрый день. подскажите делаю select toDateTime(eventTime) group by toHour(eventTime) Column eventTime is not under aggregate function and not in GROUP BY ожидается - в select вывести дату, а сгруппировать по часу

группируйте по дате и по часу

а вообще, я ж вроде говорил уже про https://clickhouse.yandex/reference_ru.html#toStartOfHour

он не будет правильнее в этом случае?

группируйте по дате и по часу

я просто не пойму почему нельзя просто вывести поле а сгруппировать по части данных этого поля. зачем группировать по секундно и потом еще по часу ?

так вы и не группируете посекундно

так мне и не надо

только по часу

так вы и не группируете посекундно

GROUP BY eventTime, toHour(eventTime), ? не уж то так надо писать?

нет. говорю, что не надо.

нет. говорю, что не надо.

ну тогда как вывести нормальную дату в виде timestamp а сгруппировать только по часу?

вы хотите по часу для каждой даты или по часу в целом (за месяц например), чтоб в итоге 24 строки получилось?

toStartOfHour(timestamp)? https://clickhouse.yandex/reference_ru.html#toStartOfHour

toStartOfHour, в третий раз пишу

toStartOfHour, в третий раз пишу

это не уберает ошибку

вы хотите по часу для каждой даты или по часу в целом (за месяц например), чтоб в итоге 24 строки получилось?

хочу по часу сгруппировать то есть да 24 строки

тогда добавьте дату в group by, если она нужна, и в where, если не нужна.

тогда добавьте дату в group by, если она нужна, и в where, если не нужна.

не понял

ок. у вас отчет по одной дате или по диапазону?

я просто не пойму почему нельзя просто вывести поле а сгруппировать по части данных этого поля. зачем группировать по секундно и потом еще по часу ?

потому что так работает sql в любой базе отличной от mysql.

а работает он так потому, что в общем случае вы не можете вывести из отношения функциональную зависимость, в результате которой ответ становится однозначным.

а работает он так потому, что в общем случае вы не можете вывести из отношения функциональную зависимость, в результате которой ответ становится однозначным.

поясните пожалуйста в рамках моего примера

вы делаете запрос select toDateTime(eventTime) ... group by toHour(eventTime)что вы ожидаете получить

+1, непонятно

toDateTime(eventTime) никакого эффекта не даст, eventTime и так DateTime, полагаю

например у вас данные 00:00:00 , 00:00:01

например у вас данные 00:00:00 , 00:00:01

мне нужно сгруппировать по часу посчитав для этого часа сумму записей. поэтому хочу к часу привести но вывести полную дату

что такое полная дата

17/04/2017 - полная дата?

это Y-m-d h:i:s

просто вывести datetime поле

но группировку осуществить по часу

очень хорошо. у вас есть две строки eventTime 2000-01-01 00:00:00 2000-01-01 00:01:00что должен выдать ваш запрос

:) SELECT toStartOfHour(timestamp) AS hr, count() FROM click WHERE timestamp BETWEEN '2017-04-13 20:00:00' AND '2017-04-14 03:00:00' GROUP BY hr ORDER BY hr ┌──────────────────hr─┬─count()─┐ │ 2017-04-13 20:00:00 │ **** │ │ 2017-04-13 21:00:00 │ **** │ │ 2017-04-13 22:00:00 │ **** │ │ 2017-04-13 23:00:00 │ **** │ │ 2017-04-14 00:00:00 │ **** │ │ 2017-04-14 01:00:00 │ **** │ │ 2017-04-14 02:00:00 │ **** │ └─────────────────────┴─────────┘

:) SELECT toStartOfHour(timestamp) AS hr, count() FROM click WHERE timestamp BETWEEN '2017-04-13 20:00:00' AND '2017-04-14 03:00:00' GROUP BY hr ORDER BY hr ┌──────────────────hr─┬─count()─┐ │ 2017-04-13 20:00:00 │ **** │ │ 2017-04-13 21:00:00 │ **** │ │ 2017-04-13 22:00:00 │ **** │ │ 2017-04-13 23:00:00 │ **** │ │ 2017-04-14 00:00:00 │ **** │ │ 2017-04-14 01:00:00 │ **** │ │ 2017-04-14 02:00:00 │ **** │ └─────────────────────┴─────────┘

хм. вроде то что надо. я понял смысл

Спасибо

toStringCutToZero скажите эта функции сильно грузит сервак (серер уходит в аут). В чем может быть дело?

уверены, что дело в этой функции?

над каким столбцом делаете, че там за данные? может проще в String хранить?

может и проще. просто когда результат возвращается от кх то там где строки куча байт символов

поэтому хочется вырезать их чтобы получить нормальную строку

вот даже сравнил вешаю на одно поле toStringCutToZero и получаю в 2 раза дольше выполнение запроса

¯\_(ツ)_/¯ если хочется нормальную строку - лучше хранить данные в нормальных строках а toString так же медленно работает?

хотя на счет в 2 раза дольше. это как-то случайно так вышло

помоему они одинаковы по производительности

ну если одинаково, но медленно/крашится - возможно, имеет смысл перезалить данные, заменив fixedstring в string

если fixedstring вам по факту не нужен

ладно будем думать)) но тут есть какой-то баг крашится сервак из-за применения этих функций например два поля fixedString и два поля пытаешься обработать функцией в итоге сыпется сервак. решение - просто сделал toString на одно из полей

пример схемы, пример запроса?

пример схемы, пример запроса?

toString(applicationName) as applicationName, toStringCutToZero(os) as os,

и лог выполнения запроса не помешает наверн

applicationName String, os FixedString(70)

toString(string) это хорошо

ну тут вроде все правильно

сча найду это поле

а вот я понял я на поле типа String вешал toStringCutToZero

и это вызывает краш сервера

никакого эксепшена ничего. просто висит и пытается выполнить запрос как в это время сервер уже сдох)

SELECT toStringCutToZero(applicationName)?

SELECT toStringCutToZero(applicationName)?

да это вызвало падение сервера applicationName - String

ну, видимо оперативки не хватает и запрос по меньшему периоду нужен? (хотя ваще странно)

да это вызвало падение сервера applicationName - String

что-то с первого раза не воспроизводится. а в логах что?

Я уже посмотрел и воспроизвёл - это баг.

?

Мы уже знаем, что следующий митап будет в Екб где-то в середине мая. Сейчас выбираем темы для докладов.

Доброе утро! Подскажите пожалуйста, а куда надо положить csv файлик чтобы загрузить его в КХ? Спасибо

в смысле - куда? вы хотите загрузить clickhouse-clientом или по HTTP?

Вот в доке написано cat <<_EOF | clickhouse-client --database=test --query="INSERT INTO test FORMAT CSV";

у меня файлик называется dump.csv

можно cat dump.csv | clickhouse-client ...

~ ❯ clickhouse-client -q 'CREATE TABLE test (s String, x Int64) ENGINE = TinyLog;'; ~ ❯ cat test.csv "hello",123 "world",456 ~ ❯ cat test.csv | clickhouse-client -q 'INSERT INTO test FORMAT CSV'; ~ ❯ clickhouse-client -q 'SELECT * FROM test FORMAT PrettyCompactNoEscapes'; ┌─s─────┬───x─┐ │ hello │ 123 │ │ world │ 456 │ └───────┴─────┘

~ ❯ clickhouse-client -q 'CREATE TABLE test (s String, x Int64) ENGINE = TinyLog;'; ~ ❯ cat test.csv "hello",123 "world",456 ~ ❯ cat test.csv | clickhouse-client -q 'INSERT INTO test FORMAT CSV'; ~ ❯ clickhouse-client -q 'SELECT * FROM test FORMAT PrettyCompactNoEscapes'; ┌─s─────┬───x─┐ │ hello │ 123 │ │ world │ 456 │ └───────┴─────┘

cat: test.csv: No such file or directory

ну у меня test.csv, у вас - dump.csv =)

если он в той же папке, должно быть достаточно

если не в той же, то можно относительный/полный путь до файла указать, соответственно

если он в той же папке, должно быть достаточно

Вот мой и вопрос был )) в той же папке, это какой ))

в той же, в которой сейчас открыт терминал

если набрать команду pwd, отобразится текущая папка

https://www.digitalocean.com/community/tutorials/how-to-use-cd-pwd-and-ls-to-explore-the-file-system-on-a-linux-server

в той же, в которой сейчас открыт терминал

Спасибо взлетело. А команда "cat" нормально прожует файл в 150 гб? или есть более оптимизированные?

команда cat может и нормально прожует, а вот сервер уже не факт. лучше разбить на файлики поменьше. по 100к строчек, например. или по миллиону. вдруг еще ошибки при парсинге CSV будут

и лучше clickhouse-compressorом прогнать, наверное

Благодарю ?

Кстати, а какой гошный драйвер сейчас считается тру? Или пока не определились?

тут нет тру или не тру, если вы, например, хотите использовать встроенные функции CH для вставки данных то используйте github.com/roistat/go-clickhouse т.к. он работает поверх http и просто пересылает запрос на сервер, напротив https://github.com/kshvakov/clickhouse использует "нативный" формат который требует преобразования данных на клиенте, т.е. если поле FixedString(16) то он и ждет 16 байт, а не UUIDStringToNum('uuid-uuid'), но он позволяет вставлять данные в 2-3 раза быстрее чем через http интерфейс если его использовать в обход гошного интерфейса https://github.com/kshvakov/clickhouse/blob/master/examples/direct.go

Кстати, а какой гошный драйвер сейчас считается тру? Или пока не определились?

и еще, https://github.com/kshvakov/clickhouse поддерживает стандартный гошный интерфейс для работы с базами данных, конечно если вам это важно

Доброе утро, есть ли возможность проставить DEFAULT для столбца в Nested? create table test2 ( id Int8 , date Date, items Nested ( name String DEFAULT 'None', type String DEFAULT 'None') ) ENGINE = ReplacingMergeTree(date, (id), 8192) Syntax error: failed at position 77 (line 6, col 17)

Есть неудобный способ: CREATE TABLE table_test ( date Date, isp.name Array(String), isp.ispHash Array(Int64) DEFAULT arrayMap(x -> cityHash64(x), isp.name) ) ENGINE = MergeTree(date, date, 8192) (несколько столбцов-массивов с общим префиксом до точки в имени, полностью эквивалентны Nested структуре).

Вокруг составных имён поставьте обратные кавычки (их съел Telegram).

Спасибо большое, заработало! Есть ещё один (глупый) вопрос, но я с ним не могу разобраться. Есть таблица: CREATE TABLE test.test ( ts String DEFAULT \'None\', ts2 String DEFAULT \'None\', ti2 Int32 DEFAULT CAST(0 AS Int32), date Date) ENGINE = ReplacingMergeTree(date, ti2, 8192) Как правильно инсёртить пустые строки? В документации не нашёл примера. :) insert into test values ( 'kjh',,,'1990-08-14') INSERT INTO test VALUES Exception on client: Code: 62. DB::Exception: Cannot parse expression of type String here: ,,'1990-08-14') Connecting to database test at localhost:9000. Connected to ClickHouse server version 1.1.54198. Заранее спасибо!