having?

having?

what?

having?

я понял)) работает. спасибо

Получил ошибку Code: 89. DB::Exception: QuickLZ compression method is disabled: while receiving packet при запросе из представления

Была похожая проблема, правда давно: https://github.com/yandex/ClickHouse/issues/7

да, я нагуглил её

что-то надо сообщить дополнительно? могу в ту же тему в гугл-группах

Как объявляете materialized view и какой запрос делаете.

это обычный view: CREATE VIEW analytics.apps_events ( app_name String, app_version String, os_name String, device_id String, event_time DateTime, event_date Date, event_name String, event_value String, screen_name String) AS SELECT app_name, app_version, os_name, device_id, event_time, event_date, event_name, event_value, screen_name FROM analytics.apps_clickstream WHERE isNotNull(event_name) OR isNotNull(event_value)

запрос: SELECT splitByChar('/', screen_name)[1] as sn, event_date, count(*) FROM analytics.apps_events where (...) group by sn, event_date

ребят скажите плиз есть не заполненные поля string пустые. как проверить на не пустые поля?

!= '' не подходит?

https://clickhouse.yandex/reference_ru.html#empty

!= '' не подходит?

неа

может там пробелы? о_О length(city) че покажет?

может там пробелы? о_О length(city) че покажет?

и вправду.. как так вышло не понятно. при вставке tabseparated файлов писал ,'','','' пишет по 70 символов во всех строках. может это потому что схема FixedString(70) ?

а, так сразу бы и сказали

а то выше про String говорилось

я еще пока не привык)) это стандартное поведение fixedString ?

да см. toString / toStringCutToZero

да см. toString / toStringCutToZero

благодарю))

это обычный view: CREATE VIEW analytics.apps_events ( app_name String, app_version String, os_name String, device_id String, event_time DateTime, event_date Date, event_name String, event_value String, screen_name String) AS SELECT app_name, app_version, os_name, device_id, event_time, event_date, event_name, event_value, screen_name FROM analytics.apps_clickstream WHERE isNotNull(event_name) OR isNotNull(event_value)

Удалось повторить так: :) create table t1 (s1 Nullable(String)) engine=TinyLog :) create view t1_v1 (s1 String) AS select s1 from t1 :) insert into t1 values ('aaa') :) select splitByChar('/', s1) from t1_v1 То есть у вас наверно столбец screen_name Nullable(String) в таблице, но String во view

да, именно так

спасибо, поправлю вьюху

а разве это не ок, когда я проверяю на null, и если не null пишу в колонку не-nullable типа?

По крайней мере такое мистическое сообщение об ошибке точно не ок :)

еще клиент иногда крашится при таких запросах )

Подскажите, пожалуйста, как агрегировать данные по временному интервалу? Например, надо считать среднее по данным за каждые 5 секунд и записывать в новую таблицу? Можно ли написать агрегирующую функцию?

Есть специальный движок таблиц GraphiteMergeTree

попробуйте так SELECT (intDiv(toUInt32(EventTime), 5) * 5) * 1000 AS t, count(*) FROM requests GROUP BY t ORDER BY t ASC

В документации его пока нет, но можно посмотреть вот тут https://github.com/yandex/graphouse/blob/master/doc/install.md#clickhouse

Подскажите, пожалуйста, как агрегировать данные по временному интервалу? Например, надо считать среднее по данным за каждые 5 секунд и записывать в новую таблицу? Можно ли написать агрегирующую функцию?

может вам просто надо insert into t2 (key, value) select toUInt64(time)/5*5 as key, avg(data) as value from t1 group by key возможно вам нужен aggregating merge tree + avgState

А в чем отличие движка GraphiteMergeTree от materialized view на движке agregatingmergetree?

Или это задел на будущее когда будут delete?

заменил InfluxDB на CH, нагрузка упала с 196% до 5% CPU

Можете теперь рядом сервер Lineage поднять ?

не, я уже биткойны майню

@pavel_odintsov ?

@openbsod я как раз вам письмо написал :)

Скажите пожалуйста как сгруппировать по часу поле timestamp ?

toStartOfHour(timestamp)? https://clickhouse.yandex/reference_ru.html#toStartOfHour

toStartOfHour(timestamp)? https://clickhouse.yandex/reference_ru.html#toStartOfHour

прямо в группировке можно использовать?

а какие варианты

что-то не выходит совсем.. SELECT toDateTime(eventTime) as hour, ... FROM ... GROUP BY ads_start_id Column eventTime is not under aggregate function and not in GROUP BY

ожидается что поле будет в groupby ?

почему todatetime

<Error> ExternalDictionaries: Cannot create external dictionary 'products' from config path /etc/clickhouse-server/products_dictionary.xml: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Not found: dictionary.structure.attribute.null_value, e.what() = Not found

<structure> <!-- Описание столбца, являющегося идентификатором (ключом) словаря. --> <key> <attribute> <name>container_id</name> <type>String</type> </attribute> <attribute> <name>region_id</name> <type>UInt16</type> </attribute> <attribute> <name>item_id</name> <type>String</type> </attribute> </key> <attribute> <name>price</name> <type>Float32</type> <null_value>0.0</null_value> </attribute> <attribute> <name>rating</name> <type>Float32</type> <null_value>0.0</null_value> </attribute> </structure>

ребят что может значит эта ошибка? может кто сталкивался Code: 173, e.displayText() = DB::Exception: Allocator: Cannot mmap., errno: 12, strerror: Cannot allocate memory, e.what() = DB::Exception делаю запрос около 15 группировок в таблицу 22 млн записей. неужели памяти оперативной не хватате ?

именно

нихрена се.. прожорвилвый кх

Уважаемые разработчики, есть инфа по поводу старого и грустного бага? https://github.com/yandex/ClickHouse/issues/127

очень хочется MATERIALIZED VIEW с подзапросами и join'ами

сдох после запроса сервер) капец

наверное из-за опции у сервера на кол. выделяемой оперативной памяти - там значение превышает количество установленной на сервере памяти и поэтому жрет все а потом unix начинает килять процессы и падает сервер

<structure> <!-- Описание столбца, являющегося идентификатором (ключом) словаря. --> <key> <attribute> <name>container_id</name> <type>String</type> </attribute> <attribute> <name>region_id</name> <type>UInt16</type> </attribute> <attribute> <name>item_id</name> <type>String</type> </attribute> </key> <attribute> <name>price</name> <type>Float32</type> <null_value>0.0</null_value> </attribute> <attribute> <name>rating</name> <type>Float32</type> <null_value>0.0</null_value> </attribute> </structure>

А если попробовать <null_value>0</null_value> ?

ага, в атрибуты ключа тоже указывал

В ключ не надо, там null не может быть

заработало. my bad

почему в ключе не может быть null?

Ну, это идеологически не правильно ) И насколько я понял Алексея, не поддерживается сейчас

У меня тоже CH постоянно умирает: clickhouse-server(47269,0x700008df2000) malloc: *** error for object 0x140775000: pointer being realloc'd was not allocated *** set a breakpoint in malloc_error_break to debug 2017.04.14 19:03:09.694920 [ 5 ] <Error> BaseDaemon: ######################################## 2017.04.14 19:03:09.694945 [ 5 ] <Error> BaseDaemon: (from thread 4) Received signal Abort trap: 6 (6). 2017.04.14 19:03:09.755499 [ 5 ] <Error> BaseDaemon: 1. 1 libsystem_kernel.dylib 0x00007fffc3952dda __pthread_kill + 10 2017.04.14 19:03:09.755526 [ 5 ] <Error> BaseDaemon: 2. 2 clickhouse-server 0x000000010f44cf20 _ZN4Poco10ThreadImpl13runnableEntryEPv + 96 2017.04.14 19:03:09.755533 [ 5 ] <Error> BaseDaemon: 3. 3 libsystem_pthread.dylib 0x00007fffc3a3aabb _pthread_body + 180 2017.04.14 19:03:09.755540 [ 5 ] <Error> BaseDaemon: 4. 4 libsystem_pthread.dylib 0x00007fffc3a3aa07 _pthread_body + 0 2017.04.14 19:03:09.755546 [ 5 ] <Error> BaseDaemon: 5. 5 libsystem_pthread.dylib 0x00007fffc3a3a231 thread_start + 13

Подскажите про формат RowBinary (а то в доке про него написано мало, а хочется поиспользовать). Как должен выглядить POST-запрос, который вставляет данные в таком формате? Например, обычный запрос можно сгенерить строкой echo "('b', 1, 2)" | POST '127.0.0.1:8123/?query=INSERT INTO t VALUES' (и он будет выглядеть так https://pastebin.com/zNJjgggy), а я хочу послать запрос "INSERT INTO t VALUES FORMAT RowBinary", но не понимаю, как передавать значения. Или может где-нибудь уже написано про это более подробно?

Подскажите про формат RowBinary (а то в доке про него написано мало, а хочется поиспользовать). Как должен выглядить POST-запрос, который вставляет данные в таком формате? Например, обычный запрос можно сгенерить строкой echo "('b', 1, 2)" | POST '127.0.0.1:8123/?query=INSERT INTO t VALUES' (и он будет выглядеть так https://pastebin.com/zNJjgggy), а я хочу послать запрос "INSERT INTO t VALUES FORMAT RowBinary", но не понимаю, как передавать значения. Или может где-нибудь уже написано про это более подробно?

https://github.com/artpaul/clickhouse-cpp https://github.com/hatarist/clickhouse-cli/blob/binary/clickhouse_cli/clickhouse/binary.py

Ребят, у кого по памяти помирает. Поставьте ограничение чуть меньше доступной памяти на сервере. Не насилуйте делезо/виртуалки. Если будет все равно мало, поставьте группировку во внешней памяти.

Не CH виноват что у вас так много данных. ну или мало оперативы)))

Об этом же вчера было

https://github.com/yandex/clickhouse-presentations/tree/master/meetup5 и вот презентация, вроде

Небольшая идейка

в CH есть функции IPv4NumToString(num), IPv4StringToNum(s)

для преобразования IPv4 в UInt32

Также полезными будут функции для преобразования MAC'ов

MACNumToString и MACStringToNum

MAC в UInt64

насколько сложно их реализовать?

не сложно можно исходники ipv4/uuid посмотреть

да верю, что не очень сложно :)

плюсы последний раз серьезно теребил лет 15 назад :)

@dudy_dud , ограничение не помогает (лимит установлен меньше в 2 раза от доступной памяти). Сейчас ситуация такая, что сервер упал и при попытке его запустить падает через несколько секунд

@dudy_dud , ограничение не помогает (лимит установлен меньше в 2 раза от доступной памяти). Сейчас ситуация такая, что сервер упал и при попытке его запустить падает через несколько секунд

С какой ошибкой падает? Сколько памяти на сервере? Что то ещё на сервере работает? Покажите вывод free -m

На машие: 16 GB PhysMem: 3800M used (1249M wired), 12G unused. VM: 599G vsize, 612M framework vsize, 0(0) swapins, 0(0) swapouts.

Никаких других БД не запущено

Ограничение поставил в 4GB

На машие: 16 GB PhysMem: 3800M used (1249M wired), 12G unused. VM: 599G vsize, 612M framework vsize, 0(0) swapins, 0(0) swapouts.

Мы серьёзно не работали с ClickHouse под Mac. Могут быть проблемы из-за линковки с аллокатором. Должен линковаться tcmalloc, но судя по выводу, используется системный.

При сборке наблюдаю еще вот такое: In file included from /Users/user/develop/dni/ClickHouse/libs/libcommon/src/apple_rt.cpp:12: /usr/include/time.h:171:3: error: typedef redefinition with different types ('enum clockid_t' vs 'int') } clockid_t; ^ /Users/user/develop/dni/ClickHouse/libs/libcommon/include/common/apple_rt.h:26:13: note: previous definition is here typedef int clockid_t; ^ In file included from /Users/user/develop/dni/ClickHouse/libs/libcommon/src/apple_rt.cpp:12: /usr/include/time.h:177:5: error: declaration of 'clock_gettime' has a different language linkage int clock_gettime(clockid_t __clock_id, struct timespec *__tp); ^ /Users/user/develop/dni/ClickHouse/libs/libcommon/include/common/apple_rt.h:27:5: note: previous declaration is here int clock_gettime(int clk_id, struct timespec* t); ^

После обновления Xcode

MacOS Sierra (10.12)

Xcode (8.3.1)

Люди, а можете сказать чем пользуетесь UInt или Int и почему )))

Все презентации со вчерашнего митапа в одном архиве: https://yadi.sk/d/DVBMpnrT3GvnXp

Люди, а можете сказать чем пользуетесь UInt или Int и почему )))

Мы используем и то, и другое, где надо.

Если я правильно понял, int занимает меньше места? где может пригодиться uint?

При сборке наблюдаю еще вот такое: In file included from /Users/user/develop/dni/ClickHouse/libs/libcommon/src/apple_rt.cpp:12: /usr/include/time.h:171:3: error: typedef redefinition with different types ('enum clockid_t' vs 'int') } clockid_t; ^ /Users/user/develop/dni/ClickHouse/libs/libcommon/include/common/apple_rt.h:26:13: note: previous definition is here typedef int clockid_t; ^ In file included from /Users/user/develop/dni/ClickHouse/libs/libcommon/src/apple_rt.cpp:12: /usr/include/time.h:177:5: error: declaration of 'clock_gettime' has a different language linkage int clock_gettime(clockid_t __clock_id, struct timespec *__tp); ^ /Users/user/develop/dni/ClickHouse/libs/libcommon/include/common/apple_rt.h:27:5: note: previous declaration is here int clock_gettime(int clk_id, struct timespec* t); ^

На разных версиях Mac OS, системные заголовочные файлы иногда содержат, а иногда не содержат нужные типы. Поэтому, в репозитории есть файл apple_rt.h с недостающими. Но ifdef-ы могут учитывать не все версии, и их надо поправить.

Если я правильно понял, int занимает меньше места? где может пригодиться uint?

Там где знак не нужен )