когда вкомпиливает себе V8 на CPP

наверное мне надо тоже :)

А ldd на постгресовый сервер что говорит?

да, проблема была в этом. Теперь вот :) ERROR: could not load library "/home/x4m/project/lib/postgresql/clickhouse_fdw.so": /home/x4m/project/lib/postgresql/clickhouse_fdw.so: undefined symbol: _ZTIN4Poco9ExceptionE

но тут уже понятно чего ему не хватает :)

Привет всем, такая проблема при запуске сервера Start clickhouse-server service: Cannot obtain value of path from config file: /etc/clickhouse-server/config.xml. В чем косяк?

конфиг есть и путь в нем тоже

навскидку - с правами доступа у файла все в порядке, пользователь, от которого запускается кх, может его прочесть?

Вроде все в прорядке с доступом должно быть

https://github.com/yandex/ClickHouse/blob/master/debian/clickhouse-server.init#L99-L103 опции с путем для хранения данных вроде не хватает

<!-- Path to data directory, with trailing slash. --> <path>/var/lib/clickhouse/</path>

В конфиге он есть, с офф гита взял конфиг

Всем привет! Какие лучшие практики в использовании определения тамйзон в кликхаусе? Вижу как вариант использовать (из комментов А. Миловидова) toDateTime(toString(datetime, 'US/Samoa')), но в этом случае, стоит ли поле datetime добавлять в индекс?

Без ICU не собирается /home/x4m/clickhouse/dbms/src/Common/Collator.cpp:12:36: error: unknown option after ‘#pragma GCC diagnostic’ kind [-Werror=pragmas] #pragma GCC diagnostic ignored "-Wunused-private-field" С ICU не работает моё расширение :) undefined symbol: uiter_setUTF8_55

Наверное я иду не тем путём ;)

Всем привет! Какие лучшие практики в использовании определения тамйзон в кликхаусе? Вижу как вариант использовать (из комментов А. Миловидова) toDateTime(toString(datetime, 'US/Samoa')), но в этом случае, стоит ли поле datetime добавлять в индекс?

вот тут хорошо про индексы написано

Привет! В кликхаусе есть функции max/min для массивов?

Не агрегатые

maxArray/minArray

Это агрегатные arrayMin, arrayMax кажется нет Есть arraySort(arr)[1], arrayReverseSort(arr)[1]

О! Спасибо!

Может тоже какой нибудь выкрутас найдется? Хочется в арегатной функции использовать параметр от лямбды. Что-то вроде arrayMap(x -> maxIf(x = key, value), range(100)) Но на такую штуку ругается DB::Exception: Unknown identifier: x Очень не хочется руками все возможные значения key перечислять.

Что значит подобное ругательство в логе? Written 686516 elements of column date, but 686517 rows of PK columns

постоянно повторяется

Запрос выполняется на клиенте но, табих пишет error есть у табикса дебагер какой нить? )

В консоли хрома и в network какие сообщения?

Если пишу select count() from T --все работает

если select count() ,C1 from T group by C1 --error

если select count() ,C1 from T group by C1 --error

попробуйте проверить отправляемые запросы в "панель разработчика", вкладка network

попробуйте проверить отправляемые запросы в "панель разработчика", вкладка network

тут http://myscreenshot.info/i/0007/505371501064589774571429723298.html

не совсем вас понял. Табикс, как и графана, отправляют запросы в КХ по Http. И если что-то работает не так - лучше сразу проверить network вкладку, где будет отправляемый запрос и ответ на него

здесь https://developer.chrome.com/devtools/images/network-panel.png

Открываешь эту панель, потом отправляешь запрос. Сначала наверное лучше глянуть в Console, если там ничего интересного то Network

Всем привет, никто с таким не сталкивался? Code: 999. DB::Exception: Received from localhost:9000, 127.0.0.1. zkutil::KeeperException. zkutil::KeeperException: operation timeout, path: /clickhouse/tables/shard_1/events_local/temp/abandonable_lock-. Пытаюсь перелить данные из одной таблички в другу - порядка 500 млн строк. Переливаю в distributed, с помощью insert into .. select bla from;

Запрос выполняется на клиенте но, табих пишет error есть у табикса дебагер какой нить? )

В консоле появится пункт - Execute Query http://take.ms/l0amk Там будет написан отправленный запрос

В консоле появится пункт - Execute Query http://take.ms/l0amk Там будет написан отправленный запрос

Failed to load resource: net::ERR_RESPONSE_HEADERS_TOO_BIG

Failed to load resource: net::ERR_RESPONSE_HEADERS_TOO_BIG

Странно, запрос должен вернуть 400 строк

Никто случайно не находил встроенной секретной функции, которая вытаскивает информацию о браузере из строки userAgent? По идее очень нужная и для Я.Метрики штука )

думаю, что это через словари работает )

Никто случайно не находил встроенной секретной функции, которая вытаскивает информацию о браузере из строки userAgent? По идее очень нужная и для Я.Метрики штука )

http://www.uaparser.org/

я умею парсить строку, я даже представляю как это неудобно написать в запросе КХ. Но судя по специфике КХ я подумал что может быть что-то встроенное. Типа функции которая возвращает тип браузера и версию

думаю, что это через словари работает )

да там многовато значений уникальных и постоянно новые версии выходят

Всем привет, какой тип инстанса наиболее предпочтителен для CH в EC2?

Memory Optimized or Compute Optimized etc...

Насколько читал, EBS лучше не использовать

верно?

теперь линкуется, но ещё не работает :) postgres=# create extension clickhouse_fdw; ERROR: could not load library "/home/x4m/project/lib/postgresql/clickhouse_fdw.so": /home/x4m/project/lib/postgresql/clickhouse_fdw.so: undefined symbol: _ZTVN10__cxxabiv117__class_type_infoE Я так понимаю, нужно ещё прилинковать что-то из библиотек КликХауса?

а чем именно .so собирается? если через cmake - target_link_libraries(your_so_lib dbms) - должно само притянуть все необходимые зависимости для dmbs

Данные около 2ТБ

R4? I3? D2?

Мы пока i3 используем

диск быстрый

без EBS?

Может кто видит где я затупил? Получаю такое на сервере 2017.07.26 14:41:13.681603 [ 85 ] <Error> executeQuery: Code: 130, e.displayText() = DB::Exception: Cannot read array from text: (at row 1) Could not print diagnostic info because parsing of data hasn't started.

без

код такой ... st.setArray(6, tagNames); st.setArray(7, tagValues); st.addBatch()

ок, спасибо)

начнем пробывать с него

tagNames и tagValues это ArrayList<Int>

а чем именно .so собирается? если через cmake - target_link_libraries(your_so_lib dbms) - должно само притянуть все необходимые зависимости для dmbs

я с .a линкуюсь вот такой наркоманией: SHLIB_LINK += $(shell find /home/x4m/clickhouse/build/ -type f -name '*.a'|tac) -lstdc++ $(shell pkg-config --libs --cflags icu-uc icu-io) -lanl $(shell find /home/x4m/clickhouse/build/ -type f -name '*.a'|tac) В итоге всё в PIC, без ICU, но вроде как вызывается. Причём там в скрипте линкуется всё два раза и именно в обратном порядке :

Если есть идеи как сделать менее наркоманско - было бы круто :)

может вообще не с а надо было

почему не cmake ?

ERROR: S client not available

так собирается расширение для постгреса, мне проще было взять готовую сборку extension`а

https://github.com/x4m/clickhouse_fdw/blob/master/Makefile

можно в корне clickhouse сделать директорию private, положить туда свои исходники и CMakeLists.txt и оно автоматически подхватится

о, круто

какраз хотел чёнить такой попросить

ну вот тут выбор, к чему проще будет присоединить

а мне всё равно надо интерфейсные функции в CH вкомпилить

у постгреса в том Makefile много всего

там и регрессионые тесты и установка сразу куда надо

можно найти что линкуется через add_executable target_link_libraries(... dbms) , запустить make VERBOSE=1 и подглядеть как именно dbms.a прилинкуется и с чем, но список этот зависит от опций сборки clickhouse

А когда идут повторяющиеся запросы, результат котого помещается в оперативной памяти, данные хранятся в каком виде? Разжатом? Или как на диске и по требованию разжимаются на лету?

А когда идут повторяющиеся запросы, результат котого помещается в оперативной памяти, данные хранятся в каком виде? Разжатом? Или как на диске и по требованию разжимаются на лету?

в кеше OS в сжатом виде.

в jdbc драйвере вроде баг с сериализацией массивов целых чисел вместо [1,2,3] сериализует как ['1','2','3'] и поэтому КХ кидает 2017.07.26 14:41:13.681603 [ 85 ] <Error> executeQuery: Code: 130, e.displayText() = DB::Exception: Cannot read array from text: (at row 1) Could not print diagnostic info because parsing of data hasn't started.

сериализую сам без клвычек и все заработало

Всем привет, смотрите я так понимаю для улучшения производитльности, нужно использовать Buffer, который будет потихонбку скидывать в другой тип?

Коллеги,есть ли какие-то бенчмарки MAPD vs Clickhouse ?

Всем привет, смотрите я так понимаю для улучшения производитльности, нужно использовать Buffer, который будет потихонбку скидывать в другой тип?

Либо буферизировать на стороне приложения. Для CLickhouse лучше один большой insert чем много мелких

Коллеги,есть ли какие-то бенчмарки MAPD vs Clickhouse ?

есть вот такой блог http://tech.marksblogg.com/benchmarks.html

Мне кажется этот тест не очень честный

Сори за дубль Всем привет, никто с таким не сталкивался? Code: 999. DB::Exception: Received from localhost:9000, 127.0.0.1. zkutil::KeeperException. zkutil::KeeperException: operation timeout, path: /clickhouse/tables/shard_1/events_local/temp/abandonable_lock-.

Вставляю 1 лярд записей, скорость вставки 1 лям в сек, это норма?

SELECT dictGetString('my_dict', 'name', 1); DB::Exception: Illegal type UInt8 of third argument of function dictGetString, must be UInt64 or tuple(...).. как в запросе указать что число - UInt64?

SELECT dictGetString('my_dict', 'name', CAST(1 as UInt64));

SELECT dictGetString('my_dict', 'name', toUInt64(1));

благодарю?

Спасибо за линк о mapd. Кто нибуль лично игрался с mapd community? :)

Мне кажется этот тест не очень честный

почему? чисто из за того что разные машины?

Вставляю 1 лярд записей, скорость вставки 1 лям в сек, это норма?

Да https://clickhouse.yandex/docs/ru/operations/settings/settings.html#max-insert-block-size. Возможно в вашем случае нужно увеличить этот параметр до 100кк. Тогда блоков будет не 1000, а 100

Я через клиент ставляю

А при использовании clickhouse-client, клиент сам парсит данные, и настройка max_insert_block_size на сервере не влияет на размер вставляемых блоков