а зукипер к такому количеству серверов особенный какой-то нужен, тоже большой?)

Нет, хватает обычного, на три сервера. Причём, он обслуживает в сумме много кластеров - где-то около 600 серверов. В ZK где-то в районе 10 млн. нод получается. Какая-то настройка ZK нужна (и какие-то специальные параметры запуска Java, но я их не помню).

а есть планы на spil to disk? чтобы медленно но не OOM

Для GROUP BY уже есть приличный spill to disk - см. max_bytes_before_external_group_by в документации. Также есть для ORDER BY (работает слегка медленнее, чем мог бы). А для JOIN, IN, DISTINCT - нет.

а почему некоторые теги в репозитории имеют названия типа v1.1.4?)

Добрый день, подскажите почему у меня файлики с uint8 занимают в десятки раз больше места, чем date, datetime? Я думал они должны быть соизмеримы. MergeTree таблица

скорее всего потому, что в uint8 много уникальных значений и они хуже сжимаются

обновил формулу для homebrew, кто-нибудь может потестить у себя? на 10.11.6 у меня норм собирается https://github.com/hatarist/homebrew-clickhouse

Добрый день, не подскажите, как из DateTime вытащить только время? в toString нельзя указать формат, а алгоритм работы функции toHour, зависит от летнего/зимнего времени

а что значит только время? в каком формате?

:) SELECT now() AS dt, substring(toString(dt), 12, 8) FORMAT CSV "2017-02-01 14:17:04","14:17:04" а так в лоб не подойдет?

мне нужно сделать "периодический" фильтр, т.е. дата не важна, а важен временной период

а, не подойдет А toTime()?

какая была настройка чтобы читать несколько реплик на одном шарде при distributed table?

а, не подойдет А toTime()?

toTime, вроде как переводит на unix time, а дата остается

нашел. max_parallel_replicas

@milovidov_an Would you suggest a single beefy machine instead of a cluster of machines?

это вопрос не к разработчикам я думаю, это скорее архитектурный момент

распределенная установка дает много преимуеств, но при этом имеет кучу недостатков :)

мне нужно сделать "периодический" фильтр, т.е. дата не важна, а важен временной период

если дата не важка, но есть функции toHour/toMinute/toSecond, а также упомянутый выше toTime(). toTime переводит времена в к времени фиксированного дня, например SELECT arrayMap(x -> toTime(now() + (x * 900)), range(50)), что кажется тоже позволяет сделать нужный фильтр, хотя он и будет выглядеть не очевидно.

toHour возращает число взависимости от летнего/зимнего времени?

нашел. max_parallel_replicas

Есть подозрение, что если Distributed-таблица располагается на том же сервере, что и одна из входящих в нее реплик, то max_parallel_replicas игнорируется, происходит просто локальное чтение.

toHour возращает число взависимости от летнего/зимнего времени?

судя по SELECT count() AS hs, d FROM ( SELECT toHour(toDateTime((number * 3600) + 1800) AS dt) AS h, toDate(dt) AS d FROM system.numbers LIMIT 300000 ) GROUP BY d HAVING hs != 24 да.

обновил формулу для homebrew, кто-нибудь может потестить у себя? на 10.11.6 у меня норм собирается https://github.com/hatarist/homebrew-clickhouse

[100%] Built target analyze_result_of_query [100%] Linking CXX static library libclickhouse-server.a [100%] Built target clickhouse-server Scanning dependencies of target clickhouse [100%] Building CXX object dbms/src/Server/CMakeFiles/clickhouse.dir/main.cpp.o [100%] Linking CXX executable clickhouse [100%] Built target clickhouse Error: inreplace failed /private/tmp/clickhouse-20170201-72617-j0obe1/ClickHouse-1.1.54144-stable/dbms/src/Server/config.xml: expected replacement of "/var/lib/clickhouse/" with "/usr/local/var/clickhouse/"

блин, и правда. спасибо, исправил

Scanning dependencies of target clickhouse [100%] Building CXX object dbms/src/Server/CMakeFiles/clickhouse.dir/main.cpp.o [100%] Linking CXX executable clickhouse [100%] Built target clickhouse ==> Cleaning ==> Finishing up ln -s ../Cellar/clickhouse/1.1.54144/bin/clickhouse-client clickhouse-client ln -s ../Cellar/clickhouse/1.1.54144/bin/clickhouse-server clickhouse-server ==> Caveats The configuration files are available at: /usr/local/etc/clickhouse-client/ /usr/local/etc/clickhouse-server/ The database itself will store data at: /usr/local/var/clickhouse/ If you're going to run the server, make sure to increase maxfiles limit: https://github.com/yandex/ClickHouse/blob/master/MacOS.md ==> Summary ? /usr/local/Cellar/clickhouse/1.1.54144: 7 files, 55.3M, built in 12 minutes 33 seconds workers-MacBook-Pro:build user$

:)

уии, спасибо большое. у вас 10.12?

10.12.3 (16D32)

Вчера наконец было закоммичено изменение имени пользователя в пакете с metrika на clickhouse и пути с /opt/clickhouse на /var/lib/clickhouse . костыли для плавного перехода есть.

Господа, а как дебажить Code: 293, e.displayText() = DB::Exception: Cannot authenticate in MongoDB: server returned response for 'authenticate' command that has field 'ok' missing or having wrong value:

при том что логопас верный и это primary

а если попробовать с хоста напрямую через команду mongo --host .... всё пускает

@milovidov_an Would you suggest a single beefy machine instead of a cluster of machines?

Если в сумме по ресурсам (ядра, оперативка) машина такая же как кластер, то лучше одна толстая машина - так как работа по потокам распределяется более равномерно, и нет передачи данных между серверами.

Если в сумме по ресурсам (ядра, оперативка) машина такая же как кластер, то лучше одна толстая машина - так как работа по потокам распределяется более равномерно, и нет передачи данных между серверами.

Для очень толстых машин это может быть не так (например, может плохо масштабироваться из-за скорости оперативки и несколько машин будет лучше), но такие вряд ли получится достать.

toHour возращает число взависимости от летнего/зимнего времени?

toHour возвращает номер часа по "человеческому" времени. Например, если стрелки переводили назад, то в сутках в течение двух часов будет одно значение toHour.

Господа, а как дебажить Code: 293, e.displayText() = DB::Exception: Cannot authenticate in MongoDB: server returned response for 'authenticate' command that has field 'ok' missing or having wrong value:

Эта функциональность (работа с MongoDB со включенной аутентификацией) не тестировалась отдельно. Там обычная аутентификация или включено что-нибудь особенное?

в монге недавно аутенифтицикацию поменяли, там несколько ее типов

Эта функциональность (работа с MongoDB со включенной аутентификацией) не тестировалась отдельно. Там обычная аутентификация или включено что-нибудь особенное?

mongo -u user -p AAAA --authenticationDatabase admin dbname

на одном сервере работает на другом не работает.

разница в серверах в том что один находится на том же сервере где кликхаус а второй доступен по сети

Да, у нас только один тип поддерживается - тот, который самый старый.

Наверное, для второго сервера включается какая-то другая аутентификация.

можно новую монгу к нему принудить, но там немного магии

нужно находу откатить версию схемы аутентификации на старую и пересоздать юзера

если критично - могу дома найти свои мучения с монгой :)

Я совсем не разбираюсь в Монге, но может быть, можно поставить mongos на localhost, который уже смотрит куда надо.

в монге есть крутой новый драйвер для C++ 11

я им активно пользуюсь и впечатления - очень приятный, он точно умеет новый механизм аутентификации

ну и в отличие mongo-c... ну небо и земля в общем

https://mongodb.github.io/mongo-cxx-driver/mongocxx-v3/tutorial/

если критично - могу дома найти свои мучения с монгой :)

интересно да

Я совсем не разбираюсь в Монге, но может быть, можно поставить mongos на localhost, который уже смотрит куда надо.

это в случае действительно большой монги с шардингом. боюсь такая для мен ябудт оверкилом.

вариант с монгой в режиме только арбитр ща проверю. спасибо

в монге есть крутой новый драйвер для C++ 11

Тоже смотрел. Выглядит Ок. Правда так как достаточно много зависимостей, был только вариант его использовать под флагом сборки - то есть, пользователю понадобится собрать его отдельно по инструкции (с совпадающими опциями сборки, влияющими на ABI), а потом явно включать при сборке ClickHouse. А также был готовый драйвер из Poco. Крайне примитивный, рассчитанный под старую версию протокола. Зато доступен по-умолчанию при сборке, без флагов.

а почему некоторые теги в репозитории имеют названия типа v1.1.4?)

Эти теги созданы по ошибке.

если дата не важка, но есть функции toHour/toMinute/toSecond, а также упомянутый выше toTime(). toTime переводит времена в к времени фиксированного дня, например SELECT arrayMap(x -> toTime(now() + (x * 900)), range(50)), что кажется тоже позволяет сделать нужный фильтр, хотя он и будет выглядеть не очевидно.

посмотрел на toTime возвращает секунды, но со сдвигом на одни сутки, это будет для любых дат?

Вчера наконец было закоммичено изменение имени пользователя в пакете с metrika на clickhouse и пути с /opt/clickhouse на /var/lib/clickhouse . костыли для плавного перехода есть.

вот это бы в changelog )

всем привет. столкнулся с проблемой вставки. больше 10 метров не вставяет одной записью. eproydakov@eproydakov-HP-ZBook:~$ clickhouse-client —version ClickHouse client version 1.1.54134. Табличка :) create table test ( date Date, str1 String, str2 String, str3 String ) engine = MergeTree(date, (date, str1, str2), 16384); Генерилка данных. clang++ -std=c++11 dump.cpp -o gen dump.cpp ./gen 300000 data.txt Собственно сама вставлка из консоли. eproydakov@eproydakov-HP-ZBook:~/workspace$ curl 'http://localhost:8123/?query=INSERT%20INTO%20test%20(date,%20str1,%20str2,%20str3)%20VALUES' —data-binary "@./data.txt" Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected , before: 6, 'str1', 'str2', 'str290786'), (290787, 'str1', 'str2', 'str290787'), (290788, 'str1', 'str2', 'str290788'), (290789, 'str1', 'str2', 'str290789'), (290790, ': (at row 273087), e.what() = DB::Exception

пример идеального баг репорта 8)

Проблема в первой колонке - она типа Date, но в неё вставляются числа

мммм, офтопный вопрос, а что по поводу клиента для С++ 11/14/17?

так как первая колонка не в формате Date, парсер VALUES пытается распарсить число в виде sql-выражения, а он очень ограниченный

если хочется даты вставлять, лучше их писать в виде '2017-02-01'

мммм, офтопный вопрос, а что по поводу клиента для С++ 11/14/17?

Есть прототип клиента от https://github.com/artpaul/clickhouse-cpp Там далеко не всё поддерживается, это экспериментальная разработка.

о, классно! мне в принципе требуется для начала просто загрузка данных в больших батчах

совсем-совсем в идеале со сжатием

так как первая колонка не в формате Date, парсер VALUES пытается распарсить число в виде sql-выражения, а он очень ограниченный

Date A date. Stored in two bytes as the number of days since 1970-01-01 (unsigned)

Вроде нормально вставлять числа, судя по доке

можно отключить парсинг выражений в VALUES настройкой input_format_values_interpret_expressions=false

тогда сразу упадёт

Дока скорее про то, как даты хранятся...

так если они хранятся как unsigned int и ты ему даешь unsigned int - в чем проблема?)

это выглядит дешевле чем передавать строчку чтобы парсер ее парсил в число

тем не менее парсинг из формата 'YYYY-MM-DD' будет эффективнее

и без багов :)

вопрос в преобразовании в этот текстовый формат, я думаю

все семейство функций конвертеров в текстовую дату очень тормозное и тащит за собой кучу snprintf* и прочей ереси

когда-то давно разрабатывал самопальное наколеночное и кривое поделение, которое принимало данные в capnp тупо в бинарном виде и почти сразу же заливало в нем же на диск

с точки зрения оверхеда и лишних перекодирований - было совершенно чудесное

вопрос в преобразовании в этот текстовый формат, я думаю

в этом случае наверное и sql не надо использовать, а заливать сразу бинарные данные.

вопрос в том, как их представлять для залива в чисто бинарных

"Native - The most efficient format. Data is written and read by blocks in binary format. For each block, the number of rows, number of columns, column names and types, and parts of columns in this block are recorded one after another. In other words, this format is "columnar" - it doesn't convert columns to rows. This is the format used in the native interface for interaction between servers, for using the command-line client, and for C++ clients."

хммм, слона и не заметил :/

еще RowBinary посмотри

Есть подозрение, что если Distributed-таблица располагается на том же сервере, что и одна из входящих в нее реплик, то max_parallel_replicas игнорируется, происходит просто локальное чтение.

походу дела правда. установим третий для тестов

Говорят, есть хак - задать "<default_database>default</default_database>" в remote_servers/replica_only/shard/replica. Тогда будет работать распределенно, но вроде только в БД default ходить.

тем не менее парсинг из формата 'YYYY-MM-DD' будет эффективнее

Как может быть эффективнее цепочка с лишней операцией? )

Попробуйте измерить. Ну или загляните в код: https://github.com/yandex/ClickHouse/blob/master/dbms/src/DataStreams/ValuesRowInputStream.cpp#L46

для пущей эффективности выше предлагали RowBinary - там действительно дата представляет из себя два байта, которые без лишнего парсинга скопируются прямо в значение

Привет! А как будет вести себя CollapsingMergeTree, если в составе первичного ключа будут колонки из nested поля?

Схлопывание будет происходить только при полном совпадении всего массива?

И есть ли функции для сравнения массивов? Что-то не нашёл в документации

Схлопывание будет происходить только при полном совпадении всего массива?

Да. На мой взгляд, массивы в первичном ключе - весьма громоздко. А с элементами Nested структур в первичном ключе мы не пробовали.

И есть ли функции для сравнения массивов? Что-то не нашёл в документации

Функций нет - недоработка.