в доках нет

какая сигнатура?

select x, uniqIf(y, y in (1,3)) as y1, uniqIf(y,y in (0,2)) from table group by x having y1=2 or y2=2

https://clickhouse.yandex/docs/en/agg_functions/combinators.html

о, понял логику

супер, спасибо

Это получилось по глупости, мы это отменим.

а когда, или в каком релизе этого не было?

https://github.com/yandex/ClickHouse/commit/6b17dbbe211b37f598816367b2d5c3e33929cee9 - там сверху список релизов.

поделитесь, плиз, статой - какой у вас средний батч получается при записи? (в мбайтах и строках)

Как скоро появиться changelog ?

поделитесь, плиз, статой - какой у вас средний батч получается при записи? (в мбайтах и строках)

Обычно 25к на поток, примерно 1-4 потока

Обычно 25к на поток, примерно 1-4 потока

а как часто поток пишет?

В режиме перезаливки всех данных - раз 5-7 секунд. А в обычном - фиг его, примерно раз в 30-60 секунд (так настроен таймер ожидания заполнения батча в 25к записей)

Как скоро появиться changelog ?

Наверное сегодня будет.

Надеюсь там что то будет связанное с обновлением и удалением

Сказали, что тормозит CH. Даже медленее mysql, говорят https://habrahabr.ru/post/346884/

https://github.com/yandex/ClickHouse/releases/v1.1.54337-stable was tagged

Сказали, что тормозит CH. Даже медленее mysql, говорят https://habrahabr.ru/post/346884/

ClickHouse не работает приемлимо ни в качестве Key-Value базы, ни в качестве движка для текстового поиска. То, что добавили в тест - это хорошо. Стоит уделять больше внимания тому факту, что для разных классов задач лучше подходят свои специализированные решения.

https://github.com/yandex/ClickHouse/releases/v1.1.54337-stable was tagged

Временно удалили использование systemd. (При желании можно включить вручную.)

Сказали, что тормозит CH. Даже медленее mysql, говорят https://habrahabr.ru/post/346884/

Они б ещё картинок в стринги насовали и удивлялись что плохо работает. *facepalm*

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

Подойдет ли мне clickhouse для такой вот db схемы https://github.com/dpiekacz/gixlg/blob/master/sql/gixlg.sql ? Там есть поле community` text NOT NULL, и neighbor` varchar(39) NOT NULL по ним ожидаются досточно часто запросы вида LIKE '%aaaa%'.

Спасибо еще раз за патч работы с systemd, контейнер с 1.1.54337 собрался без проблем

https://github.com/yandex/ClickHouse/blob/master/dbms/src/Core/Block.cpp#L146 Всем привет, вот тут есть искючение - throw Exception("Position " + toString(position) + " is out of bound in Block::safeGetByPosition(), max position = и оно у нас возникает, а раньше не возникал. Это с чем может быть связано? Где-то в настройках задается size_t position ?

Кластер состоит из 2 шардов по 2 реплики. Когда отрубаешь один шард, то такой ошибки нет. Запрос имеет конструкцию UNION ALL

Добрый день, может кто сталкивался с такой проблемой, пытаюсь настроить DSN для использования ODBC коннектора, но при создание вываливается такая ошибка

Не удается загрузить указанный драйвер из-за системной ошибки 126: Не найден указанный модуль. (ClickHouse ANSI, C:\Program Files\ClickHouse ODBC\clickhouseodbc.dll)

Во вкладке драйвера, Clickhouse ANSI и Clickhouse Unicode присутствуют

Всем привет, а есть аналог FOUND_ROWS(), когда надо получить кол-во записей без LIMIT ? Без второго запроса count(*)

а есть у best practice по хранению IPv6 ? в примерах FixedString(16), что как-то подзрительно на фоне того, что IPv4 хранится целоцисленным полем

а есть у best practice по хранению IPv6 ? в примерах FixedString(16), что как-то подзрительно на фоне того, что IPv4 хранится целоцисленным полем

А что подозрительного, если Int128 не существует?

А что подозрительного, если Int128 не существует?

подозрительно, потому что не удобно маски накладывать и все такое. бывает же во всяких mysql varbinary ну ок. будем страдать

Коллеги, подскажите куда посмотреть, валится сборка на линковке, центос 6 [ 67%] Building CXX object dbms/src/Common/ZooKeeper/tests/CMakeFiles/zkutil_test_commands.dir/zkutil_test_commands.cpp.o Scanning dependencies of target zkutil_test_async /usr/lib/../lib64/libssl.a(kssl.o): In function `kssl_validate_times': (.text+0x1fe): undefined reference to `krb5_init_context' /usr/lib/../lib64/libssl.a(kssl.o): In function `kssl_validate_times': (.text+0x22e): undefined reference to `krb5_rc_default' /usr/lib/../lib64/libssl.a(kssl.o): In function `kssl_validate_times':

При этом strings /usr/lib/../lib64/libssl.a | grep kssl_validate_times kssl_validate_times kssl_validate_times kssl_validate_times

krb5-devel или что-то похожее отсутствует, по-моему.

Там же сломанный pkgconfig не показывает krb в зависимости у openssl

Или просто отсутствие krb.a и придется собирать опенссл руками

Заранее извините, а как правильно переехать с движка SummingMergeTree на MergeTree? т.е. сейчас есть поле со счётчиком количества записей, требуется, видимо, сделать дубли. записей около 50млн.

а зачем дубли делать? значения счетчика же переедут как есть

задача как раз избавиться от счётчика, ибо в mergeTree он не используется

Кстати о счётчиках. Примерно как можно получить аналог графитовского nonNegativeDerivative для графаны?

то есть у вас строка в SummingMergeTree с счетчиком 47, и вы хотите в MergeTree сделать 47 таких строк?

да, в последствии значение в одном из полей будет различаться. сейчас оно "схлопывается" и не можем получать требуемые данные. с потерями до текущего момента готовы смириться, но надо как то движок сменить и дальше считать уже верно

ну тут парой запросов sql не обойдешься думаю, надо скриптик наваять

который выселекчивает строку из SummingMergeTree и делает n-ое колво инсертов в MergeTree

ну или дамп такой нагенерить, а потом просто вставить его

я думал может есть какой-то более правильный способ

самое главное во что выльется 50 млн, в 200 млн или 20 млрд =)

надеюсь в 20млрд - рост и развитие системы это всегда хорошо :) а по факту - значения счётчиков небольшие, столбцов в таблице крохи

Всем привет. Вопрос по median и quantile. Я сделал аггрегацию запросов по 15 минут, и в полях у меня хранятся median и quantile значения. По этим данным мне нужно еще раз сделать аггрегацию уже за день. Как в таком случае считать медиану медиан? Просто делать снова median значения которое уже и так медиана?

при некотроых предположениях это работать будет, но в общем случае можно придумать контрпример.

а как вообще можно выпилить логи в сислог? ?

Коллеги, я правильно понимаю, что колонка вида Array(Enum(...)) для хранения системных тегов - плохая идея, так как расширить количество тегов не получится? ALTER TABLE изменить описание Enum внутри Array не сможет? Или для запросов вида has() по очень маленьким массивам Array(String) и так работает быстро?

Всем привет. Вопрос по median и quantile. Я сделал аггрегацию запросов по 15 минут, и в полях у меня хранятся median и quantile значения. По этим данным мне нужно еще раз сделать аггрегацию уже за день. Как в таком случае считать медиану медиан? Просто делать снова median значения которое уже и так медиана?

Привет! с точки зрения мат.статистики это, скорее всего, не правильно. У нас есть подобная задача по квантилям, пока ничего лучше чем хранить данные в массиве не придумали и дальше quantileArray

Коллеги, подскажите что не так — пытаюсь импортить из kafka https://clickhouse.yandex/docs/ru/table_engines/kafka.html для теста взял таблицу из доки (`queue`, пока только эту), отправляю в топик {"timestamp": "2018-01-18 13:55:50", "message": "M5VYMOSLMLI6QBG1JM44QTG2GDV9RV1SJEKRTKEMEL", "level": "87”}, делаю селект SELECT * FROM queue LIMIT 5;, а в ответ получаю Received exception from server (version 1.1.54337): Code: 72. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Unsigned type must not contain '-' symbol: (at row 1)

Коллеги, а можно каким то другим способом добавить пользователей для работы с кликхаусом, кроме как добавления в файл users.xml ?

Коллеги, подскажите что не так — пытаюсь импортить из kafka https://clickhouse.yandex/docs/ru/table_engines/kafka.html для теста взял таблицу из доки (`queue`, пока только эту), отправляю в топик {"timestamp": "2018-01-18 13:55:50", "message": "M5VYMOSLMLI6QBG1JM44QTG2GDV9RV1SJEKRTKEMEL", "level": "87”}, делаю селект SELECT * FROM queue LIMIT 5;, а в ответ получаю Received exception from server (version 1.1.54337): Code: 72. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Unsigned type must not contain '-' symbol: (at row 1)

timestamp то в табличке КХ как Uint задан

вот он и не хочет принимать "2018-01-18 13:55:50" в качестве Uint-а

Привет! с точки зрения мат.статистики это, скорее всего, не правильно. У нас есть подобная задача по квантилям, пока ничего лучше чем хранить данные в массиве не придумали и дальше quantileArray

Спасибо. То-есть у вас есть поле где вы храните квартили 25, 50 и 75% например, потом делаете по групп бай, эти поля группируете groupArray и потом quantileArray по тому что вышло?

Спасибо. То-есть у вас есть поле где вы храните квартили 25, 50 и 75% например, потом делаете по групп бай, эти поля группируете groupArray и потом quantileArray по тому что вышло?

да, агрегируем за минуту в поле Array

далее при необходимости доагрегируем массивы groupArrayArray (если нужен интервал за 5 минут, например)

и в получившемся массиве quantileArray

вот он и не хочет принимать "2018-01-18 13:55:50" в качестве Uint-а

точно! пора передохнуть

Сказали, что тормозит CH. Даже медленее mysql, говорят https://habrahabr.ru/post/346884/

сделать еще одну in-memory много ума не надо. но вообще какой-то дохлый у них велосипед получился, в два раза обошли однопоточный редис на 8 ядрах? фу-фу-фу

Привет! У нас вот такой вопрос про кликхаус. Я хочу выполнить запрос INSERT INTO t(day, id, val) VALUES ('2017-01-01', 1, 1), ('2017-01-02', 2, 2), ('2017-01-03', 3, 3), .... ('2017-01-04', 4, 4), ('2017-01-05', 5, 5), ('2017-01-06', 6, 6); Может ли случиться так, что кликхаус половину строк вставит, а другую половину - нет, по любой причине? Или один запрос, если выполнился, то выполнился полностью?

Сказали, что тормозит CH. Даже медленее mysql, говорят https://habrahabr.ru/post/346884/

судя по тестам, они делали вставки одиночными запросами ... что как все тут знают, НЕ рекомендуется

Привет! У нас вот такой вопрос про кликхаус. Я хочу выполнить запрос INSERT INTO t(day, id, val) VALUES ('2017-01-01', 1, 1), ('2017-01-02', 2, 2), ('2017-01-03', 3, 3), .... ('2017-01-04', 4, 4), ('2017-01-05', 5, 5), ('2017-01-06', 6, 6); Может ли случиться так, что кликхаус половину строк вставит, а другую половину - нет, по любой причине? Или один запрос, если выполнился, то выполнился полностью?

Если запрос выполнился то данные вставятся. Если не выполнился или выполнился не до конца, то попасть может только часть данных. Зависит от кол-ва данных.

ок. То есть могут попасть не все данные, это я и хотел выяснить. Спасибо

Если ничего не менялось, то вставки размером до 1024 ^ 2 будут атомарны.

Если ничего не менялось, то вставки размером до 1024 ^ 2 будут атомарны.

1024^2 строк при любом количестве столбцов?

Привет всем! В качестве минуты рекламы: мы ищем в команду Яндекс.Метрики нового аналитика, которому предоставиться возможность подружиться с нашим кластером ClickHouse и искать ответы на все вопросы мироздания среди петабайтов данных. Посмотреть полное описание вакансии и отправить резюме можно тут - http://bit.ly/metrika_analyst_ch Если вы ждали удобного случая, чтобы попробоваться на вакансию в Яндекс, то это он :)

"залезай в метрикин кластер, синдзи"

официальная документация на сайте как часто обновляется?

Всем привет. Среди участников группы есть seo-специалисты?

Всем привет После обновления до последней версии (1.1.54337) в лог стали сыпаться ошибки Part 20180114_20180118_37045_37045_0 from own log doesn't exist. Возможно ли как то откатиться на предыдущую 1.1.54327 версию? В ней подобных ошибок не наблюдалось

Всем привет После обновления до последней версии (1.1.54337) в лог стали сыпаться ошибки Part 20180114_20180118_37045_37045_0 from own log doesn't exist. Возможно ли как то откатиться на предыдущую 1.1.54327 версию? В ней подобных ошибок не наблюдалось

Нет, мы не наблюдали такую проблему на новой версии. Откатиться можете.

Нет, мы не наблюдали такую проблему на новой версии. Откатиться можете.

а подскажите как это сделать? через apt-get вижу только последнюю версию

официальная документация на сайте как часто обновляется?

До сих пор было очень редко (месяцы - из-за изменений в инфраструктуре). Недавно обновили (пару дней назад) и сейчас будем стараться обновлять чаще. Ещё решаются некоторые проблемы (например, небольшая часть фрагментов оказалась без перевода).

а подскажите как это сделать? через apt-get вижу только последнюю версию

Старые пакеты удалились из репозитория. Сейчас соберём куда-нибудь.

Старые пакеты удалились из репозитория. Сейчас соберём куда-нибудь.

Благодарю, очень ждем

Сделайте на всякий случай grep по логу 20180114_20180118_37045_37045_0 и пришлите в личку.

также заметил, что на второй реплике сыпятся ошибки 2018.01.18 18:20:01.873380 [ 1 ] <Error> Application: DB::Exception: Cannot lock file /mnt/internal/clickhouse/status. Another server instance in same directory is already running. 2018.01.18 18:30:02.364973 [ 1 ] <Error> Application: DB::Exception: Cannot lock file /mnt/internal/clickhouse/status. Another server instance in same directory is already running. 2018.01.18 18:40:01.514314 [ 1 ] <Error> Application: DB::Exception: Cannot lock file /mnt/internal/clickhouse/status. Another server instance in same directory is already running. хотя при это сервер работает ubuntu@ip-172-31-2-168:~$ sudo service clickhouse-server status ● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data) Loaded: loaded (/etc/systemd/system/clickhouse-server.service; enabled; vendor preset: enabled) Active: active (running) since Thu 2018-01-18 16:22:51 UTC; 2h 29min ago

а что в логе?

> Another server instance in same directory is already running. Это значит, что пытается запуститься два инстанса сервера. Внутри есть защита и это не разрешается. Значит что-то неправильно с конфигурацией. А почему используется systemd?

@milovidov_an Нет ли информации по это проблеме?

@milovidov_an Нет ли информации по это проблеме?

Эта задача назначена, но по ней ещё не было работы.

Мы писали детали как воспроизведения если что

Детали есть.

этот и следуюший коммент

ок, спасибо.

В логе 2018.01.18 18:50:01.460840 [ 1 ] <Information> : Starting daemon with revision 54337 2018.01.18 18:50:01.466940 [ 1 ] <Information> Application: starting up 2018.01.18 18:50:01.524509 [ 1 ] <Trace> ZooKeeper: initialized, hosts: internal.zookeeper-1.xxx:2181,internal.zookeeper-3.xxx:2181,internal.zookeeper-2.xxx:2181 2018.01.18 18:50:01.524595 [ 1 ] <Information> StatusFile: Status file /mnt/internal/clickhouse/status already exists - unclean restart. Contents: PID: 3845 Started at: 2018-01-18 17:31:20 Revision: 54337 2018.01.18 18:50:01.524980 [ 1 ] <Error> Application: DB::Exception: Cannot lock file /mnt/internal/clickhouse/status. Another server instance in same directory is already running. 2018.01.18 18:50:01.524996 [ 1 ] <Information> Application: shutting down 2018.01.18 18:50:01.525004 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem 2018.01.18 18:50:01.525096 [ 1 ] <Information> ~ZooKeeper: Closing ZooKeeper session 2018.01.18 18:50:01.525196 [ 1 ] <Information> ~ZooKeeper: Removing 0 watches 2018.01.18 18:50:01.525226 [ 1 ] <Information> ~ZooKeeper: Removed watches 2018.01.18 18:50:01.525268 [ 2 ] <Information> BaseDaemon: Stop SignalListener thread

> Another server instance in same directory is already running. Это значит, что пытается запуститься два инстанса сервера. Внутри есть защита и это не разрешается. Значит что-то неправильно с конфигурацией. А почему используется systemd?

с момента установки (больше 1,5-2 месяцев назад) до настоящего времени просто обновлял пакеты, сам не трогал способ запуска

В логе 2018.01.18 18:50:01.460840 [ 1 ] <Information> : Starting daemon with revision 54337 2018.01.18 18:50:01.466940 [ 1 ] <Information> Application: starting up 2018.01.18 18:50:01.524509 [ 1 ] <Trace> ZooKeeper: initialized, hosts: internal.zookeeper-1.xxx:2181,internal.zookeeper-3.xxx:2181,internal.zookeeper-2.xxx:2181 2018.01.18 18:50:01.524595 [ 1 ] <Information> StatusFile: Status file /mnt/internal/clickhouse/status already exists - unclean restart. Contents: PID: 3845 Started at: 2018-01-18 17:31:20 Revision: 54337 2018.01.18 18:50:01.524980 [ 1 ] <Error> Application: DB::Exception: Cannot lock file /mnt/internal/clickhouse/status. Another server instance in same directory is already running. 2018.01.18 18:50:01.524996 [ 1 ] <Information> Application: shutting down 2018.01.18 18:50:01.525004 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem 2018.01.18 18:50:01.525096 [ 1 ] <Information> ~ZooKeeper: Closing ZooKeeper session 2018.01.18 18:50:01.525196 [ 1 ] <Information> ~ZooKeeper: Removing 0 watches 2018.01.18 18:50:01.525226 [ 1 ] <Information> ~ZooKeeper: Removed watches 2018.01.18 18:50:01.525268 [ 2 ] <Information> BaseDaemon: Stop SignalListener thread

Что-то неправильно запускается. Сейчас напишем, что сделать.