Функция позволяет преобразовать Nullable значение в не Nullable. Работает следующим образом: если значение не NULL, то возвращает его. Если значение NULL, то возвращает некоторый не специфицированный результат.

Функция позволяет преобразовать Nullable значение в не Nullable. Работает следующим образом: если значение не NULL, то возвращает его. Если значение NULL, то возвращает некоторый не специфицированный результат.

Спасибо, но мне же это не позволит засунуть Null в числовой тип?

Попробуйте toInt64OrZero от Nullable строки. Эта функция должна вернуть NULL, если аргумент NULL (и ноль, если аргумент не NULL, но не парсится как число).

Попробуйте toInt64OrZero от Nullable строки. Эта функция должна вернуть NULL, если аргумент NULL (и ноль, если аргумент не NULL, но не парсится как число).

Спасибо, кажется работает, не мог подумать что эта функция может не преобразовывать NUll. Ранее я тут спрашивал но повторюсь, вдруг тоже поможете - если у меня есть строки типа string и внутри как цифры так и нули, я бы хотел их агрегировать sum() и что бы при попадении NULL - результатом агрегации был бы NULL

так я получаю: DB::Exception: Illegal type Int64 of argument of function toInt64OrZero. Only String argument is accepted for try-conversion function. For other arguments, use function without 'try'.

Сейчас все агрегатные функции возвращают не NULL, агрегируя только не NULL-значения.

это я уже понял, но в рамках полной поддержки NULL - это не планируется? к великому сожелнию вынужден работать с такой структурой данных =(

Можно какой-нибудь комбинатор реализовать. Например, -OrNull: sumOrNull и т. п.

вот это было бы очень круто тк статистика которую я обрабатываю часто имеет NULL значения а конечный KPI имеет смысл только если все счетчики включенные в расчет не имеют NULL в заданном промежутке времени

Маленькая просьба. https://news.ycombinator.com/newest Надо на этой странице найти нашу статью "Evolution of Data Structures in Yandex.Metrica" и нажать слева треугольник "вверх". Перед этим придётся зарегистрироваться. Но не стоит беспокоиться - на этом сайта самая лучшая регистрация из всех, что я видел :)

Маленькая просьба. https://news.ycombinator.com/newest Надо на этой странице найти нашу статью "Evolution of Data Structures in Yandex.Metrica" и нажать слева треугольник "вверх". Перед этим придётся зарегистрироваться. Но не стоит беспокоиться - на этом сайта самая лучшая регистрация из всех, что я видел :)

done

To the moon ?

там, кстати, довольно суровая защита от накруток, в том числе и от накруток через чатики :)

подскажите, пожалуйста, что может быть не так: есть распределенная таблица CREATE TABLE postgres.user_subscribes_new ( site String, ctime DateTime DEFAULT now(), blog_id UInt32, post_id Nullable(UInt32), user_id UInt64, event UInt8, chour DateTime MATERIALIZED toStartOfHour(ctime), cdate Date MATERIALIZED toDate(ctime)) ENGINE = Distributed(sports, \'local\', \'user_subscribes_new\', blog_id) есть локальные таблицы на 6 шардах (3x2): CREATE TABLE local.user_subscribes_new ( site String, ctime DateTime DEFAULT now(), blog_id UInt32, post_id Nullable(UInt32), user_id UInt64, event UInt8, chour DateTime DEFAULT toStartOfHour(ctime), cdate Date DEFAULT toDate(ctime)) ENGINE = ReplicatedMergeTree(\'/clickhouse/tables/{shard}/subscribes\', \'{replica}\', cdate, (site, blog_id, event, chour, cdate), 8192) вставляю в рапсределенную три раза: INSERT INTO postgres.user_subscribes_new( site, blog_id, user_id, event, ctime, post_id ) VALUES ('RU', 43590, 23607725, 1, 1, 1406479) в таблице видна только одна запись, независимо от того, соклько было инсертов. куда посмотреть?

это случаем не "дедупликация данных"?

Блоки данных дедуплицируются. При многократной записи одного и того же блока данных (блоков данных одинакового размера, содержащих одни и те же строчки в одном и том же порядке), блок будет записан только один раз. Это сделано для того, чтобы в случае сбоя в сети, когда клиентское приложение не может понять, были ли данные записаны в БД, можно было просто повторить запрос INSERT. При этом не имеет значения, на какую реплику будут отправлены INSERT-ы с одинаковыми данными. То есть, обеспечивается идемпотентность INSERT-ов. Это работает только для последних 100 вставленных в таблицу блоков.

блин, дедупликация, точно. я дошел к этому от другой проблемы, а про дедупликацию в mergetree забыл совершенно

это имею ввиду

ага, понял. спасибо, вылетело из головы.

сейчас осталось понять, решил ли я изначальную проблему )

Господа привет! меня интересует то, как вставлять rowdata? вернее как их представлять. в документации это не сказано.

Господа привет! меня интересует то, как вставлять rowdata? вернее как их представлять. в документации это не сказано.

а как выглядит ваша rawdata?

сейчас я тестирую, поэтому допустим json бы выглядел так {"date": "01-02-2017", "name": "Marat}

сейчас я тестирую, поэтому допустим json бы выглядел так {"date": "01-02-2017", "name": "Marat}

INSERT INTO table.name FORMAT JSONEachRow подойдет?

конечно так подойдет, просто мне интересна именно работа с бинарными данными. Т.к. хочу попробовать сделать все из эрланга, а он с бинарными данными отлично работает

Для меня это ПОКА вопрос любопытства, и если я не получу ответ на него, ничего критического не произойдет;)

конечно так подойдет, просто мне интересна именно работа с бинарными данными. Т.к. хочу попробовать сделать все из эрланга, а он с бинарными данными отлично работает

мы обычным lhttpc клиентом ходим к кликхаусу

Господа ) Что-то мы давно не собирались)

Думаю, можем на Кипре место предоставить, если вдруг кому интересно )

конечно так подойдет, просто мне интересна именно работа с бинарными данными. Т.к. хочу попробовать сделать все из эрланга, а он с бинарными данными отлично работает

https://clickhouse.yandex/docs/en/formats/rowbinary.html

Господа привет! меня интересует то, как вставлять rowdata? вернее как их представлять. в документации это не сказано.

Вроде ж сказано все

Всем доброго врменеи суток. Подскажите, как вставить в поле NULL, желательно в TabSeparated или RowBinary формате. В доке не нашёл.

Маленькая просьба. https://news.ycombinator.com/newest Надо на этой странице найти нашу статью "Evolution of Data Structures in Yandex.Metrica" и нажать слева треугольник "вверх". Перед этим придётся зарегистрироваться. Но не стоит беспокоиться - на этом сайта самая лучшая регистрация из всех, что я видел :)

А прямой ссылки нет? Уже не могу найти на первых 4х страницах

А прямой ссылки нет? Уже не могу найти на первых 4х страницах

https://news.ycombinator.com/item?id=15277451

done

Всем доброго врменеи суток. Подскажите, как вставить в поле NULL, желательно в TabSeparated или RowBinary формате. В доке не нашёл.

в TabSeparated – \N

подскажите, кто как бекапит кх

нашел вот такое https://github.com/resure/scpnet/wiki/ClickHouse-backup

есть какое-то более цельное решение?

есть какое-то более цельное решение?

да ALTER TABLE FREEZE PARTITION и rsyncom забирать папку КХ

Всем доброго врменеи суток. Подскажите, как вставить в поле NULL, желательно в TabSeparated или RowBinary формате. В доке не нашёл.

В RowBinary - просто бинарная единица. Это флаг того, что значение NULL. Если это флаг нулевой, то после него идет само значние. Пример: echo -ne "\x01\x00\xFF" | clickhouse-local --structure "i Nullable(UInt8)" --input-format RowBinary --query "SELECT * FROM table" 2>/dev/null

ребят кто-нибудь сталкивался с тем что после перезапуска кликхауса он не отвечает ни на какие запросы и подключения, а в логах пишет что удаляет что-то постоянно

2017.09.19 13:51:01.567860 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428120_3428120_0 2017.09.19 13:51:01.573137 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428121_3428121_0 2017.09.19 13:51:01.574949 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428122_3428122_0 2017.09.19 13:51:01.576726 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428123_3428123_0 2017.09.19 13:51:01.578542 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428124_3428124_0 2017.09.19 13:51:01.580526 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428125_3428125_0 2017.09.19 13:51:01.582195 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428126_3428126_0 2017.09.19 13:51:01.583956 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428127_3428127_0 2017.09.19 13:51:01.585541 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428128_3428128_0 2017.09.19 13:51:01.587274 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428129_3428129_0

Как-то так в логах

Просто даже не знаю что делать

2017.09.19 13:51:01.567860 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428120_3428120_0 2017.09.19 13:51:01.573137 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428121_3428121_0 2017.09.19 13:51:01.574949 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428122_3428122_0 2017.09.19 13:51:01.576726 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428123_3428123_0 2017.09.19 13:51:01.578542 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428124_3428124_0 2017.09.19 13:51:01.580526 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428125_3428125_0 2017.09.19 13:51:01.582195 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428126_3428126_0 2017.09.19 13:51:01.583956 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428127_3428127_0 2017.09.19 13:51:01.585541 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428128_3428128_0 2017.09.19 13:51:01.587274 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428129_3428129_0

Такое у меня было, когда я насоздавайл много (больше 2к) мелких таблиц и заливал туда данные малыми пачками (<1к). Минут через 10-20 оно пишет подобное в лог и запускается

Ну у нас одна большая таблица и где-то 6 мелких. Т.е. немного не та ситуация. единственное что перед перезапуском был дроп большой базы. Может быть в этом проблема?

Оно просто чистит перед запуском?

Ну у нас одна большая таблица и где-то 6 мелких. Т.е. немного не та ситуация. единственное что перед перезапуском был дроп большой базы. Может быть в этом проблема?

При дропе данные сразу не удаляются. Так что в вашем случае всё нормально, это идёт непосредственное удаление. В недавних релизах добавили опцию в конфиг, что можно заблокировать таблицу на удаление, если в ней больше указаного кол-ва строк

Спасибо боьлшое :)

Всем привет! А есть ли либы для CH, которые могут общаться с сервером по https искаропки?

попробовал либу от mail.ru - не хочет https ?

а что за либа от mail.ru?

и для какого она языка?

ой, Go =)

https://github.com/mailru/go-clickhouse

вот эта

сейчас мучаю https://github.com/roistat/go-clickhouse вроде https появился в ней

есть два протокола http и native https это только если перед clickhouse стоит nginx

именно так и стоит по соображениям безопасности

roistat вроде https умеет, сейчас попробую подсунуть нужные хидеры авторизации OAUTH

> https это только если перед clickhouse стоит nginx Необязательно - см. настройку https_port в конфиге.

> https это только если перед clickhouse стоит nginx Необязательно - см. настройку https_port в конфиге.

опа =) спасибо

ну вот я бы попытался сначала уменьшить размер вставки

у вас, похоже, питон падает. Не кликхауз

ладно, попробую поменьше кусками, спасибо

Ребят, чет туплю, подскажите пожалуйста есть ли способ через jdbc используя RowBinaryStream инсертить null значения?

if (string == null) { stream.writeInt8(1); } else { stream.writeInt8(0); stream.writeString(string); }

судя по трейсу вы делаете копию данных, храните в памяти две копии одних и тех же данных. Да, стоит уменьшить на порядки размер файлов, либо загружать через clickhouse-client. Из привычного вам Jupyter это можно сделать через ! в начале ячейки

if (string == null) { stream.writeInt8(1); } else { stream.writeInt8(0); stream.writeString(string); }

Спасибо!

А что в логах кликхауса?

судя по трейсу вы делаете копию данных, храните в памяти две копии одних и тех же данных. Да, стоит уменьшить на порядки размер файлов, либо загружать через clickhouse-client. Из привычного вам Jupyter это можно сделать через ! в начале ячейки

о спасибо, хороший совет.

угу, roistat заработал как требуется

Добрый день! Скажите пожалуйста, в чем может быть причина в том, что не происходит заполнение материализированного представления? В docker версии происходит, в нативной установке под ubuntu 16.04 не происходит. Версия 1.1.54284 и там и там, схема одна и та же. Данные схожие. Запрос из которого формируется представление выдает схожие данные как и в MV в docker, а в нативной установке расходятся. Какие логи отвечают за это? Вижу только, что в докер версии происходит мерж частей в MV, а в нативном нет.

Что скажете на счет этого поделия http://www.proxysql.com/blog/proxysql-143-clickhouse ?

2017.09.19 13:51:01.567860 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428120_3428120_0 2017.09.19 13:51:01.573137 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428121_3428121_0 2017.09.19 13:51:01.574949 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428122_3428122_0 2017.09.19 13:51:01.576726 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428123_3428123_0 2017.09.19 13:51:01.578542 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428124_3428124_0 2017.09.19 13:51:01.580526 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428125_3428125_0 2017.09.19 13:51:01.582195 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428126_3428126_0 2017.09.19 13:51:01.583956 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428127_3428127_0 2017.09.19 13:51:01.585541 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428128_3428128_0 2017.09.19 13:51:01.587274 [ 3 ] <Debug> ads.main_data (Data): Removing part 20170919_20170919_3428129_3428129_0

Это нормально. Просто пред рестартом сервер помержил эти куски, но не успел удалить куски-исходники (они только через 8 минут удаляются). При рестарте он все приводит в согласованное состояние, проверяет и удаляет ненужные куски, ставит задачу в очередь на скачивание недостающх.

Понял, спасибо :)

In today's release, ProxySQL 1.4.3, the most important feature is surely the support for ClickHouse as a backend! Clients can still connect to ProxySQL using the MySQL Protocol, and ProxySQL will query ClickHouse.

Nice idea!

итого, roistat единственные кто сумел подключиться по https без проблем =)

В RowBinary - просто бинарная единица. Это флаг того, что значение NULL. Если это флаг нулевой, то после него идет само значние. Пример: echo -ne "\x01\x00\xFF" | clickhouse-local --structure "i Nullable(UInt8)" --input-format RowBinary --query "SELECT * FROM table" 2>/dev/null

Спасибо. То, что надо!

итого, roistat единственные кто сумел подключиться по https без проблем =)

А какая проблема с HTTPS?

ну другим плагинам указываешь, а им не нравится "https" как протокол

вот вся и проблема

Добрый день! Скажите пожалуйста, в чем может быть причина в том, что не происходит заполнение материализированного представления? В docker версии происходит, в нативной установке под ubuntu 16.04 не происходит. Версия 1.1.54284 и там и там, схема одна и та же. Данные схожие. Запрос из которого формируется представление выдает схожие данные как и в MV в docker, а в нативной установке расходятся. Какие логи отвечают за это? Вижу только, что в докер версии происходит мерж частей в MV, а в нативном нет.

Нашел интересное поведение КХ. Если формировать из запроса содержащий JOIN, то нельзя указывать в качестве таблиц данных запросы, даже если они требуются только для алиасов. Иначе не обновляется. В таблицах есть схожие колонки, поэтому из за использования алиасов не происходила "подписка" на изменения в таблице А. А данные приходили в таблицу А позже, чем в таблицу Б, из-за этого данные в MV и не объединялись. Нам повезло, что есть возможность "подписаться" на 2 таблицы сразу же, однако из за отсутствия алиасов в join, можно также наткнуться на эту проблему.

Добрый день, подскажите, в чем может быть проблема clickhouse error: [242] DB::Exception: Table is in readonly mode" query":{"Stmt":"INSERT INTO statistics.daily_statistics_events

Ну собсно там понятно в чем проблема. Вопрос в том какой барашек ридонли поставил

можно как-то убрать ридонли?

у меня на слейве повторяется такая ошибки 2017.09.19 14:16:33.699771 [ 9 ] <Error> ReshardingWorker: no node, path: /clickhouse/task_queue/resharding/localhost.localdomain

на слейве повис кликхаус, я его перегрузил, вроде бы отпустило

В PG есть запрос: select array(select id from table) Как сделать аналогичное?

Добрый вечер кто-нибудь в курсе, можно ли выделять определенное кол-во ядер на запрос?