а после этого Killed

когда следующую пачку берет

на сервере в данный момент 3.3 гб свободно

А запись митапа ведется кем-нибудь?

нет в этот раз записи, к сожалению, не будет

поэтому приходите на наши следующие митапы :)

Но скоро будут выложены записи митапа в Питере, где были похожие доклады.

Да мне просто убежать пришлось со второго доклада. Увы.

Но скоро будут выложены записи митапа в Питере, где были похожие доклады.

Здорово.

А если я узнал о чатике незадолго до начала доклада?

А если я узнал о чатике незадолго до начала доклада?

зачтем 5)

/stat@combot

combot.org/chat/-1001080295593

Митап вопрос: Может ли ClickHouse забрать данные из существующей БД или быть для неё слейвом? Например, есть mysql с данными и словарями в отдельных таблицах. Нужно плавно переехать на ClickHouse без остановки существующего сервиса

Митап вопрос: Может ли ClickHouse забрать данные из существующей БД или быть для неё слейвом? Например, есть mysql с данными и словарями в отдельных таблицах. Нужно плавно переехать на ClickHouse без остановки существующего сервиса

ок зададим

/stat@combot

ребят, комбот из разу в раз возвращает одну и ту же ссылку, можете просто поиском пользоваться и не уведомлять 500+ людей

ClichHouse может забрать словари, а данные переносить придется пока вам. Вариантов, как это сделать, много. От чего-нибудь очень простого, до, например, такого: https://wecode.wepay.com/posts/streaming-databases-in-realtime-with-mysql-debezium-kafka Я думаю, скоро появятся решения, которые садятся на binlog mysql, и читают оттуда данные в КХ. Возможно, на основе debezium. Но готового пока вроде нет.

в PostgreSQL для подобной стримовой логической репликации то же все готово уже

в 10-ке так вообще в ядро пойдет логическая репликация

Клиент КХ (1.1.54196 на ubuntu 12.04.5) при подключении к удалённому серверу КХ выдаёт ошибку и завершает работу ClickHouse client version 1.1.54190. ... Connected to ClickHouse server version 1.1.54189. ... Poco::Exception: Exception: Cannot load time zone Europe/Moscow ... и на сервере и на клиенте временные зоны Europe/Moscow пробовал в команде указать руками —use_client_time_zone Europe/Moscow - не помогло первый раз такую ошибку вижу, как вылечить?

А вообще какая цель использования nested таблиц? Они чем-то лучше джоинов из нескольких таблиц по полю?

Nested - это уже сделанный джойн.

Клиент КХ (1.1.54196 на ubuntu 12.04.5) при подключении к удалённому серверу КХ выдаёт ошибку и завершает работу ClickHouse client version 1.1.54190. ... Connected to ClickHouse server version 1.1.54189. ... Poco::Exception: Exception: Cannot load time zone Europe/Moscow ... и на сервере и на клиенте временные зоны Europe/Moscow пробовал в команде указать руками —use_client_time_zone Europe/Moscow - не помогло первый раз такую ошибку вижу, как вылечить?

Видимо обновиться до v1.1.54198 https://github.com/yandex/ClickHouse/issues/495#issuecomment-290463001

В общем плюсов никаких? Кстати если надо поле в nested добавить это надо всю внешнюю таблицу пересоздать?

вопрос не заданный на митапе: какие уровни разграничения прав доступа есть? Могу я ограничить доступ/видимость колонки для пользователя? А таблицу? :). Ну и, конечно, поддерживается ли мандатное разграничение прав?

кто нибудь может встречал такую проблему - Killed при вставке бачей click house пишет

Напомните вечером - если проблема останется - помогу разобраться с моим драйвером, попробуйте режим verbose() Сейчас у нас в СМИ2 полный факап и паника ))))

Видимо обновиться до v1.1.54198 https://github.com/yandex/ClickHouse/issues/495#issuecomment-290463001

Обновился - не помогло

Напомните вечером - если проблема останется - помогу разобраться с моим драйвером, попробуйте режим verbose() Сейчас у нас в СМИ2 полный факап и паника ))))

игорь у вас tsv не работает

игорь у вас tsv не работает

преобразователь

А там нет преобразователя В чем файл записан то инсертится потоком

Клиент КХ (1.1.54196 на ubuntu 12.04.5) при подключении к удалённому серверу КХ выдаёт ошибку и завершает работу ClickHouse client version 1.1.54190. ... Connected to ClickHouse server version 1.1.54189. ... Poco::Exception: Exception: Cannot load time zone Europe/Moscow ... и на сервере и на клиенте временные зоны Europe/Moscow пробовал в команде указать руками —use_client_time_zone Europe/Moscow - не помогло первый раз такую ошибку вижу, как вылечить?

А какой версии пакет tzdata на машинах?

tzdata 2014i-0ubuntu0.12.04-yandex1 - это на клиенте

на серверах tzdata 2016j-2ubuntu0.14.04.yandex2

Надо обновить tzdata на клиенте и должно будет заработать.

Видимо обновиться до v1.1.54198 https://github.com/yandex/ClickHouse/issues/495#issuecomment-290463001

Это не связано. Дело в том, что недавно перешли на библиотеку cctz для поддержки таймзон, а ей по какой-то причине не нравится файл zoneinfo для Москвы в старых пакетах tzdata.

Детально не разбирался, но обновиться помогает. Ну и tzdata в любом случае не помешает держать обновлённым ;)

В общем плюсов никаких? Кстати если надо поле в nested добавить это надо всю внешнюю таблицу пересоздать?

если у вас есть связь 1-n, и объекты со стороны "много" а) известны на момент записи б) являются или value object или их lifetime внутри объекта со стороны 1-, то их можно записывать в nested стуктуры. это дает воможность 1) строить отчеты по этим объектам from table array join nested as n group by n.attr 2) фильтровать по nested-атрибутам from table where arrayExists((x,..)-> , nested.attr,..) , относительно дешево. это связано с тем, что Nested с точки зрения кликхауса - это синтаксический сахар поверх столбцов-массивов с одинаковым префиксом. (а также есть некоторые ожидания про одинаковую длину этих массивов, но они проверяются только в рантайме при чтении) т.к. "джойн" в плане поиска соответствия объекта слева и объектов справа уже выполнен при записи, то при чтении запросы перечисленные выше можно выполнять потоково.

а для добавления поля должен работать обычный add column. но надо подумать что делать с существующими данными и длиной массивов них.

А там нет преобразователя В чем файл записан то инсертится потоком

у вас в доке описано что есть преобразователи из массива в tsv csv

у вас в доке описано что есть преобразователи из массива в tsv csv

csv не проверял. но tsv формирует не валидный для clickhouse файл. разделя значения запятой. а ожидается табами

Вы пишете файл моим драйвером ?

Вот примеры https://github.com/smi2/phpClickHouse/blob/master/example/* Cм. exam12_array.php + exam15_direct_write_result.php

Вы пишете файл моим драйвером ?

да вашим драйвером. в доке описана функция преобразования массива в tsv вот она не правильно преобразовывает ну либо я не так что-то делаю. посмотри эту функция

да вашим драйвером. в доке описана функция преобразования массива в tsv вот она не правильно преобразовывает ну либо я не так что-то делаю. посмотри эту функция

FormatLine::TSV

Скажите пожалуйста, можно ли где-то скачать презентации с Новосибирского митапа?

+1 тоже хотелось бы! Особенно гифки^^

Скажите пожалуйста, можно ли где-то скачать презентации с Новосибирского митапа?

Мы подумаем над этим :) наверное уже позже отпишемся

Мы подумаем над этим :) наверное уже позже отпишемся

ок. заранее спасибо

Да, было бы здорово если бы можно было скачать презентации докладов с митапа

1. https://clickhouse.yandex/presentations/meetup4/ 2. https://clickhouse.yandex/presentations/meetup4/clickhouse_for_analysts.pdf

404

да

На обе ссылки? Значит выложилось только на один фронтенд :(

Когда выложится - будет доступно по тем же ссылкам :)

Вторая работает, спасибо

Огромное спасибо, Алексей!

https://groups.google.com/forum/#!topic/clickhouse/fHCxcPF6EmM

Скоро выложим реализацию reactive streams

FormatLine::TSV

https://github.com/smi2/phpClickHouse/blob/master/example/exam20_FormatLine_TSV.php Проверил у меня ок

Всем привет. Так получилось, что в таблицу не заложили колонку datetime, есть только date(date) и hour(int). Подскажите, плиз, как можно из этих двух колонок получить datetime? Вариант в лоб: toDateTime(concat(toString(eventDate),' ',if(eventHour<10,concat('0',toString(eventHour)),toString(eventHour)),':00:00')) Работает очень медлянно

а так? select toDateTime(d)+h*3600 from (select toDate('2011-01-01') as d, 11 as h)

Гениально, большое спасибо! 0.181сек против 1.876сек на моем:))

https://github.com/smi2/phpClickHouse/blob/master/example/exam20_FormatLine_TSV.php Проверил у меня ок

было бы хорошо указать пример в readme на главной странице драйвера принимающего массива. я послал массив поле - значение. а надо было только значение) но спасибо за пример завтра перепишу! )

всем привет! а нормально, что select ename, count(*) from events group by ename трогает все строки? нельзя ли индекс какой-то примастырить, что-то еще?

всем привет! а нормально, что select ename, count(*) from events group by ename трогает все строки? нельзя ли индекс какой-то примастырить, что-то еще?

А как еще его в общем случае можно вычислить?

Хороший вопрос :)

Подскажите, а какими инструментами пользуются сейчас аналитики для работы с CH, помимо : - Redash - Apache zeppelin - CHGui от сми2 - Superset airbnb - Jetbrains IDE - Jupyter / Notebook - Grafana-CH - Console client ?

Мы пробуем прикрутить Spago BI, пока в процессе

Привет! Подскажите, пожалуйста, можно ли вернуть реплику из readonly-state без рестарта (проблема похожа на эту: https://groups.google.com/forum/#!topic/clickhouse/puxdy9BAWHE)?

Проблема, описанная в этой теме Google Groups была актуальна очень давно. Можно выполнить DETACH TABLE, затем ATTACH TABLE. Чтобы понять, какой должен быть запрос ATTACH TABLE, выполните сначала SHOW CREATE TABLE table FORMAT TabSeparatedRaw В полученном запросе замените CREATE на ATTACH и это будет нужный запрос.

У нас, вроде, относительно свежая версия - 1.1.54164. В ней уже такой проблемы быть не должно?