Спасибо! Будем как-нибудь распространять? Вариант минимум - можно запостить ссылки в те места, где раньше спрашивали на английском языке про первичный ключ.

На clickhouse.yandex ссылку поставьте. Или в вики на github скопируйте. Информация-то ценная.

Спасибо - то что доктор прописал! а где-нибудь выкладывется собранная мастер версия?

Нет, не выкладываем. Сейчас выкладываем только stable версию, а она появляется только после выкладки на все наши кластера. При чём, последние две недели релиз задерживается из-за сложных изменений с именем пользователя и директориями.

Hi guys, perhaps a newbie questions. Does ClickHouse do dictionary encoding for string columns, just like Druid.IO? And when querying with string column filters, how does ClickHouse handle it?

Здравствуйте. Подскажите пожалуйста в вопрос дизайна таблиц: есть пользователь(customer) и у него может быть множество покупок(orders), правильнее ли все поля которые относяться к orders сделать в виде nested структуры в таблице customers?

Здравствуйте. Подскажите пожалуйста в вопрос дизайна таблиц: есть пользователь(customer) и у него может быть множество покупок(orders), правильнее ли все поля которые относяться к orders сделать в виде nested структуры в таблице customers?

Вы уверены, что кликхаус хорошо подойдет для такой задачи?)

А не лучше ли просто сделать столбец в виде id пользователя и id покупки

&

?

и когда надо будет список покупок пользователя доставать, просто сделать SELECT ... WHERE customer_id = ...

Вы уверены, что кликхаус хорошо подойдет для такой задачи?)

не на 100%, конечно но у меня append only вид данных и по ним требуется строить разную аналитику,

информации о пользователе много? можно одну таблицу сделать (orders) и хранить инфу о кастомерах в ней

информации о пользователе много? можно одну таблицу сделать (orders) и хранить инфу о кастомерах в ней

да, довольно много, т.е в мне на вставку сразу приходит документ(не скжу что большой полей 40-50), и в нем вся информация о пользователе, его покупке, какие-либо мета данные.

да, довольно много, т.е в мне на вставку сразу приходит документ(не скжу что большой полей 40-50), и в нем вся информация о пользователе, его покупке, какие-либо мета данные.

раз в документе сразу приходит вся информация - и о заказе, и о юзере, тем более проще вставлять будет

много столбцов это ОК для кликхаусе, вы же не будете сразу по всем столбцам данные читать. да, данные на диске избыточно хранятся, но скорость запросов будет быстрее, чем джойны, имхо

много столбцов это ОК для кликхаусе, вы же не будете сразу по всем столбцам данные читать. да, данные на диске избыточно хранятся, но скорость запросов будет быстрее, чем джойны, имхо

спасибо, я в примерно таком же ключе демал, т.е в моем случае лучше сделать плоскую структуру и не делать nested, если я верно понял?

Да, но я могу ошибаться, надеюсь меня поправят если что)

не на 100%, конечно но у меня append only вид данных и по ним требуется строить разную аналитику,

Кликхаус обычно используют не как ssot (single source of truth, грубо можно обозначить как первичное место хранения данных), а как вторичный сервис, куда сгружаются данные из ssot. По ряду причин из-за этого кликхаус и не стоит использовать как ssot (например, внутренний движок заточен на поиск по колонкам, а не на вытаскивание целиковых записей, и доступ к конкретной записи может выражаться в N чтениях в кликхаусе, когда в row-based или k/v базе это будет одно чтение с диска), и мое личное мнение тоже состоит в том, что непосредственно хранение данных лучше оставить другому сервису.

Кликхаус обычно используют не как ssot (single source of truth, грубо можно обозначить как первичное место хранения данных), а как вторичный сервис, куда сгружаются данные из ssot. По ряду причин из-за этого кликхаус и не стоит использовать как ssot (например, внутренний движок заточен на поиск по колонкам, а не на вытаскивание целиковых записей, и доступ к конкретной записи может выражаться в N чтениях в кликхаусе, когда в row-based или k/v базе это будет одно чтение с диска), и мое личное мнение тоже состоит в том, что непосредственно хранение данных лучше оставить другому сервису.

спасибо, стало более понятнее. У меня похожий кейс, кажется, вствляется большой документ, а читать требуется не большое количество колонок(в сравнении вставкой), вернее даже не читать, а строить некую аналитику. И данные только добавляются, без изменений и удалений их в будущем

возможно баг. у меня 2 колонки UInt8. первая является default для второй. когда пытаешься alter table drop column <первая> -DB::Exception: Unknown identifier: <первая>. если удалить вторую(with default) - все удаляется

version 1.1.54140. docker 1.1.54159.

В руководстве написано, что разрешено добавление значений в Enum столбец, указанный в первичном ключе, а CH выдаёт Code: 44. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: trying to ALTER key column upstream_addr. Версия 1.1.54140. Я что-то не так делаю, или документация опережает события?

Опережает.

возможно баг. у меня 2 колонки UInt8. первая является default для второй. когда пытаешься alter table drop column <первая> -DB::Exception: Unknown identifier: <первая>. если удалить вторую(with default) - все удаляется

Неправильное сообщение об ошибке? То есть, так или иначе, должно не разрешать удалять столбец, на которого ссылаются DEFAULT выражения других столбцов.

Неправильное сообщение об ошибке. занести на github?

Давай.

Привет всем! Есть 440к уникальных строк (выгрузка из БД), вставляю ее в КХ, и проверяю кол-во уникальных, а он отображает, что их только 230к. Как я могу создавать дубликаты из уникальных строк?

так реально уникальных 440к или 230к?

вставка работает корректно?

Выгрузка идет через механизм репликации и до этого работала корректно, поэтому сейчас и ищу причины этого

Работала корректно с другими данными и в другую бд

Если где-то есть записи с null, то они могут не проходить при вставке

вот и получатется потом 230 вместо 440

В базе он подобные отмечает как NULL в текстовом поле, а для числовых у меня 0 вставлен, если данных нет

Если выражение для значения по умолчанию не указано, то в качестве значений по умолчанию будут использоваться нули для чисел, пустые строки для строк, пустые массивы для массивов, а также 0000-00-00 для дат и 0000-00-00 00:00:00 для дат с временем. NULL-ы не поддерживаются.

Текстовые поля должны иметь пустые строки вместо null

а подскажите плз бенчмарки на офф. сайте вцелом корректны и отражают реальность? почему-то не увидел ни одного запроса с джойном

а подскажите плз бенчмарки на офф. сайте вцелом корректны и отражают реальность? почему-то не увидел ни одного запроса с джойном

Бенчмарки на официальном сайте корректны и соответствуют реальности, но в наборе запросов нет ни одного запроса с JOIN. Причина в том, что во время создания бенчмарков несколько лет назад (2013), ClickHouse ещё не поддерживал JOIN. С тех пор набор запросов не меняли. Результаты периодически обновляются для части систем - для ClickHouse, Vertica, недавно добавили Greenplum. Но для некоторых систем так и остались старые результаты - например, для Hive, MonetDB. В бенчмарке указана версия, которая тестировалась. Также можно обратить внимание на независимые бенчмарки, например, https://www.percona.com/blog/2017/02/13/clickhouse-new-opensource-columnar-database/ http://tech.marksblogg.com/benchmarks.html хотя они ещё менее подробные, чем официальные.

здесь есть автор библиотеки на go?

Скажите, пожалуйста, можно ли как-то проверить лаг для Distributed таблицы? То есть я вставляю данные на одном сервере и хочу убедиться, что все они отправились на остальные шарды.

По-умолчанию count(distict ...) работает так же как функция uniq - используя приближённый расчёт. Поменять можно настройкой count_distinct_implementation. Например, SET count_distinct_implementation = 'uniqExact'

Похоже, что в документации не хватает раздела популярных ошибок) Я же не первый))

Скажите, пожалуйста, можно ли как-то проверить лаг для Distributed таблицы? То есть я вставляю данные на одном сервере и хочу убедиться, что все они отправились на остальные шарды.

Можно только через файловую систему. Посмотреть на количество файлов в директории с данными таблицы.

Похоже, что в документации не хватает раздела популярных ошибок) Я же не первый))

Да, несколько раз спрашивали. Может быть просто сменить умолчание для count_distinct_implementation и перестать беспокоиться.

принцип наименьшего удивления да

Можно только через файловую систему. Посмотреть на количество файлов в директории с данными таблицы.

Спасибо.

здесь есть автор библиотеки на go?

их там 2-е, какой именно ?

Добрый деень! Скажите, можно как-то подключить какую-либо geo ip базу, чтобы можно было посмотреть города в исторических данных? дело в том, что мы пишем в поле страну, а город - нет.

Бенчмарки на официальном сайте корректны и соответствуют реальности, но в наборе запросов нет ни одного запроса с JOIN. Причина в том, что во время создания бенчмарков несколько лет назад (2013), ClickHouse ещё не поддерживал JOIN. С тех пор набор запросов не меняли. Результаты периодически обновляются для части систем - для ClickHouse, Vertica, недавно добавили Greenplum. Но для некоторых систем так и остались старые результаты - например, для Hive, MonetDB. В бенчмарке указана версия, которая тестировалась. Также можно обратить внимание на независимые бенчмарки, например, https://www.percona.com/blog/2017/02/13/clickhouse-new-opensource-columnar-database/ http://tech.marksblogg.com/benchmarks.html хотя они ещё менее подробные, чем официальные.

В официальных бенмарках не приведены тестовые конфигурации, нет инфы о том какие схемы применялись, каким образом создавалась нагрузка... Или может есть, но не очевидно где именно.

В официальных бенмарках не приведены тестовые конфигурации, нет инфы о том какие схемы применялись, каким образом создавалась нагрузка... Или может есть, но не очевидно где именно.

официальные бенчмарки проводились (насколько я помню) с данными яндекса, которые нельзя открыть.

ок пусть без данных (хотя схему немного "обфусцировав" можно и привести), но описаний стендов нет - так какая-то пузомерка, с предложением верить, как в гомеопатию ?

ок пусть без данных (хотя схему немного "обфусцировав" можно и привести), но описаний стендов нет - так какая-то пузомерка, с предложением верить, как в гомеопатию ?

не нравится, не верьте. зачем им врать - непонятно. любой, у кого есть сравнимые по объёму данных легко покажет, что всё плохо, если там всё плохо

не нравится, не верьте. зачем им врать - непонятно. любой, у кого есть сравнимые по объёму данных легко покажет, что всё плохо, если там всё плохо

Да ну бросьте. Причем здесь врать?

Вот тест (overall): mysql = 1, clickhouse = 0 - чистая правда! А объективен-ли он?

Имхо достаточно странно сравнивать CH vs spark. Вроде сильно разные вещи. Было бы круто увидеть CH vs Kudu (https://kudu.apache.org/). Делал кто-нибудь интересно?

ок пусть без данных (хотя схему немного "обфусцировав" можно и привести), но описаний стендов нет - так какая-то пузомерка, с предложением верить, как в гомеопатию ?

Они есть в комментариях к статье на хабре

Они есть в комментариях к статье на хабре

Спасибо за тайное знание! Но очень жаль, что не там же где официальный тест.

Спасибо за тайное знание! Но очень жаль, что не там же где официальный тест.

Да, я по-моему даже тут спрашивал почему

Спасибо за тайное знание! Но очень жаль, что не там же где официальный тест.

https://m.habrahabr.ru/post/303282/comments/#comment_9658078

Цитата оттуда "Железо такое: двухсокетный E5-2650 v2, 128 GiB RAM, RAID-5 из 8 дисков SATA 7200 RPM на 6 ТБ. ОС — Ubuntu 14.04."

ок пусть без данных (хотя схему немного "обфусцировав" можно и привести), но описаний стендов нет - так какая-то пузомерка, с предложением верить, как в гомеопатию ?

Насколько я помню, тут кто то говорил что описание теста не меняют потому что готовят новый похожий на оригинальный но с фейковыми данными

Или как то так

А так в общем любое тестирование субъективно

Цитата оттуда "Железо такое: двухсокетный E5-2650 v2, 128 GiB RAM, RAID-5 из 8 дисков SATA 7200 RPM на 6 ТБ. ОС — Ubuntu 14.04."

Это крупица мелкая.

Это крупица мелкая.

Есть база тестовая с миллиардов поездок такси и перелетами

Можно на ней простые тесты гонять

Чтобы проверить самому

Я думаю, мейнтейнеры понимают проблему, но пока не имели времени привести все в порядок. Насколько помню, этот вопрос уже поднимался пару раз.

Ну ок будем ждать

Ну ок будем ждать

Можешь свои тесты пока на тех данных что публичные сделать

Или еще лучше - загрузить часть реальных что будут в продакшене

И самостоятельно проверить

не надо ждать, нужно пробовать самим ;)

Все равно данные будут другими, структура другая и цели вероятно другие

ну у нас и свои объемы не маленькие и тесты свои и пробуем. Но вопрос был не про это а про продукт. Я так понимаю - яндекс позиционирует ch как один из своих продуктов, под своим брендом, и просто указал на косяк в продвижении продукта. Но если он уже исправляется - то вопрос снят.

Добрый день. Решили рассмотреть ClickHouse для хранения части данных для аналитики. Скажите - есть ли для него дрова или что-то подобное на c#?

Коллеги, кто-нибудь сталкивался с задачей репликации из оракла в кликхаус больших объемов данных?

Добрый день. Решили рассмотреть ClickHouse для хранения части данных для аналитики. Скажите - есть ли для него дрова или что-то подобное на c#?

там Http-интерфейс и odbc есть. И то, и другое вполне можно использовать откуда угодно

как защитить себя от дубликатов в базе? Например, во время выполнения вставки соединение обрывается (http), но кликхаус продолжает выполнять этот запрос и соответсвенно данные будут сохранены в базе. Но мы об этом достоверно не знаем и пытаемся выполнить вставку повторно. Как можно решить данную проблему?

там Http-интерфейс и odbc есть. И то, и другое вполне можно использовать откуда угодно

Нету там ODBC )

Нету там ODBC )

там это где?

Если С# то это виндовс. Виндовых дров, чтобы создать odbc конекш, нет.

а вдруг Mono!

Если С# то это виндовс. Виндовых дров, чтобы создать odbc конекш, нет.

Еще есть моно же

Ну если моно, есть родной jdbc )

Если С# то это виндовс. Виндовых дров, чтобы создать odbc конекш, нет.

что-то у меня C# и не моно, и не виндовс. Что я делаю не так?

это вопрос религии :) Тут такое не приветствуется :)

если не виндовс и не моно, то стоит упомянуть платформу, я считаю

Linux/Mac + .net core.

разработчики они не пифия, им все заранее не известно :)

ок пусть без данных (хотя схему немного "обфусцировав" можно и привести), но описаний стендов нет - так какая-то пузомерка, с предложением верить, как в гомеопатию ?

У нас как раз есть в планах выложить все тестовые данные из бэнчмарка в "обфусцированном" виде. Смысл в том чтобы на основе реальных данных сгенрировать синтетические с похожими статистическими характеристиками.

У нас как раз есть в планах выложить все тестовые данные из бэнчмарка в "обфусцированном" виде. Смысл в том чтобы на основе реальных данных сгенрировать синтетические с похожими статистическими характеристиками.

Уже проинформировали, вопрос снял. Но всё равно спасибо за пояснение!

как защитить себя от дубликатов в базе? Например, во время выполнения вставки соединение обрывается (http), но кликхаус продолжает выполнять этот запрос и соответсвенно данные будут сохранены в базе. Но мы об этом достоверно не знаем и пытаемся выполнить вставку повторно. Как можно решить данную проблему?

Использовать ReplicatedMergeTree: https://groups.google.com/d/msg/clickhouse/7SRSjAFOhi4/NJa7yCpWBQAJ