хорошо, какие численные значения есть? Как делать оценку какой максимальный размер допустим? По PostgreSQL и тп гуглится. В официальной доке у яндекса по ClickHouse не нашел:(

Есть продакшен версии, хранящие петабайты. Что вас ещё интересует?

Ну, в CloudFlare, насколько я помню, машины 12 x 10TB в RAID0, учитывая что КХ работает с партициями, а не со всей таблицей сразу ему должно быть относительно все равно на общий размер

И что нужно сделать, чтоб напороться?

Гранулированность накрутить и заиспользовать много строк

привет. подскажите, пожалуйста: на одной из шести нод перестали мержиться данные, таблица ReplicatedMergeTree. запускаю руками optimize table X partition 201712 – ничего не происходит, на зеркальной ноде все отрабатывает и ужимается в одну папку (видно, как появляется tmp_merge_*. что это может быть и куда копать?

привет. подскажите, пожалуйста: на одной из шести нод перестали мержиться данные, таблица ReplicatedMergeTree. запускаю руками optimize table X partition 201712 – ничего не происходит, на зеркальной ноде все отрабатывает и ужимается в одну папку (видно, как появляется tmp_merge_*. что это может быть и куда копать?

Если есть ошибки они будут видны в логах, тут процесс можно посмотреть select * from system.merges \G

Если есть ошибки они будут видны в логах, тут процесс можно посмотреть select * from system.merges \G

спасибо, но тут пусто.

А количество в parts меняется, что в system.replication_queue ?

А количество в parts меняется, что в system.replication_queue ?

не знал об этой таблице, но в postpone_reason увидел ошибку – недостаточно места. спасибо! не понятно только, как это произошло только на одной ноде.

Если верить документации, то JOIN всегда грузится в память и не имеет доступа к внешней табилце: >В начале выполнения запроса, выполняется подзапрос, указанный после JOIN, и его результат сохраняется в память. Я хотел убедиться, что это действительно так и никак не обходится

Ответ на свой вопрос нашел в видео: https://youtu.be/Ac2C2G2g8Cg?t=2707

кто то владеет информацией о том, что за объем показывает цифра 12.42GB в аутпуте: 13806631 rows in set. Elapsed: 13.001 sec. Processed 676.40 million rows, 12.42 GB (52.03 million rows/s., 954.98 MB/s.) Это объем данных, поднятых с диска в несжатом виде?

кто то владеет информацией о том, что за объем показывает цифра 12.42GB в аутпуте: 13806631 rows in set. Elapsed: 13.001 sec. Processed 676.40 million rows, 12.42 GB (52.03 million rows/s., 954.98 MB/s.) Это объем данных, поднятых с диска в несжатом виде?

Это объём обработанных данных в разжатом виде. С диска поднимаются в сжатом

Это объём обработанных данных в разжатом виде. С диска поднимаются в сжатом

имеются ввиду объем информации по колонкам, участвующих в запросе?

имеются ввиду объем информации по колонкам, участвующих в запросе?

Да это все данные поднятые для обработки запроса. Т.е если вы выбираете данные за 1 день, а партиционирование у вас по месяцам то эта цифра покажет объём за месяц.

а возможно ли сделать из таблицы со стандартным партишенингом (по месяцам) таблицу с кастомным партишенингом?

alter table bla ENGINE = MergeTree PARTITION BY toYYYYMM(FlightDate) Order By Year, FlightDate; типа того как-то

нет

ну тогда получается надо сделать новую и перегнать данные

тоже вариант ?

после обновления сервера стали появляться в логах ошибки: 2018.02.13 10:10:01.823787 [ 1 ] <Error> Application: DB::Exception: Cannot lock file /opt/clickhouse/status. Another server instance in same directory is already running. что это такое и как с ними бороться ? естесвенно запущена только одна копия сервера. root@HQDH009:~# ps ax|grep click 1674 ? Ssl 77:07 /usr/bin/clickhouse-server —config=/etc/clickhouse-server/config.xml 35287 pts/0 S+ 0:00 grep —color=auto click

Такой вопрос: возможно ли средствами кликхауса хранить часть данных не в дефолтном каталоге? Хочу вынести с ssd часть статистики, которая пишется редко, а читается ещё реже.

Такой вопрос: возможно ли средствами кликхауса хранить часть данных не в дефолтном каталоге? Хочу вынести с ssd часть статистики, которая пишется редко, а читается ещё реже.

симлинк?

Это средствами ОС :-)

Да это все данные поднятые для обработки запроса. Т.е если вы выбираете данные за 1 день, а партиционирование у вас по месяцам то эта цифра покажет объём за месяц.

При этом, если индекс идет по дню, а не по месяцу, то будут подняты только блоки, содержащие указанную дату

Это средствами ОС :-)

А не, сам CH такого не умеет

Да это все данные поднятые для обработки запроса. Т.е если вы выбираете данные за 1 день, а партиционирование у вас по месяцам то эта цифра покажет объём за месяц.

т.е. всегда вне зависимости от параметров запроса поднимаются данные со всей партиции? Имею ввиду, что если я ограничиваю набор данных в партициях условиями по времени, то все равно подниматься будет вся партиция?

А не, сам CH такого не умеет

Пока не умеет, в этом году, вроде как, должен зауметь

т.е. всегда вне зависимости от параметров запроса поднимаются данные со всей партиции? Имею ввиду, что если я ограничиваю набор данных в партициях условиями по времени, то все равно подниматься будет вся партиция?

нет, если есть индекс по дате то не вся

@ztlpn @milovidov_an Наткнулся на странное поведение. Мне кажется, что должно работать по другому :) Запрос: https://img.facedsid.ru/wc21p.jpg - все ок Хотим посчитать кол-во строк поверх этого результата и неожиданное получаем: https://img.facedsid.ru/pllek.jpg При этом если сделать вот так: https://img.facedsid.ru/hinyx.jpg, то все работает ок.

Получается, что КХ не вызывает агрегатную функцию, а тупо возвращает значение колонки :)

Мне кажется тут нужно бросить исключение на тему, что в результате есть колонка с названием агрегатной функции

у подзапроса получается колонка с именем count() и кликхаус считает этот набор букв ссылкой на столбец.

Либо выводить именно результат колонки в случае, если название колонки совпадает с названием агрегатной функцией и явно экранировано типа count()

если сделаете select 1 as 2 тоже можно получить интересные эффекты

Блин, это как define true false

Я просто предложил при совпадении названия колонки и агрегатной функции выводить значение колонки если только оно заключено в ``. Если же нет, то выполнять агрегатную функцию. Так будет правильно как минимум, или я не прав? )

Я просто предложил при совпадении названия колонки и агрегатной функции выводить значение колонки если только оно заключено в ``. Если же нет, то выполнять агрегатную функцию. Так будет правильно как минимум, или я не прав? )

отличное предложение, поддерживаю.

Заведу issue на гитхабе :)

Подскажите а как сделать DETACH для MATERIALIZED VIEW? Нашел вот план действий https://groups.google.com/forum/#!topic/clickhouse/tGq8fyH7uHY. Но при выполнении запроса пишет ошибку "Code: 48. DB::Exception: Received from 1111. DB::Exception: Method dropPartition is not supported by storage MaterializedView."

Закинул issue, если кому интересно и кто придерживается такого же мнение :) https://github.com/yandex/ClickHouse/issues/1896

column from table with the same name as function name строго говоря эта колонка имеет не имя как у функции, а имя как вызов функции. в общем случае, когда выражение в select не алиасится в какое-то имя, то во внешнем запросе этот атрибут будет в качестве имени иметь свое собственное выражение. частным случаем выражения может быть вызов функции, константа, или что-то поинтересней. и при использовании ровно такого же выражения во внешнем запросе приоритет сейчас получит колонка запроса, а не смысл выражения.

Подскажите а как сделать DETACH для MATERIALIZED VIEW? Нашел вот план действий https://groups.google.com/forum/#!topic/clickhouse/tGq8fyH7uHY. Но при выполнении запроса пишет ошибку "Code: 48. DB::Exception: Received from 1111. DB::Exception: Method dropPartition is not supported by storage MaterializedView."

2. Alter the .inner. table.

а вы основную, скорее всего, альтерили

2. Alter the .inner. table.

Ругается на точку перед inner

Syntax error: failed at position 13: ALTER TABLE '.inner.

alter table DB.`.inner.table`

alter table DB.`.inner.table`

спасибо, почему то не додумался так обрамить(

column from table with the same name as function name строго говоря эта колонка имеет не имя как у функции, а имя как вызов функции. в общем случае, когда выражение в select не алиасится в какое-то имя, то во внешнем запросе этот атрибут будет в качестве имени иметь свое собственное выражение. частным случаем выражения может быть вызов функции, константа, или что-то поинтересней. и при использовании ровно такого же выражения во внешнем запросе приоритет сейчас получит колонка запроса, а не смысл выражения.

Да, это и имел ввиду :)

Коллеги, скажите, а есть возможность через метаданные, что хост из кластера стал недоступен?

Коллеги, скажите, а есть возможность через метаданные, что хост из кластера стал недоступен?

Зукипер?

Добрый день! Подскажите по CollapsingMergeTree Как можно посчитать кол-во подходящих под условие строк с учетом положительного/отрицательного Sign без FINAL Есть запрос с постгреса типа SELECT SUM(CASE WHEN status = 5 then 1 else 0 END) FROM table , который возвращает кол-во строк в наборе, у которых статус равен 5 В CH запрос по идее должен быть SELECT SUM(if(sum(status * Sign) = 5, 1, 0)) FROM table, но CH ругается на аггрегатную функцию внутри другой аггрегатной Как это можно обойти?

Добрый день! Подскажите по CollapsingMergeTree Как можно посчитать кол-во подходящих под условие строк с учетом положительного/отрицательного Sign без FINAL Есть запрос с постгреса типа SELECT SUM(CASE WHEN status = 5 then 1 else 0 END) FROM table , который возвращает кол-во строк в наборе, у которых статус равен 5 В CH запрос по идее должен быть SELECT SUM(if(sum(status * Sign) = 5, 1, 0)) FROM table, но CH ругается на аггрегатную функцию внутри другой аггрегатной Как это можно обойти?

sum(sign*if(.)) ?

Добрый день. Воспользовался X-Clickhouse-Progress и, если использовать InsertSelect, то в ответе в хедерах получаю количество записей равное количеству строк, что переполняет заголовок. можно ли как-то изначально попросить последнюю или что-то в этом роде?

можно поставить интервал больше, напрмиер раз в три секунды

sum(sign*if(.)) ?

Да, проде ок, спасибо

проклятый пожиратор переменых окружения debuild

разные версии ubuntu (14 и 16) при одинаковой версии сервера КХ 1.1.54342 могут доставить неудобств?

было бы странно

разные версии ubuntu (14 и 16) при одинаковой версии сервера КХ 1.1.54342 могут доставить неудобств?

Нет. Об этом можно не беспокоиться.

Нет. Об этом можно не беспокоиться.

Спасибон.

Подскажите, планируется большая таблица events ReplicatedMergeTree, в которой будет Date, Type и пачка других полей. Почти во всех SELECT'ах будет WHERE (Date), т.е. добавлять Date в первичный ключ однозначно надо, верно? Type редко будет в WHERE, но почти всегда будет SELECT countIf(Type IN (1,2,3)) - стоит ли добавлять Type в первичный ключ?

Если условие в countIf, индекс не будет использоваться. Только если в WHERE.

Подскажите, планируется большая таблица events ReplicatedMergeTree, в которой будет Date, Type и пачка других полей. Почти во всех SELECT'ах будет WHERE (Date), т.е. добавлять Date в первичный ключ однозначно надо, верно? Type редко будет в WHERE, но почти всегда будет SELECT countIf(Type IN (1,2,3)) - стоит ли добавлять Type в первичный ключ?

Если всегда будет фильтр по дате, тогда нужен ключ: (date,type) Есди сделать ключ по (type,date) - то будет быстрый поиск по типу, а так же по типу и дате. При этом фильтр по типу должен быть всегда, иначе будет проивзодиться поиск по всем данным месяца.

фильтра по типу не будет почти никогда (или вообще никогда), тип будет только в SELECT countIf(type)

еще в WHERE очень часто будет UserID. Поэтому планировал первыми двумя полями ключа делать Date, UserID. Попрос добавлять ли Type

фильтра по типу не будет почти никогда (или вообще никогда), тип будет только в SELECT countIf(type)

Если используется countIf(...type...) без where (...type...), то предполагаю, что вместе с агрегацией по type нужны и другие данные. Значит фильтрации по type не будет, значит ключ по type не нужен (для этого случая).

в WНЕRE Type участвовать не будет понял, в индексе Type тогда не нужен

спасибо

Коллеги, вы не сталкивались с тем что replacingmertree ломает строки при схлопывании? У меня есть таблица, для которой справедливо равенство versionField = someOtherField. После оптимизации таблицы оно начинает нарушаться в ~0.01% записей.

в WНЕRE Type участвовать не будет понял, в индексе Type тогда не нужен

На сколько сильно он уникален (Type), сейчас поле действительно нет смысла добавлять в индекс если его нет в WHERE, но, когда нибудь, ORDER BY и GROUP BY научатся использовать индекс)

Подскажите, а можно как-нибудь получить affected rows, по аналогии, как выдает консоль КХ: 1705 rows in set. Elapsed: 0.016 sec. Processed 1.71 thousand rows, 44.33 KB (107.14 thousand rows/s., 2.79 MB/s.)?

Да, в формате JSON возвращается

@kshvakov Основная часть запросов будет такого вида: SELECT countIf(EventType IN (1,2,3) as hits, countIf(EventType IN (4,5,6) as clicks FROM t WHERE Date BETWEEN x AND y

Подскажите, а можно как-нибудь получить affected rows, по аналогии, как выдает консоль КХ: 1705 rows in set. Elapsed: 0.016 sec. Processed 1.71 thousand rows, 44.33 KB (107.14 thousand rows/s., 2.79 MB/s.)?

https://clickhouse.yandex/docs/en/single/#json

@kshvakov Основная часть запросов будет такого вида: SELECT countIf(EventType IN (1,2,3) as hits, countIf(EventType IN (4,5,6) as clicks FROM t WHERE Date BETWEEN x AND y

Ну, да (Date, UserID) будет в вашем слечае работать

https://clickhouse.yandex/docs/en/single/#json

Спасибо

@kshvakov Спасибо

Что производительнее, CollapsingMergeTree или ReplacingMergeTree? Задача - заменять дубли на последние вствленные.

Стоило немного отвлечся и КХ с мастера у меня не собирается https://gist.github.com/kshvakov/f3b89fdce85ad6ac1ac486ef5760bc42, печально

Коллеги, вы не сталкивались с тем что replacingmertree ломает строки при схлопывании? У меня есть таблица, для которой справедливо равенство versionField = someOtherField. После оптимизации таблицы оно начинает нарушаться в ~0.01% записей.

кажется, в новых версиях все хорошо

в 318 все плохо

@milovidov_an , Алексей, не планируете где-нибудь складировать very stable релизы?

Хорошие 292 и 327

2018.02.13 20:10:22.540548 [ 79 ] <Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Timeout: connect timed out: 10.1.1.204:9009, e.what() = Timeout 2018.02.13 20:17:01.349013 [ 84 ] <Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Timeout: connect timed out: 10.1.1.204:9009, e.what() = Timeout

добавил новый шард (две реплики), перенаправил запись в него, репликация работает, данные вставляются, вроде бы все ок, но такие ошибки в логе вижу

почему так?

вот это вот есть смысл увеличить? <keep_alive_timeout>3</keep_alive_timeout>

MergeTree таблица - если в нее допустим писать маленькими порциями, скажем по 10-100 строк раз в секунду. Она внутри себя со временем оптимизируется для быстрого поиска, или навечно останется мелко фрагментированной?

Хорошие 292 и 327

спасибо

Т.е. фоновое слияние кусочков в итоге приведет ее к оптимальному виду или подоптимизирует только частично?

Т.е. фоновое слияние кусочков в итоге приведет ее к оптимальному виду или подоптимизирует только частично?

мне тоже интересно, как раз наш кейс

Т.е. фоновое слияние кусочков в итоге приведет ее к оптимальному виду или подоптимизирует только частично?

судя по тому, что я вижу в файлах БД - как раз идет оптимизация по ключу партиционирования (дате). "новые" постепенно сливаются со "старыми". В принципе, это логично и как раз "оптимизирует"

Т.е. фоновое слияние кусочков в итоге приведет ее к оптимальному виду или подоптимизирует только частично?

рано или поздно оно к этому приведет, но зачем писать 10-100 строк за раз?

рано или поздно оно к этому приведет, но зачем писать 10-100 строк за раз?

Ну по одной совсем не круто, а больше не набирается. Использовать buffer - тоже не вариант. Мой кейс писать в таблицу актуальные данные, а не ждать минуты пока там тысячи строк наберутся.

Если не часто писать будете то проблем быть не должно

Подскажите а как сделать DETACH для MATERIALIZED VIEW? Нашел вот план действий https://groups.google.com/forum/#!topic/clickhouse/tGq8fyH7uHY. Но при выполнении запроса пишет ошибку "Code: 48. DB::Exception: Received from 1111. DB::Exception: Method dropPartition is not supported by storage MaterializedView."

Вообще лучше создавать Materialized View для уже готовой таблицы CREATE MATERIALIZED VIEW name TO table AS ... - потом проще будет как с партициями, так и с самой view, ее без проблем можно будет дропать и пересоздавать без удаления данных