наверное, ждет этого конкретного куска

Было какое-то решение

Привет В сообщении об ошибке > Memory limit (for query) exceeded: would use 9.48 GiB (attempt to allocate chunk of 536870912 bytes), maximum: 9.31 GiB: (while reading column Message): Лимит в 9.48 GiB — это что за лимит? Он управляется из конфига clickhouse?

а точный результат сильно отличается от uniq((id,toStartOfMonth())) ?

увы, такое приближение не подходит - погрешность большая получается. Надо считать именно от первого посещения и дальше интервалами.

месяц это был условно. Сейчас граница уникальности проходит на сутках, но в будущем может измениться например на часы - тогда погрешности поплывую еще сильнее.

По memory limit: да, это из-за ограничения в конфиге на один запрос

mark_cache_size — это он?

Нет, там что-то max_memory_usage

По memory limit: да, это из-за ограничения в конфиге на один запрос

в users.xml max_memory_usage надо увеличить

Отлично, попробую, спасибо

увы, такое приближение не подходит - погрешность большая получается. Надо считать именно от первого посещения и дальше интервалами.

а ваши данные - это (id, timestamp) ? с уменьшением интервала то, что вы считаете, становится очень похоже на количество сессий.

уникальные посетители, уникальные просмотры, клики. Потом аналогичным образом возвраты надо будет считать - т.е. определять что пользователь сначала перестал пользоваться сайтом, потом вернулся.

наверное, ждет этого конкретного куска

но после этого оно не запрашивало этот кусок несколько часов.

Было какое-то решение

В доке есть только про восстановление после сбоя. Мне кажется это не тот случай - вторая то таблица в порядке.

уникальные посетители, уникальные просмотры, клики. Потом аналогичным образом возвраты надо будет считать - т.е. определять что пользователь сначала перестал пользоваться сайтом, потом вернулся.

возвраты можно считать как select user, time from (select * events order by user,time) where runningDifference(time) > 42, хотя внутреннюю сортировку вряд ли можно считать разумным решением. а вот склейка событий в сессию/историю пользователя - это некий group by, причем такой, контекстно-зависимый. вы это условие хоть на каком-то sql можете выразить?

Всем привет! Помогите разобраться с процессом создания бэкапов. В данном случае, они будут служит в качестве защиты от ошибки человека, поэтому хранится могут локально. К примеру, нужно создавать бэкап таблицы один раз в день. В документации рекомендуется использовать FREEZE PARTITION, который создаст hardlink на файлы из data/database/table по указанной маске. Получается, что нужно один раз в день делать FREEZE PARTITION и удалять папку с предыдущим бэкапом?

Дмитрий, я бы попробовал https://clickhouse.yandex/reference_en.html#Recovery%20after%20failures

Роман, вроде всё так

В данном случае нет опасения аппаратных ошибок, поэтому репликация и ZK не используется.

Виктор, спасибо

Подскажите про runningAccumulate: Не работает в реализации с мат. представлением - не накапливаются данные из предыдущих кусков вставки. Т.е. если я вставляю 5 строк, потом 2, то на 6-й строке при выборе из представления накопления сбрасываются. Так и должно быть или ещё не доработано? Или может у нас версия старая (сервер 1.1.54080)? Спасибо.

А есть функция, чтобы получить значение столбца в предыдущей строке? Вроде runningDifference, только само значение, а не разность.

Подскажите про runningAccumulate: Не работает в реализации с мат. представлением - не накапливаются данные из предыдущих кусков вставки. Т.е. если я вставляю 5 строк, потом 2, то на 6-й строке при выборе из представления накопления сбрасываются. Так и должно быть или ещё не доработано? Или может у нас версия старая (сервер 1.1.54080)? Спасибо.

Так и есть - runningAccumulate работает лишь в пределах блока.

А есть функция, чтобы получить значение столбца в предыдущей строке? Вроде runningDifference, только само значение, а не разность.

Такой нет.

Но как я понимаю, подобное можно запилить самим немного переделав функцию runningDifference?

Да.

спасибо

А есть функция, чтобы получить значение столбца в предыдущей строке? Вроде runningDifference, только само значение, а не разность.

SELECT x, runningDifference(x) AS dx, x - dx AS prev, runningDifference(dx) AS d2x, (x - (2 * dx)) + d2x AS preprev FROM ( SELECT number * number AS x FROM system.numbers LIMIT 10 ) ┌──x─┬─dx─┬─prev─┬─d2x─┬─preprev─┐ │ 0 │ 0 │ 0 │ 0 │ 0 │ │ 1 │ 1 │ 0 │ 1 │ 0 │ │ 4 │ 3 │ 1 │ 2 │ 0 │ │ 9 │ 5 │ 4 │ 2 │ 1 │ │ 16 │ 7 │ 9 │ 2 │ 4 │ │ 25 │ 9 │ 16 │ 2 │ 9 │ │ 36 │ 11 │ 25 │ 2 │ 16 │ │ 49 │ 13 │ 36 │ 2 │ 25 │ │ 64 │ 15 │ 49 │ 2 │ 36 │ │ 81 │ 17 │ 64 │ 2 │ 49 │ └────┴────┴──────┴─────┴─────────┘

но в общем случае lag / lead должны работать для любых типов данных.

Привет, а есть какие нибудь роли для ансибла под кликхаус хорошие?

SELECT x, runningDifference(x) AS dx, x - dx AS prev, runningDifference(dx) AS d2x, (x - (2 * dx)) + d2x AS preprev FROM ( SELECT number * number AS x FROM system.numbers LIMIT 10 ) ┌──x─┬─dx─┬─prev─┬─d2x─┬─preprev─┐ │ 0 │ 0 │ 0 │ 0 │ 0 │ │ 1 │ 1 │ 0 │ 1 │ 0 │ │ 4 │ 3 │ 1 │ 2 │ 0 │ │ 9 │ 5 │ 4 │ 2 │ 1 │ │ 16 │ 7 │ 9 │ 2 │ 4 │ │ 25 │ 9 │ 16 │ 2 │ 9 │ │ 36 │ 11 │ 25 │ 2 │ 16 │ │ 49 │ 13 │ 36 │ 2 │ 25 │ │ 64 │ 15 │ 49 │ 2 │ 36 │ │ 81 │ 17 │ 64 │ 2 │ 49 │ └────┴────┴──────┴─────┴─────────┘

Да, я тоже думаю сейчас над чем-то подобным, но в более общем виде, т.к. промежуточных состояний может быть много и вручную и даже скриптом столбцов не напасёшься. Пробую сейчас реализовать это через два-три поля, которые друг с другом как-то взаимодействуют. Ну и параллельно раздумываю насколько сложно будет восстоздатьсборочное окружение и просто добавить нужный функционал в С++ коде. Судя по коду runningDifference сам патч будет относительно простым, вопрос больше в накладных расходах по времени на то чтобы всё настроить и понять как оно на самом деле работает.

Существует ли возможность для FREEZE PARTITION указать список партишинов, которые уже закончили слияние (основываясь на данных таблицы system.parts)? Если же вызывать FREEZE по отдельности на каждый партишин, то получим несколько папок в shadow директории, которые потом нужно будет обьединять

Привет! А можно как-то заставить таблицу CollapsingMergeTree схлопнуть всё, что можно? OPTIMIZE ведь ничего не гарантирует, как я понимаю. Или единственный вариант - создать рядом такую же таблицу и сделать в неё INSERT INTO SELECT FROM srcTable FINAL?

Привет! А можно как-то заставить таблицу CollapsingMergeTree схлопнуть всё, что можно? OPTIMIZE ведь ничего не гарантирует, как я понимаю. Или единственный вариант - создать рядом такую же таблицу и сделать в неё INSERT INTO SELECT FROM srcTable FINAL?

OPTIMIZE поможет вам все схлопнуть по-максимуму. OPTIMIZE действительно можеть объеденить (и схлопнуть) не все куски, но если у вас достаточно свободного места на диске, то он все схлопнет в 1 кусок за несколько итераций зпросов OPTIMIZE. То, что все схлопнулось в 1 кусок (то есть у вас нет дублей по первичному ключу) можно проверить сделав запрос в system.parts: SELECT count() FROM system.parts WHERE active AND database = 'test' AND table = 'hits' Если найдется только один part, то значит у вас все замержено и схлопнуто по-максимуму и (+заросы будут выолняться мксимально быстро). Правда тут стоит уточнить, что вы никогда не можете схлопнуть 2 состояния, находящиеся в разных месяцах (в смысле того, что указано в ключе партиционирования). Если таким образом у вас есть данные за несколько месяцев, то вы можете проверить то, что таблица находится в максимально смерженом состоянии выполнив запрос: SELECT uniqExact(toRelativeMonthNum(EventDate)) FROM test.hits и сравнив его с SELECT count() FROM system.parts WHERE active AND database = 'test' AND table = 'hits' они должны совпадать.

Сейчас у меня SELECT uniqExact(toRelativeMonthNum(EventDate)) FROM test.hits возвращает 16 SELECT count() FROM system.parts WHERE active AND database = 'test' AND table = 'hits' возвращает 69 И после OPTIMIZE TABLE test.hits второе число не уменьшается

SELECT count() FROM system.parts WHERE active AND database = 'test' AND table = 'hits' AND active

system.parts по дефолту возвращает все партиции, вслючая уже неиспользуемые

select * from system.merges ещё можно посмотреть

OPTIMIZE TABLE только ставит merge в очередь

все активны, в system.merges пусто)

Кстати, создал рядом копию таблицы, и налил в неё данные с помощью INSERT INTO SELECT. Так вот, у неё в system.parts уже 16, т.е. это совпадает с uniqExact(toRelativeMonthNum(EventDate)), однако select count(*) from test.hitsCopy почти в 2 раза больше, чем select count(*) from test.hitsCopy FINAL

OPTIMIZE TABLE только ставит merge в очередь

Нет, он синхронный (по крайней мере недавно таким был)

Кстати, создал рядом копию таблицы, и налил в неё данные с помощью INSERT INTO SELECT. Так вот, у неё в system.parts уже 16, т.е. это совпадает с uniqExact(toRelativeMonthNum(EventDate)), однако select count(*) from test.hitsCopy почти в 2 раза больше, чем select count(*) from test.hitsCopy FINAL

Это говорит о том, что для каждой записи у вас есть запись с таким же primary key, но в другом месяце. Можете попробовать переналить таблицу, только в новой таблице сдалать ключ партиционирования EventDateDummy и писать туда всегда '0000-00-00' (или ничего явно не писать), а EventDate сделать обычным столбцом. Тогда показатели должны сойтись.

Это говорит о том, что для каждой записи у вас есть запись с таким же primary key, но в другом месяце. Можете попробовать переналить таблицу, только в новой таблице сдалать ключ партиционирования EventDateDummy и писать туда всегда '0000-00-00' (или ничего явно не писать), а EventDate сделать обычным столбцом. Тогда показатели должны сойтись.

Дело в том, что у всех записей с одинаковым primary key, ключ партиционирования (EventDate) тоже одинаковый

p.s. на всякий случай напомню, речь идёт про CollapsingMergeTree

Сейчас у меня SELECT uniqExact(toRelativeMonthNum(EventDate)) FROM test.hits возвращает 16 SELECT count() FROM system.parts WHERE active AND database = 'test' AND table = 'hits' возвращает 69 И после OPTIMIZE TABLE test.hits второе число не уменьшается

А вот что 69 не уменьшается до 16 при OPTIMIZE и не назначаются мержи - странно. У вас надисках места много? Возможно лог сможет объсянить почему этого не происходит: grep -A 10 -i "OPTIMIZE TABLE" /var/log/clickhouse-server/clickhouse-server.log

места много, лог гляну

когда я делаю select * from system.query_log order by event_time desc limit 2 \G

можно ли в эту таблицу добавить database колонку? что бы можно было фильтровать какая база мне интересна

OPTIMIZE TABLE только ставит merge в очередь

Уточнение: OPTIMIZE синхронный для обычных MergeTree* и асинхронный для реплицированных.

хотите сказать что если я вызову http "/?query=optimize partition" то это выполнится мгновенно?

хотите сказать что если я вызову http "/?query=optimize partition" то это выполнится мгновенно?

Запрос OPTIMIZE TABLE replicated_merge_tree_table [PARTITION partition] [FINAL] в случае реплицированной таблицы должен выполниться достаточно быстро (время потратится только на запись мета-данных в zookeeper, сама обработка будет выполняться в фоне). Аналогичные запросы для обычной нереплицированной таблицы будут выполняться синхронно, т.е. вы будете ждать пока выбранные куски сольются в один, что обычно требует много времени.

можно ли в эту таблицу добавить database колонку? что бы можно было фильтровать какая база мне интересна

Тут непонятно что делать для некоторых запросов, например с SELECT * FROM db1.table1 UNION ALL SELECT * FROM db2.table2 Как вариант - сделать масив строк databases и tables

можно ли в эту таблицу добавить database колонку? что бы можно было фильтровать какая база мне интересна

а это должна быть currentDatabase() запроса или первая попавшаяся база от таблицы в запросе?

на усмотрение реализации.

не подскажете где инструкция как собрать-скомпилировать clickhouse?

https://github.com/yandex/ClickHouse/blob/master/doc/build.md

спасибо. лет 8 уже С++ не видел после универа (

а зачем? пакеты ж есть

да я тут решил посмотреть

когда я делаю select * from system.query_log order by event_time desc limit 2 \G можно ли в эту таблицу добавить database колонку? что бы можно было фильтровать какая база мне интересна

Будет неудобно, так как в запросе может использоваться много таблиц, подзапросы, табличные функции и т. п. Лучше будет добавить массив использованных таблиц, но тоже пока неудобно.

не подскажете где инструкция как собрать-скомпилировать clickhouse?

если дебиан-убунту : curl https://raw.githubusercontent.com/yandex/ClickHouse/master/doc/build_debian.sh | sh

https://github.com/antonmks/Alenka

Привет Всем!

Вопрос: если движок MergeTree обрабатывает данные читаю с диска, откуда у него такая производительность?

Что будет если таблица с движком Memory не поместиться в память?

Вопрос: если движок MergeTree обрабатывает данные читаю с диска, откуда у него такая производительность?

Данные на диске - сжатые. Это экономит время на чтение.

и из-за того, что данные по столбцам хранятся

Что будет если таблица с движком Memory не поместиться в память?

Вставка блоков в таблицу атомарна. То есть если вы будете вставлять много данных таблицу, то вставится какое-то количество блоков с данными (и вы сможете эти данные сразу или потом читать), если при вставке очередного блока кончится память, то блок не будет записан, и INSERT завершится с ошибкой.

Привет. Насколько стабилен TCP-протокол ClickHouse? Есть ли где его документация?

Леша, кажется обсуждение этого протокола уже недели три идет =)

И тебе привет. :) Я только зашёл

ага. Перескажу вкратце: документация протокола существует в исходниках и пока он не документирован, потому что не до конца ясно чего именно от него ещё захочется, поэтому публично предлагают http

Привет. Насколько стабилен TCP-протокол ClickHouse? Есть ли где его документация?

документации нет, есть несколько реализаций https://github.com/kshvakov/clickhouse https://github.com/hatarist/clickhouse-cli/blob/binary/clickhouse_cli/clickhouse/binary.py

А про совместимость? Его могут сломать, сломав клиент и внешние реализации?

еще https://github.com/artpaul/clickhouse-cpp

сервер смотрит на версию которую клиент отсылает и ведет себя соответственно, это на сколько я понял, нам самим нужен был гошный клиент, пришлось писать )

https://godoc.org/github.com/kshvakov/clickhouse – так тут API нет вообще

sql.Open("clickhouse") дальше все как с обычными драйверами

Оок, спасибо

для insert begin/commit, все что внутри пишется в буфер, при комите отправляется на сервер

А про совместимость? Его могут сломать, сломав клиент и внешние реализации?

да, там щас версий 7 или 8 с брейеингчейдж изменениями

ну, точнее с такими, что клиент/сервер меняют свое поведение в зависимости отправлено версии друг друга

Отлично. Спасибо всем

То есть, протокол меняется, но сервер и клиент поддерживает совместимость.

как можно обработать ситуацию, когда скалярный подзапрос не вернул значение? Пример: SELECT * FROM Tab1 WHERE dt=(SELECT MAX(dt) FROM Tab2), где Tab2 ещё пустая.

Завернуть в функцию проверки?

проверки на что?

А что надо?