про фразу "кх eventual consistent и время выполнения запросов непредсказуемо и слишком медленно для маленьких выборок." - правильно, я понимаю, что это by design, то есть он не держит большое количество SELECT в принципе (условно говоря 1-3 в секунду - ок), но так как данные после INSERT доступны сразу для SELECT (как написали выше), то с этой точки зрения он консистентен?

Да, так

спасибо

КХ невероятно быстро умеет перемолоть 50 млрд. записей на 10 нодах обработав данные за 2 года. КХ не заточен выбирать 10 записей.

https://felixit.blog/2017/07/04/clickhouse-zachem/ Очень хорошие слова Самое важное, что следует запомнить и понять — эта база данных делалась не для вас и не для ваших задач. Нужно особенности кликхауса превращать в плюсы для своего приложения

да, спасибо, я

это все прочитал

буду тестировать и думать смогу я его особенности превратить в плюсы или нет

тут самое сложное, это бить себя по рукам, чтобы не получалось негативного переноса навыков

у меня есть две разные задачи - аналитика, под нее он подходит хорошо

показывать небольшие списки - под нее он подходит плохо

@count0ru я нашел случайно на гитхабе твою репу с КХ под кубер, хотел поинтересоваться, взлетело?

Почти да )

Но это было давно - я бы поискал Хельм чарт

Робяты, кто нить на Go использует эту библиотеку? "github.com/kshvakov/clickhouse". Никак не могу побороть сохранение в таблице поля, который является массивов UInt64. Может кто подскажет как?

Ребята, кто может подсказать по когортному анализу в Google Sheets, с помощью плагин Analytics Addon?

Робяты, кто нить на Go использует эту библиотеку? "github.com/kshvakov/clickhouse". Никак не могу побороть сохранение в таблице поля, который является массивов UInt64. Может кто подскажет как?

@kshvakov скорее всего подскажет )

Робяты, кто нить на Go использует эту библиотеку? "github.com/kshvakov/clickhouse". Никак не могу побороть сохранение в таблице поля, который является массивов UInt64. Может кто подскажет как?

Должно работать как и для любого другого значения INSERT INTO T (ColumnAUInt64) VALUES(?), в Exec передаете массив.

https://github.com/kshvakov/clickhouse/blob/master/clickhouse_test.go#L507

@kshvakov, спасибо!

Коллеги, а как так может получится что кх не переделывает -preprocessed файлы ?

-rwxrwxr-x. 1 clickhouse clickhouse 1583 авг 11 06:46 administrativedomain-preprocessed.xml -rw-r--r-- 1 root root 1326 авг 12 11:15 administrativedomain.xml

Ошибка видимо в конфиге

Скажите, а КХ нормально относится к запросам когда надо вернуть десяток млн записей по PK раз час условно? В capn'proto например, список UInt32

Аггрегацию по ним он считает полсекунды на моем датасете

Фактически ему надо вычитать 40 МБ с диска и запихать в сеть

Скажите, а КХ нормально относится к запросам когда надо вернуть десяток млн записей по PK раз час условно? В capn'proto например, список UInt32

Почему бы и нет, но профит от кх в таких запросах сомнительный. Мы выгружаем несколько сот тысяч ежесуточно, пока ничего не сломалось :)

Быстро отрабатывает несколько сот тыс? По PK?

Выборка не полностью по pk. Отрабатывает достаточно быстро. Основное время - сеть и запись в dest выгрузки

Выборка не полностью по pk. Отрабатывает достаточно быстро. Основное время - сеть и запись в dest выгрузки

Спасибо, буду тестить тоже

Доброе утро! Есть запрос с JOIN. В результате получаем выборку и группируем ее. В процессе этой группировки необходимо работать с количество строк в этом JOIN. Как получить это количество в том же запросе? Например: >SELECT A.name, sum(B.val) / count(B.date) FROM A JOIN B GROUP BY B.date - count(B.date) в данном случае вернет конечно же количество строк в группировке, есть способ получить число строк в JOIN?

Кто нить пользуется kafka table engine https://clickhouse.yandex/docs/en/operations/table_engines/kafka/? Для кого рода задач?

/stat@combot

combot.org/c/-1001080295593

Доброе утро! Есть запрос с JOIN. В результате получаем выборку и группируем ее. В процессе этой группировки необходимо работать с количество строк в этом JOIN. Как получить это количество в том же запросе? Например: >SELECT A.name, sum(B.val) / count(B.date) FROM A JOIN B GROUP BY B.date - count(B.date) в данном случае вернет конечно же количество строк в группировке, есть способ получить число строк в JOIN?

Собрать всё нужное во вложенном запросе, и уже в окончательном посчитать?

Собрать всё нужное во вложенном запросе, и уже в окончательном посчитать?

>JOIN (SELECT B.date, count()) - так нельзя сделать Нужны отдельно каждая строка и количество этих строк Можно было бы сделать как-то так, но это дополнительный ненужный запрос >JOIN (SELECT B.date FROM B) >JOIN (SELECT count() as count FROM B) В процессе агрегирования (группировке) нужен доступ к оригиналу таблицы без учета агрегации

Всем привет! Пока не разобрался с этим, поэтому повторю вопрос: Подскажите, пожалуйста, как настроить проверку переполнения при insert. В конфигурации Кликхауса по умолчанию такая вставка проходит без ошибок: CREATE TABLE default.test ( i32 UInt32 ) ENGINE = Memory; INSERT INTO default.test (i32) VALUES (123456789012345); (проверял также для MergeTree - поведение такое же)

Всем привет! Пока не разобрался с этим, поэтому повторю вопрос: Подскажите, пожалуйста, как настроить проверку переполнения при insert. В конфигурации Кликхауса по умолчанию такая вставка проходит без ошибок: CREATE TABLE default.test ( i32 UInt32 ) ENGINE = Memory; INSERT INTO default.test (i32) VALUES (123456789012345); (проверял также для MergeTree - поведение такое же)

Никак, проверяйте на клиенте, перед отправкой

>JOIN (SELECT B.date, count()) - так нельзя сделать Нужны отдельно каждая строка и количество этих строк Можно было бы сделать как-то так, но это дополнительный ненужный запрос >JOIN (SELECT B.date FROM B) >JOIN (SELECT count() as count FROM B) В процессе агрегирования (группировке) нужен доступ к оригиналу таблицы без учета агрегации

Приведите пример полного запроса, что именно вам нужно

Приведите пример полного запроса, что именно вам нужно

TABLE A: id, colA TABLE B: id, colB SELECT colA/(количество строк в табилце "В"), sum(colB) FROM A ANY INNER JOIN (SELECT id, colB FROM B) USING id GROUP BY colA Возможно ли в процессе агрегации обращаться к неагрегированным данным таблицы?

TABLE A: id, colA TABLE B: id, colB SELECT colA/(количество строк в табилце "В"), sum(colB) FROM A ANY INNER JOIN (SELECT id, colB FROM B) USING id GROUP BY colA Возможно ли в процессе агрегации обращаться к неагрегированным данным таблицы?

Может как-то так SELECT colA / sum(bCount), sum(colB) FROM A ANY INNER JOIN ( SELECT id, colB, 1 AS bCount FROM B ) USING id GROUP BY colA Но проще сделать отдельный запрос и явно подставить count() от B в запрос

Может как-то так SELECT colA / sum(bCount), sum(colB) FROM A ANY INNER JOIN ( SELECT id, colB, 1 AS bCount FROM B ) USING id GROUP BY colA Но проще сделать отдельный запрос и явно подставить count() от B в запрос

Предположу, что так он подсчитает число sum(bCount) для каждого colA, а не для всех, т.е. это так же с учетом агрегации

Знаю, что в CH есть есть комбинатор -State, подумал, может быть есть и такой, который будет обрабатывать данные на уровне "за группировкой"

Привет всем! пытаюсь подключитсья к CH через докер, не выходит. docker run -it yandex/clickhouse-client:latest -h IP --port PORT -u USER --password PASS --database DBNAME Code: 32. DB::Exception: Attempt to read after eof В чем может быть проблема?

Привет всем! пытаюсь подключитсья к CH через докер, не выходит. docker run -it yandex/clickhouse-client:latest -h IP --port PORT -u USER --password PASS --database DBNAME Code: 32. DB::Exception: Attempt to read after eof В чем может быть проблема?

А как докер сервера как запускали? PORT торчит наружу?

А как докер сервера как запускали? PORT торчит наружу?

Я до этого только с идешки подключался, порт наружу

С табикса и идешки норм получается, в терминале через докер не получается

А как докер сервера как запускали? PORT торчит наружу?

есть идеи в чем может быть проблема?

Скорее всего проблема в том, что вы из докера, через слиент КХ, пытаетесь обратиться к порту, доступному из хоста (там, где докеры запущены). И вам нужно как-то прокинуть порт для докера (я не сильно разбираюсь), как-то так https://forums.docker.com/t/accessing-host-machine-from-within-docker-container/14248/4

Но это не факт

Скорее всего проблема в том, что вы из докера, через слиент КХ, пытаетесь обратиться к порту, доступному из хоста (там, где докеры запущены). И вам нужно как-то прокинуть порт для докера (я не сильно разбираюсь), как-то так https://forums.docker.com/t/accessing-host-machine-from-within-docker-container/14248/4

убрал порт вообще, зашел, спасибо)

Здравствуйте. Подскажите по первичному ключу в MergeTree пожалуйста. ПК - это то, как кликхаус будет сортировать записи при вставке. И описывать ПК слишком детально, наверное, не стоит - скорость вставки может сиильно понизиться, верно? Вставлять первым элементом в кортеж поле типа DateTime не очень хороошая идея? А если это DateTime всегда округлено до пяти минут (00:00:00, 00:00:05 etc т.к. метрики ко мне прилетают четко раз в пять миинут)?

Здравствуйте. Подскажите по первичному ключу в MergeTree пожалуйста. ПК - это то, как кликхаус будет сортировать записи при вставке. И описывать ПК слишком детально, наверное, не стоит - скорость вставки может сиильно понизиться, верно? Вставлять первым элементом в кортеж поле типа DateTime не очень хороошая идея? А если это DateTime всегда округлено до пяти минут (00:00:00, 00:00:05 etc т.к. метрики ко мне прилетают четко раз в пять миинут)?

Для метрик DateTime в индексе отличный выбор ;)

DateTime или Date?

DateTime

ну типа да. Просто зачем я вдруг подумал про DateTime в ПК: я внезапно захотел заюзать SummingMergeTree, чтобы оно мне метрики за одно и то же время по одним и тем же, скажем, связям суммировал.

У меня есть сценарий, когда по одному набору "измерений" прилетают счетчики по очереди: сначала counter1, потом counter2.

думал, устанавливать отсутствующие счетчики в 0 и позволять SUmmingMergeTree сразу же аггрегировать подобные записи. Вот такой пример у меня моей схемы: https://gist.github.com/azzz/c9e2d1cb4ec99184a4c790e820db504e

это я у Кирилла спрашивал. обычно просто рекомендуют в индекс выносить Date

я думаю, Кирилл сарказмировал

похоже, да

Нет, у вас все норм, только старайтесь вместо строк числовые идентификаторы использовать

соответственно, три пути: - пусть программа группрует такие записи - пусть группирует КХ - он умный. - вообще не группировать прии вставке и не париться.

@kshvakov ну, я эти строки в Dictionary вынесу. Тем более, что те строки - это вообще полная печалька, там... UUIDы.

Для метрик SummingMergeTree отличный выбор, мы так туда из кафки сырые даные скидываем, а он в фоне суммирует

@kshvakov ну, я эти строки в Dictionary вынесу. Тем более, что те строки - это вообще полная печалька, там... UUIDы.

Тогда FixedString(16) и все будет хорошо

в документации пишут, что с FixedString умеют работать не все функции и лучше его избегать. Но в принциипе, я не собираюсь проводиить манипуляции с ними.

Окей, но SummingMergeTree мержит записи не при каждом инсерте, а когда сам посчитает нужным. Т.е. вполне вероятен сценарий, когда я сделаю select и вместо одной записи получу 4 - т.к. еще не смержил, не успел. Выходит, что group by прийдется делать всегда при селекте?

таким образом, SummingMergeTree не то, чтобы сильно оптимизириует время получения данных, но зато оптимизирует процесс хранения, ага?

Окей, но SummingMergeTree мержит записи не при каждом инсерте, а когда сам посчитает нужным. Т.е. вполне вероятен сценарий, когда я сделаю select и вместо одной записи получу 4 - т.к. еще не смержил, не успел. Выходит, что group by прийдется делать всегда при селекте?

да, всегда нужно делать "доагрегированние"

таким образом, SummingMergeTree не то, чтобы сильно оптимизириует время получения данных, но зато оптимизирует процесс хранения, ага?

Он сильно можнт оттимизировать все схлопнув 1кк метрик в 500

ну так-то да.

спасибо.

Не совсем понятно из документаци <allow_databases> нужно указывать в настройках пользователя или в настройках квоты?

Не совсем понятно из документаци <allow_databases> нужно указывать в настройках пользователя или в настройках квоты?

Пользователя

спс

Друзья, подскажите, пожалуйста, когда ожидается функционал КХ, который позволит разграничивать права пользователей на запись к конкретным бд ?

в текущем roadmap-е нет https://clickhouse.yandex/docs/en/roadmap/

Друзья, подскажите, пожалуйста, когда ожидается функционал КХ, который позволит разграничивать права пользователей на запись к конкретным бд ?

Что-то я не понимаю, а <allow_databases> это разве не оно?