Раскидайте по разным таблицам, старую не убирайте, посравнивайте

Тогда не совсем понимаю. Если в одном запросе надо получить столбцы из двух таблиц, то это делается не Join?

почему, можно и джойн

просто если у вас есть таблица1, в которой например 100 строк по вашим условиям, и вы заджойните ее на таблицу2 без условий, а в ней например 10000000 строк, то сначала в подзапросе обработается полностью таблица2, ее результат в оперативу, и заджойнится на таблицу1

Спасибо за помощь. Попробую

насколько я помню, JOIN с пробросом условий, аналог sql, обещали сделать, планировали в разработку

есть такой глупый вопрос по distributed: допустим, у меня есть 100-200 нод (без реплик), в каждой 100к записей за сутки примерно, и я хочу сделать ко всему этому запрос с group by (в результате выборки будет 100-1000 записей). вопрос заключается в том, как будет расходоваться память на ноде, которая будет делать аггрегацию с этой distributed таблицы

есть такой глупый вопрос по distributed: допустим, у меня есть 100-200 нод (без реплик), в каждой 100к записей за сутки примерно, и я хочу сделать ко всему этому запрос с group by (в результате выборки будет 100-1000 записей). вопрос заключается в том, как будет расходоваться память на ноде, которая будет делать аггрегацию с этой distributed таблицы

Каждая из нод сделает промежуточную агрегацию у себя и передаст сериализованные состояния на ноду, в которую слали запрос.

то есть, оценка примерно n_groups * n_nodes?

и "прожорливость" будет зависеть от того, сколько уникальных ключей агрегации будет, и насколько тяжелые до памяти там агрегатные функции

но основная тяжесть ляжет на ноды distributed, а не на ноду, которая эти данные аггрегирует - так?

например select count() from distributed group by uint8_typed_field до памяти не жручая

у меня проблема усугубляется тем, что я храню данные в нескольких таблицах и иногда нужен join / array join

но основная тяжесть ляжет на ноды distributed, а не на ноду, которая эти данные аггрегирует - так?

если 1_000_000_000 строк вырождается в 10 строк result-set, то да

понятно, спасибо

Ребят, подскажите пожалуйста, как транспонировать таблицу?

Вы получаете результат сжатым потоком в http, curl разжимает. Хотите архива - архивируйте самостоятельно.

Вы получаете результат сжатым потоком в http, curl разжимает. Хотите архива - архивируйте самостоятельно.

А как я могу проверить, что действительно по сети передаются сжалые данные?

опция curl -v

Ну или через tcpdump словить

опция curl -v

Спасибо, попробую из терминала сделать (на скрине постман)

опция curl -v

Да, в терминал возвращается кракозябра.. Значит это постман сам разжимает. Спасибо!

А как я могу проверить, что действительно по сети передаются сжалые данные?

curl -v - отдаст заголовки

или tcpdump'ом поиграйтесь если недоверяете

Запрос болтался в system.process а потом пропал но консольный client который его выполнял не отвалился - куда смотреть что случилось не так ?

в system.query_log его нет

Всем привет! Есть сложности с подключением Talend Open Studio (Data Integration) к КХ: в error message видно только java.lang.NoSuchMethodError: java.nio. На этом же .jar через jdbc нормально подключается DBeaver. Кто-нибудь сталкивался с таким?

Что случается при превышении max_memory_usage_for_all_queries или max_memory_usage_for_user ? Или КХ просто не даст до такого дойти, будет порционно обрабатывать данные?

yandex/ClickHouse was tagged: v1.1.54394-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54394-stable Release notes: Auto version update to [54394]

привет. а никаких идей для обхода использования констант в функциях при работе со строками нет?

Что случается при превышении max_memory_usage_for_all_queries или max_memory_usage_for_user ? Или КХ просто не даст до такого дойти, будет порционно обрабатывать данные?

Кинет исключение при обработке запроса. Пользователю вернётся ошибка с описанием.

в system.query_log его нет

system.query_log по-умолчанию выключен. Включается отдельно - настройкой log_queries уровня пользователя. Эту настройку можно прописать для всех - в users.xml в профиле default.

system.query_log по-умолчанию выключен. Включается отдельно - настройкой log_queries уровня пользователя. Эту настройку можно прописать для всех - в users.xml в профиле default.

спасибо

Добрый день Скажите пожалуйста, а можно как-то сделать выборку с match, где регулярку брать из поля, не константой?

добрый день Да, можно

просто вместо регулярки делаете select

результатом SELECT должен быть текст регулярного выражения

А как потом передать это в матч?

А как потом передать это в матч?

match(column, (SELECT ...))

А, я понял, спасибо. Я думал выбрать из таблицы с условием match(column1, joinedColumn)

а почему IN требует GLOBAL, если во вложенном запросе выбирать колонку, которая является ключом шардирования?

так вам нужны все результаты или с шарда только?

все, но логично предположить, что каждый шард можем сам целиком посчитать для себя

товарищи, а вот у меня если есть пара таблиц, в каждой по миллиарду записей, есть смысл делать запросы с джойнами этих таблиц? 1-к-1

поле по которому джойнить называется в двух таблицах по разному, поэтому интересно до того как буду приниматься за переименование - есть ли смысл

поле по которому джойнить называется в двух таблицах по разному, поэтому интересно до того как буду приниматься за переименование - есть ли смысл

Переименуйте в рамках запроса. Вообще вопрос странный, уточните что вас беспокоит? Будет ли быстро работать или что?

ну да, будет ли работать за адекватное время - за пару минут хотя бы

Пробуйте, без дополнительных вводных ничем помочь не сможем

Привет! Хочу соптимизировать подключения к ClickHouse приложение работает на базе SpringBoot и использует последнюю сборку jdbc драйвера, но на сколько я понимаю - все запросы все равно выполняются по шттп? думаю как быть с коннекшен пулом. имеет смысл что то химичить или смысла нет

Привет! Хочу соптимизировать подключения к ClickHouse приложение работает на базе SpringBoot и использует последнюю сборку jdbc драйвера, но на сколько я понимаю - все запросы все равно выполняются по шттп? думаю как быть с коннекшен пулом. имеет смысл что то химичить или смысла нет

посмотрите на https://github.com/Vertamedia/chproxy

Всем привет! Есть ли возможность в запросе написать нечто вроде - any(*), что бы не оборачивать каждый аргумент пр агрегированных запросах??

посмотрите на https://github.com/Vertamedia/chproxy

а к нему самому надо пул соединений держать?

Всем привет! Есть ли возможность в запросе написать нечто вроде - any(*), что бы не оборачивать каждый аргумент пр агрегированных запросах??

Скорее всего нет, КХ "не любит" *

Есть таблица a1 в mysql, есть таблица a2 в КХ, которая смотрит на таблицу a1 в mysql. И в a1 есть поле типа Enum, которое может быть Null. При попытки обратиться к таблице a2 пишет ошибку Unsupported type Enum8('promo' = 1, 'flashPromo' = 2) Попытался при создании таблицы a2 обернуть поле в Nullable, поиграться со значениями самого enum - не помогает. Есть вариант обойти?

Enum8(null=-1, 'promo' = 1, 'flashPromo' = 2) ?

у меня вот такая конструкция при загрузке данных replaceOne(ifNull(eventtype,''),'null','')

null значения преобразовываются в строки нулевой длины сначала. а потом уже столбец в enum

Enum8(null=-1, 'promo' = 1, 'flashPromo' = 2) ?

Code: 223, e.displayText() = DB::Exception: Elements of Enum data type must be of form: 'name' = number, where name is string literal and number is an integer, e.what() = DB::Exception

а ''=-1 ?

но понадобится преобразование скорее всего, которое выше

а ''=-1 ?

Unsupported type Enum8('promo' = -1, 'flashPromo' = 2, '' = 3)

но понадобится преобразование скорее всего, которое выше

А как его записать в запрос создания таблицы? Или только через вьюху поверх таблицы?

Скорее всего нет, КХ "не любит" *

Возможно есть какой-либо способ взять строки только с максимальной версией (отдельное поле) , что-то вроде того: SELECT * FROM test.transactions AS t1 WHERE version = ( SELECT MAX(version) FROM test.transactions AS t2 WHERE t1.tran_id = t2.tran_id ) AS tmp

у меня это как раз в запросе создания таблцы. только у меня она из log таблицы создаётся. как вы из mysql достаёте я не знаю.

cast(replaceOne(ifNull(eventtype,''),'null','') as Enum8 ('' = 0, 'mytype' = 1)) as eventtype,

у меня это как раз в запросе создания таблцы. только у меня она из log таблицы создаётся. как вы из mysql достаёте я не знаю.

Как-то так http://joxi.ru/KAxNRVPtMRpgam

cast(replaceOne(ifNull(eventtype,''),'null','') as Enum8 ('' = 0, 'mytype' = 1)) as eventtype,

Ого, спасибо, попробую

cast(replaceOne(ifNull(eventtype,''),'null','') as Enum8 ('' = 0, 'mytype' = 1)) as eventtype,

Ругается:

Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 533 (line 22, col 7): ( replaceOne( ifNull(usedPromocodeType, ''), 'null', '' ) as Enum8 ('' = 0, 'promo' = 1, 'flashPromo' = 2) ) as usedPromocodeT. Expected one of: identifier with optional parameters, function, DEFAULT, MATERIALIZED, ALIAS, nested table, identifier with parameters, identifier, e.what() = DB::Exception

Спасибо за советы, похоже проще отказаться от Enum

так этот подход работает, когда вы mergetree создаёте как селект из другой (log/mysql) таблицы

то есть мускульную таблицу как строку создаёте и делаете импорт в мерджтри

так этот подход работает, когда вы mergetree создаёте как селект из другой (log/mysql) таблицы

Так а если так создавать таблицу (a2), при вставке в исходную (a1) данные в a2 как попадут?

вручную догружать insert as select

Коллеги, в документации написано, что в таблицы BUFFER не имеет смысла вставлять по одной строке, производительность не будет оптимальна; а вот к какому размеру вставляемых данных стремиться, не сказано. Сориентируйте, пожалуйста. Сейчас у нас по факту вставляется от, скажем, 3 до 300 строк за раз, и таких вставок, наверное, штук 50-60 в секунду (в разные буферные таблицы в сумме). И ещё интересно - если ничего не менять, с какого количества инсертов в секунду мы упремся в потолок, при текущем размере инсерта? То есть, насколько мы далеко от проблем)

Всем привет, а есть ли способ оценить необзходимое значение настройки max_result_bytes, кроме как опытным путём?

Коллеги, в документации написано, что в таблицы BUFFER не имеет смысла вставлять по одной строке, производительность не будет оптимальна; а вот к какому размеру вставляемых данных стремиться, не сказано. Сориентируйте, пожалуйста. Сейчас у нас по факту вставляется от, скажем, 3 до 300 строк за раз, и таких вставок, наверное, штук 50-60 в секунду (в разные буферные таблицы в сумме). И ещё интересно - если ничего не менять, с какого количества инсертов в секунду мы упремся в потолок, при текущем размере инсерта? То есть, насколько мы далеко от проблем)

Упс, то были искаженные данные. На самом деле от 1 до 50 строк инсерт, инсертов около тысячи в секунду. Но это всё в буферные таблицы. Параметры этих таблиц - по умолчанию.

Коллеги, в документации написано, что в таблицы BUFFER не имеет смысла вставлять по одной строке, производительность не будет оптимальна; а вот к какому размеру вставляемых данных стремиться, не сказано. Сориентируйте, пожалуйста. Сейчас у нас по факту вставляется от, скажем, 3 до 300 строк за раз, и таких вставок, наверное, штук 50-60 в секунду (в разные буферные таблицы в сумме). И ещё интересно - если ничего не менять, с какого количества инсертов в секунду мы упремся в потолок, при текущем размере инсерта? То есть, насколько мы далеко от проблем)

А кто формирует блоки "3 до 300 строк"? Может там стоит сделать батчинг до 1к и не использовать Buffer вообще? Я выработал правило для КХ (и не только) - делай как можно проще. Если написано в доке что лучше не использовать Buffer, а батчить на стороне приложения - делаю так

Мы сейчас вообще на Раббите сделали цепочку очередей и гоняем данные разных стадий готовности (по одной записи). И только на финальном этапе батчим как нам удобно - шикарно работает

господа, приветствую. извините за беспокойство, но никто не поделится клиентом под osx? билдить я его вечность буду на своем ноуте, из homebrew ставится нерабочий. быть может, у кого-то есть уже собранный?

господа, приветствую. извините за беспокойство, но никто не поделится клиентом под osx? билдить я его вечность буду на своем ноуте, из homebrew ставится нерабочий. быть может, у кого-то есть уже собранный?

В Docker самое простое

господа, приветствую. извините за беспокойство, но никто не поделится клиентом под osx? билдить я его вечность буду на своем ноуте, из homebrew ставится нерабочий. быть может, у кого-то есть уже собранный?

Либо ходить по http

Например, через tabix