Доброе утро! Вoпрос с движком "memory" а что произойдет если таблица перестанет влезать в память?

Доброе утро! Вoпрос с движком "memory" а что произойдет если таблица перестанет влезать в память?

Я не спец, но мне почему-то кажется, что все упадёт и данные пропадут, но лучше подождать ответ эксперта

Привет, в MergeTree (<столбец с датой>, (<стобцы для индексирования...>, <столбец с датой>), 8192) я правильно понял?

Движок принимает параметры: имя столбца типа Date, содержащего дату; выражение для семплирования (не обязательно); кортеж, определяющий первичный ключ таблицы; гранулированность индекса. Пример: Пример без поддержки сэмплирования: MergeTree(EventDate, (CounterID, EventDate), 8192) Пример с поддержкой сэмплирования: MergeTree(EventDate, intHash32(UserID), (CounterID, EventDate, intHash32(UserID)), 8192)

Можно. CREATE DATABASE dictionaries ENGINE = Dictionary Далее смотрите внутрь - там будут таблицы для каждого словаря, из которых можно делать SELECT-ы. Работает нормально только в последней testing версии ClickHouse. В последней stable почти работает, но есть одна неприятная недоделка...

@milovidov_an, а можно уточнить в чем эта недоделка в stable?

@milovidov_an, а можно уточнить в чем эта недоделка в stable?

Данные из таблицы не передаются для последующей обработки интерпретатору запроса. В результате, на запрос возвращаются все данные таблицы, независимо от того, что написано в WHERE, какие выражения и т. п.

спасибо

У меня вопрос о том как правильно сделать "cancel" для уже выполняющегося запроса по native протоколу, сейчас я шлю Cancel (3) после чего закрываю соединение, раньше нам этого было достаточно, но теперь хочется оставлять соединение для переиспользования. Проблема в том, что если я посылаю просто Cancel то все следующие запросы не будут работать, т.к. сервер будет ругаться на то что прилетел неизвестный пакет, отсюда и вопрос как правильно выполнять запрос что писать и что пытаться вычитать от сервера на запрос Cancel, могу ли я просто выполнить запрос Cancel если в данный момент никакой запрос в данном соединении не выполняется ?

Нужно отправить Cancel, а затем прочитать все оставшиеся данные как обычно (должно довольно быстро прилететь EndOfStream, но при распределённой обработке, сервер пытается по-хорошему (без закрытия соединений) отменить все вложенные запросы).

> могу ли я просто выполнить запрос Cancel если в данный момент никакой запрос в данном соединении не выполняется Это навскидку не помню, можно посмотреть.

Спасибо

такой вопрос по поводу ReplicatedReplacingMergeTree — в доке его нет, на самом деле оно есть, но фича "выбрать последнее по ver" вроде как не работает 1) действительно ли не работает, или это я дурак? 2) если не работает, как добиться нужной фунциональности? Например, перед запросом можно делать "where id in (<find_last_id>)", но мб это не самое шустрое решение

Пользуемся им, OPTIMIZE FINAL точно работает... Version вроде тоже работали. А под условия запроса точно последняя версия подпадает?

Кстати, Алексей говорил, что официально ReplicatedReplacingMergeTree поддерживается и вроде даже его документируют в ближайшее время :)

такой вопрос по поводу ReplicatedReplacingMergeTree — в доке его нет, на самом деле оно есть, но фича "выбрать последнее по ver" вроде как не работает 1) действительно ли не работает, или это я дурак? 2) если не работает, как добиться нужной фунциональности? Например, перед запросом можно делать "where id in (<find_last_id>)", но мб это не самое шустрое решение

Работает, ровно так же, как в ReplacingMergeTree.

Кстати, Алексей говорил, что официально ReplicatedReplacingMergeTree поддерживается и вроде даже его документируют в ближайшее время :)

Да, есть один человек, который должен его задокументировать.

Пользуемся им, OPTIMIZE FINAL точно работает... Version вроде тоже работали. А под условия запроса точно последняя версия подпадает?

ага, спасибо, я просто под "optimize" смотрел

Обычно нет необходимости самостоятельно вызывать OPTIMIZE.

Обычно нет необходимости самостоятельно вызывать OPTIMIZE.

угу, я в тестовом режиме

Приветствую всех! Не подскажете как выполнить запрос через HTTP интерфес с использованием внешних словарей? Есть вот такой запрос select dictGetString('api_keys','key', number) as k from system.numbers where k <> '' limit 33; Он отлично работает в нативном клиенте. А вот через HTTP не хочет GET: query=select%20dictGetString('api_keys'%2C'key'%2C%20number)%20as%20k%20from%20system.numbers%20where%20%20%20k%20%3C%3E%20%22%22%20limit%2033%20FORMAT% RESP:Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 86: &#34;&#34; limit 33 FORMAT JSON&#10;, expected identifier, e.what() = DB::Exception&#10;

Скорее всего, возникла путаница при кодировании URL. В этом случае намного удобнее отправлять запрос POST-ом, а не через параметр URL.

Может есть у кого какой-то пример, как сгенерировать RowBinary. Хорошо если на java/scala

нашел, спасибо

https://github.com/yandex/clickhouse-jdbc/blob/master/src/main/java/ru/yandex/clickhouse/util/ClickHouseRowBinaryStream.java

https://github.com/yandex/clickhouse-jdbc/blob/master/src/main/java/ru/yandex/clickhouse/util/ClickHouseRowBinaryStream.java

Там рядом в тестах ещё Native есть, но он чуток сложнее

Скажите, а гарантируется, что при выполнение SELECT groupArray(col1), groupArray(col2) FROM events элементы двух массивов будут находится в том же соответствии как они лежат в clickhouse?

При выполнении запроса, порядок передачи значений в разные агрегатные функции будет одинаковым. Но при разных выполнениях запроса, значения могут прийти в другом порядке.

Сборочные проблемы с слишком большим расходом памяти при компиляции и ошибкам на gcc7 поправлены.

Замечательно :)

Всем привет! А почему clickhouse возвращает символ экранирования с одинарной кавычкой? vp@b590:~$ echo "SELECT '\''" | curl 'http://localhost:8123/?' —data-binary @- \' vp@b590:~$ clickhouse-client ClickHouse client version 1.1.54245. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54245. :) SELECT '\'' SELECT '\'' ┌─\'\\\'\'─┐ │ \' │ └──────┘ 1 rows in set. Elapsed: 0.003 sec. :) exit Bye.

При выполнении запроса, порядок передачи значений в разные агрегатные функции будет одинаковым. Но при разных выполнениях запроса, значения могут прийти в другом порядке.

Ага, то, что нужно.

https://github.com/facebook/zstd

https://github.com/facebook/zstd

https://github.com/yandex/ClickHouse/blob/master/dbms/src/Server/config.xml#L227

так и помнилось что он уже есть. новость протухла?

Всем привет! А почему clickhouse возвращает символ экранирования с одинарной кавычкой? vp@b590:~$ echo "SELECT '\''" | curl 'http://localhost:8123/?' —data-binary @- \' vp@b590:~$ clickhouse-client ClickHouse client version 1.1.54245. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54245. :) SELECT '\'' SELECT '\'' ┌─\'\\\'\'─┐ │ \' │ └──────┘ 1 rows in set. Elapsed: 0.003 sec. :) exit Bye.

Экранирование зависит от выбранного формата данных. Например, в формате TabSeparated данные экранируются, а в TabSeparatedRaw - нет. По-умолчанию в клиенте в интерактивном режиме используется формат PrettyCompact. Именно он выводит данные в красивых табличках. В нём данные тоже экранируются. Это сделано для того, чтобы их было легче видеть - когда в данных присутствуют переводы строк или, например, нулевые байты. Хотя тот факт, что даже при выводе в виде красивых табличек в клиенте, используется экранирование, может противоречить опыту использования, например, MySQL клиента, который не экранирует данные в аналогичном случае. При этом, правила экранирования общие для форматов TabSeparated, Values, Pretty. Например, одинарная кавычка экранируется и при выводе в TabSeparated формате, хотя это было бы не обязательно. Чтобы посмотреть данные без экранирования, добавьте в конец запроса FORMAT TabSeparatedRaw.

так и помнилось что он уже есть. новость протухла?

Какая новость?

https://twitter.com/ifesdjeen/status/890994748353327104

ZStandard использовался в ClickHouse начиная с версии 0.x, ещё до того, как Yan Collet перешёл на работу в Facebook. В том числе, репортили баги.

https://twitter.com/ifesdjeen/status/890994748353327104

1.0 вышел в августе прошлого года )

сорри (

сорри (

Хорошая штука и лишнее внимание к ней не помешает :)

небольшая exposure кх к golang девелоперам https://www.meetup.com/golang-amsterdam/events/241741582/

упомянул кх рассказывая про clickhouse_exporter

Интересно, сейчас посмотрим...

ну на самом деле ничего интересного, но несу в массы)

В мастере починено dbms/src/Common/Collator.cpp:12:36: error: unknown option after ‘#pragma GCC diagnostic’ kind [-Werror=pragmas] #pragma GCC diagnostic ignored "-Wunused-private-field" А в stable нет

Коллеги, а сколько нужно КХ памяти выделять? =) Наблюдаю такую картину : делаю миграцию данных из монги в кх. Дал тачке 8 гб, в какой-то момент кх ужрался 8гб и стал тормозить, вот сейчас дал 20 гб, жду, что же будет

Мигрирую в таблу с ReplacingMergeTree

Мигрировало примерно 1 млн записей из 25.

а как миграция реализована?

Джава приложение на другой виртуалке

Сейчас смотрю конфиги, где-то в интернетах вычитал, что по дефолту макс память выставлена в 10гб

не так важно на каком языке приложение миграции и на VM или HW оно запущено

больше интересует: * сколько потоков * какие батчи и т.п.

1 поток, выгребает в память по 20000 записей и инсертит в кх

одним батчем?

Не могу сказать, что это батч. Это последовательнй цикл инсертов

т.е. делается 20 К инсертов?

верно

для 20К строк

ERROR: S client not available

Да

но это же антипатерн

Я сделал это за 5 минут =)

потом CH захлебнется делать мержы

ну рекомендую потратить еще какое-то время и сделать так, чтоб одним инсертом вставлялось много строк

начни вот с этих 20K

Ок, но есть же предел в пожирании памяти?

Он работал довольно быстро и так. Но ужирался памятью через полчаса и тормозил

в логах что-то было подозрительное?

придел какой-то есть

но 8г это конечно не тот объем под который заточены дефолт конфиги CH, как я понял

Пока подозрительного ничего не видел. Но походу от моих перераспределений памяти, сдохла монга. И все сломалось =)

Ладно - пойду оптимизирую на батчи. И почитаю про настройки памяти в кх

@lexa_work а что необходимо для того, чтобы оно работало в батче? Просто передать n инсертов разделенных ;?

один инсерт с множеством VALUES

Понял, спс

@lexa_work побыстрее стало намного с батчем

вообще космос

спасибо

Это спасибо разработчикам за такую бомбу

Ну, если бы ты не настоял, я бы 29 часов мигрировал бы думая, что и так сойдет

Сейчас скажу сколько мне сэкономило времени, как запущу

Ну, если бы ты не настоял, я бы 29 часов мигрировал бы думая, что и так сойдет

вообще не понимаю людей которым лень прочитать документацию и понять как что работает, а потом удивляться в неожиданных местах

в контексте баз данных. это

же не на один день

вообще не понимаю людей которым лень прочитать документацию и понять как что работает, а потом удивляться в неожиданных местах

Ну да, это глупо - согласен. Но основную проблему не факт, что решил.

Попробую изучить более детально, и если все-таки не смогу ничего сделать - еще раз напишу =)

для скала я порекомендовал бы наш батчер https://github.com/crobox/clickhouse-scala-client, но на джава код может выглядеть достаточно коряво

У меня майбатис. Он тоже умеет батчить =)

f1yegor я посмотрю, спасибо. У меня одно приложений на скале со спарком