Выскочили ошибки в репликации в мониторинге, мониторю селектом из документации. Тупо пересоздал таблицу, данные с другой реплики скачались, ошибки ушли, всем спасибо :)

всем привет, у меня тормозит кликхаус))) Посоветуйте, что делать. Если чесно я думал такого не будет т.к. данных у меня не очень много, 0.5 миллиард в месяц. в базе примерно 30 колонок, запросы делается на 10 из них (Uint32, дата, float64). Запросы еденичные выполняются редко. (машинка под кликхаус AMD Ryzen 7 1700X Eight-Core Processor 63 GB). По всем колонкам sum. вот например простой select типа SELECT SUM(field), sum(field), sum(field), sum(field), sum(field), sum(field), sum(field), sum(field), sum(field), sum(field), sum(field) FROM event WHERE event_date>=toDate('2018-04-23');

выдает мне вот такой результат

Elapsed: 7.765 sec. Processed 675.90 million rows, 47.31 GB (87.04 million rows/s., 6.09 GB/s.)

Это нормально или я делаю что-то не так? Можете посоветовать, что-то кроме горизонтального маштабирования?)

Выскочили ошибки в репликации в мониторинге, мониторю селектом из документации. Тупо пересоздал таблицу, данные с другой реплики скачались, ошибки ушли, всем спасибо :)

Не могли бы Вы скинуть ссылку на этот селект - сейчас той же темой занимаемся :)

Не могли бы Вы скинуть ссылку на этот селект - сейчас той же темой занимаемся :)

https://clickhouse.yandex/docs/ru/single/#systemreplicas

там чуть ниже промотать, или CTRL+F "Если этот запрос ничего не возвращает - значит всё хорошо."

Это нормально или я делаю что-то не так? Можете посоветовать, что-то кроме горизонтального маштабирования?)

Это нормально, а что вас смущает?

https://clickhouse.yandex/docs/ru/single/#systemreplicas

Большое спасибо!

Это нормально, а что вас смущает?

Спасибо за ответ, смущает скорость) Очень нужно быстрее. Видимо больше компьютеров мой вариант? Есть еще возможность агрегировать данные, как вы считает стоит оно того или нет?

Спасибо за ответ, смущает скорость) Очень нужно быстрее. Видимо больше компьютеров мой вариант? Есть еще возможность агрегировать данные, как вы считает стоит оно того или нет?

Вы читаете 47GB данных, можно раскидать данные по машинам (дорого) или сделать материализованное представление поверх таблицы с движком SummingMergeTree и все будет быстро

Выскочили ошибки в репликации в мониторинге, мониторю селектом из документации. Тупо пересоздал таблицу, данные с другой реплики скачались, ошибки ушли, всем спасибо :)

Вообще, КХ сам понимает что что-то не так (в вашем случае похоже что они уже есть в другом куске) и выкачивает нужный кусок с другой реплики, собственно в логах он вам об этом и написал

Вы читаете 47GB данных, можно раскидать данные по машинам (дорого) или сделать материализованное представление поверх таблицы с движком SummingMergeTree и все будет быстро

Спасибо, будем пробовать тогда

https://clickhouse.yandex/docs/ru/single/#systemreplicas

Еще в system.replication_queue стоит смотреть - если растет то репликация не идет и там же будут ошибки

Вообще, КХ сам понимает что что-то не так (в вашем случае похоже что они уже есть в другом куске) и выкачивает нужный кусок с другой реплики, собственно в логах он вам об этом и написал

Это хорошо, просто селект выдавал не пустоту :) и непонятно было, что с этим делать

репликация при этом шла и все было ок

вьюха была мелкая, быстрее было пересоздать ее

День добрый, а не планируется ли поддержка битовых операторов, а не отдельных специфичных функций? например & и | как аналог функций bitAnd(A, B), bitOr(A, B). Дело в том, что наша уютная ОРМочка генерирует SQL код с использованием операторов

Здравствуйте! Во всех, найденных мной, гайдах идёт импорт данных из локального csv/tsv. Может ли клик ходить на s3 ?

Здравствуйте! Во всех, найденных мной, гайдах идёт импорт данных из локального csv/tsv. Может ли клик ходить на s3 ?

Пока нет, но можете сделать пайп

Пока нет, но можете сделать пайп

ok, спасибо

Добрый день, можете подсказать, как вставить кусок данных в MergeTree если данные относятся к разным месяцам?

Кусок обязательно придется бить на месяца?

Нет, не обязательно

Code: 0, Message: Logical error: part spans more than one month.

max_replica_delay_for_distributed_queries А как считается это отставание? По последней записи?

Code: 0, Message: Logical error: part spans more than one month.

А версия сервера какая? Просто у меня не воспроизводится

ClickHouse server version 1.1.54380.

как-то вы странно вставляете

покажете запрос? в каком формате?

ClickHouse server version 1.1.54380.

kshvakov :) create table test_logical(date Date, Value String) engine MergeTree partition by date order by date; CREATE TABLE test_logical ( date Date, Value String ) ENGINE = MergeTree PARTITION BY date ORDER BY date Ok. 0 rows in set. Elapsed: 0.009 sec. kshvakov :) kshvakov :) insert into test_logical values ('2018-01-01', 'A'), ('2018-02-02', 'B') INSERT INTO test_logical VALUES Ok. 2 rows in set. Elapsed: 0.012 sec. kshvakov :) select * from test_logical SELECT * FROM test_logical ┌───────date─┬─Value─┐ │ 2018-02-02 │ B │ └────────────┴───────┘ ┌───────date─┬─Value─┐ │ 2018-01-01 │ A │ └────────────┴───────┘ 2 rows in set. Elapsed: 0.006 sec.

может быть в бинарном формате?

kshvakov :) create table test_logical(date Date, Value String) engine MergeTree partition by date order by date; CREATE TABLE test_logical ( date Date, Value String ) ENGINE = MergeTree PARTITION BY date ORDER BY date Ok. 0 rows in set. Elapsed: 0.009 sec. kshvakov :) kshvakov :) insert into test_logical values ('2018-01-01', 'A'), ('2018-02-02', 'B') INSERT INTO test_logical VALUES Ok. 2 rows in set. Elapsed: 0.012 sec. kshvakov :) select * from test_logical SELECT * FROM test_logical ┌───────date─┬─Value─┐ │ 2018-02-02 │ B │ └────────────┴───────┘ ┌───────date─┬─Value─┐ │ 2018-01-01 │ A │ └────────────┴───────┘ 2 rows in set. Elapsed: 0.006 sec.

скорее всего партиция там не по дням, а месяцам

и что в одном инсерте нельзя вставить разные месяцы

ерунда, всё вставляется

скорее всего партиция там не по дням, а месяцам

Легко kshvakov :) create table test_logical(date Date, Value String) engine MergeTree partition by toYYYYMM(date) order by date; CREATE TABLE test_logical ( date Date, Value String ) ENGINE = MergeTree PARTITION BY toYYYYMM(date) ORDER BY date Ok. 0 rows in set. Elapsed: 0.003 sec. kshvakov :) insert into test_logical values ('2018-01-01', 'A'), ('2018-02-02', 'B') INSERT INTO test_logical VALUES Ok. 2 rows in set. Elapsed: 0.007 sec. kshvakov :) select partition from system.parts where table = 'test_logical' and active SELECT partition FROM system.parts WHERE (table = 'test_logical') AND active ┌─partition─┐ │ 201801 │ │ 201802 │ └───────────┘ 2 rows in set. Elapsed: 0.001 sec.

нужен пример для воспроизведения чтоб, если что, можно было пофиксить

такое ощущение, что речь идет про FORMAT Native

кажется, что только тут данные не парсятся построчно

Да, изменил формат и все пошло

Спасибо

@lechie можете пример скинуть чтоб можно было воспроизвести ?

Попробуйте unix timestamp писать в поле date Date

Попробуйте unix timestamp писать в поле date Date

На более новых версиях воспроизводиться?

Попробуйте unix timestamp писать в поле date Date

Кликхаус не занимается приведением типов, в Date надо вставлять дату, timestamp можно в DateTime

toDate(1527086416) вот так можно вставлять

Кликхаус не занимается приведением типов, в Date надо вставлять дату, timestamp можно в DateTime

На драйвер понадеялся, спасибо за информацию.

github.com/mailru/go-clickhouse

так эта ошибка похоже от драйвера, а не от КХ

сам КХ вставляет timestamp в Date, правда получается не очень: :) insert into test_date values(1527086416) INSERT INTO test_date VALUES Ok. 1 rows in set. Elapsed: 0.005 sec. :) select * from test_date; SELECT * FROM test_date ┌───────date─┐ │ 2057-10-31 │ └────────────┘ 1 rows in set. Elapsed: 0.480 sec.

1527086416 -- это число дней с 1970 года, а не таймштемп. select toDate (0+365) ┌─toDate(plus(0, 365))─┐ │ 1971-01-01 │ └──────────────────────┘

https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/MergeTreeDataWriter.cpp @ 152 строка та самая ошибка

Которая вылетала, похоже

https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/MergeTreeDataWriter.cpp @ 152 строка та самая ошибка

ok

- 404 на https://clickhouse.yandex/docs/ru/docs/ru/operations/settings/settings/#format_csv_delimiter баг или фича ?) - В релиз 1.1.54381 format_csv_delimiter не включен ?

Господа, а как мне такой batch одним запросом выполнить? drop table test_tbl; CREATE TABLE test_tbl ( a String, b String, c String ) ENGINE=Memory; INSERT INTO test_tbl(a, b, c) FORMAT TSV a1 b1 c1 a2\ttab b2 c2 a3 b3 c3 INSERT INTO test_tbl(a, b, c) FORMAT TSV a4 b4 c4 a5\ttab b5 c5 a6 b6 c6

localhost :) localhost :) INSERT INTO test_tbl(a, b, c) FORMAT TSV :-] a1 b1 c1 :-] a2\ttab b2 c2 :-] a3 b3 c3 :-] :-] INSERT INTO test_tbl(a, b, c) FORMAT TSV :-] a4 b4 c4 :-] a5\ttab b5 c5 :-] a6 b6 c6 :-] :-] ; INSERT INTO test_tbl (a, b, c) FORMAT TSV Exception on client: Code: 27. DB::Exception: Cannot parse input: expected \t before: \na4\tb4\tc4\na5\\ttab\tb5\tc5\na6\tb6\tc6\n;: (at row 4) Row 3: Column 0, name: a, type: String, parsed text: "a3" Column 1, name: b, type: String, parsed text: "b3" Column 2, name: c, type: String, parsed text: "c3" Row 4: Column 0, name: a, type: String, parsed text: "INSERT INTO test_tbl(a, b, c) FORMAT TSV" ERROR: Line feed found where tab is expected. It's like your file has less columns than expected. And if your file have right number of columns, maybe it have unescaped backslash in value before tab, which cause tab has escaped.

1527086416 -- это число дней с 1970 года, а не таймштемп. select toDate (0+365) ┌─toDate(plus(0, 365))─┐ │ 1971-01-01 │ └──────────────────────┘

может все-таки это число секунд? =)

может все-таки это число секунд? =)

нет, дней.

c 1970 всего 48 лет прошло, по 365 дней...

c 1970 всего 48 лет прошло, по 365 дней...

просто КХ такие даты не умеет, обрезает по максимальной, но это число дней для типа Date

Привет Подскажите как можно сделать следущее. Есть таблица вида: Name|Timestamp |Event A | 2018-05-01 | 1 A | 2018-06-01| 2 A | 2018-07-02 | 1 A | 2018-07-07| 2 A | 2018-08-01 | 1 B | 2018-05-02 | 1 B | 2018-06-15| 2 Требуется достать растояние между последовательными event 1 и 2 для каждого Name. В итоге должно выйти: Name|During A |30 A |5 B |43

просто КХ такие даты не умеет, обрезает по максимальной, но это число дней для типа Date

Да кто же спорит то, я выше об этом же писал, что КХ не умеет в Date timestamp вставлять

Скрипт, который консоль клиента копирую, если что. https://pastebin.com/cUfKy44e

Да кто же спорит то, я выше об этом же писал, что КХ не умеет в Date timestamp вставлять

что значит не умеет? Каким образом КХ может догадаться что секунды или часы, если аргумент это число дней.

я выше писал, что КХ не занимается приведением типов, что в Date можно вставлять только дату, но ошибки не выдает, если вставить timestamp, вот что я имел ввиду

я вас понял!

Скрипт, который консоль клиента копирую, если что. https://pastebin.com/cUfKy44e

:) INSERT INTO test_tbl(a, b, c) FORMAT TSV :-] a1 b1 c1 :-] a2\ttab b2 c2 :-] a3 b3 c3 INSERT INTO test_tbl (a, b, c) FORMAT TSV Ok. 3 rows in set. Elapsed: 0.004 sec.

А две инструкции друг за другом одним батчем выполнить?

*Два INSERT'а.

нет, по очереди

А две инструкции друг за другом одним батчем выполнить?

cat file.tsv|clickhouse-client -q "INSERT INTO test_tbl(a, b, c) FORMAT TSV"

А если я так хочу? clickhouse-client < clickhouse.sql

cat clickhouse.sql drop table test_tbl; CREATE TABLE test_tbl ( a String, b String, c String ) ENGINE=Memory; INSERT INTO test_tbl(a, b, c) FORMAT TSV a1 b1 c1 a2\ttab b2 c2 a3 b3 c3 INSERT INTO test_tbl(a, b, c) FORMAT TSV a4 b4 c4 a5\ttab b5 c5 a6 b6 c6

clickhouse-client -n

clickhouse-client -n < clickhouse.sql Code: 62. DB::Exception: Syntax error: failed at position 1 (line 1, col 1): a2\ttab b2 c2

только insert'ы нормально сделайте, зачем терять время и изгаляться, если в values спокойно запихнуть можно

А если я так хочу? clickhouse-client < clickhouse.sql

думаю никак.

А INSERT'ы с такой же скоростью работать будут?

в этом примере да

А если batch over 100500 записей?

положите эти батчи в отдельные файлы и вставляйте на здоровье

в формате TSV

Второй вопрос. JDBC-дрова поддерживают INSERT в TSV-формате?

не юзал, не подскажу

да, поддерживают

А оно в потоковом режиме как Postgres умеет работать, или надо здоровенную строку подготавливать и её скармливать?

не юзал, не подскажу

Второй вопрос. JDBC-дрова поддерживают INSERT в TSV-формате?

нет, КХ по большому счету без разницы (tsv или insert ()()()()(.....) ), там парсер потока, он не ждет конца 500Мегабайтного insert

Nullable(DateTime) так и не парсится (

То есть, я правильно понимаю, что addbatch может неявно отправлять данные для вставки на сервер?

То есть, я правильно понимаю, что addbatch может неявно отправлять данные для вставки на сервер?

Нет. Он копит буффер