У нас был Citus, просто выкиньте его и забудьте про него навсегда.

очень аргументированно :)

1) Он глючный чуть более чем полностью 2) Медленный

Тестирую citusdb 7.3 - координатор + 2 ноды(2ядра + 8GB памяти) select version(); version —------------------------------------------------------------------------------------------------------- PostgreSQL 10.3 залил около 500млн записей. select count(*) from stats; count —--------- 487829597 развернутая статистика EXPLAIN ANALYZE select count(*) OVER() as pg, offers.name, count(*) as cn, usoffer_id, SUM(stats.rpa) AS rpa, country_id, browser_id, os_id, SUM(stats.cpa) AS cpa , subid, subid2, subid3 from stats left join offers ON (stats.offer_id = offers.id) WHERE usoffer_id = 216 and subid like '%y%' group by usoffer_id , country_id, browser_id, os_id, subid, subid2, subid3, offers.name ORDER BY subid DESC LIMIT 100; QUERY PLAN —---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Custom Scan (Citus Router) (cost=0.00..0.00 rows=0 width=0) (actual time=4584.743..4584.762 rows=100 loops=1) Planning time: 0.256 ms Execution time: 5569.834 ms Planning time: 1.398 ms Execution time: 4584.815 ms

Медленный в чем ? какую версию тестировали?

Кирилл как часто заливаете в КХ данные?

я попробовал Greenplum, чтото он был по скорости на уровне постгреса

а сколько нод было в кластере ?

1 нода, 2 ядра 4 гига)

ну он вроде как поколоночный

будет-будет. Наступлено уже :-)

спасибо! а какие у вас сервера под ZK стоят по железу? вообще вопрос ко всем)

Товарищи, а подскажите, имеет ли значение порядок полей в индексе ? Сейчас вот так: MergeTree(EVENT_DATE_INDEX, (EVENT_DATE_INDEX, USER_ID))

Товарищи, а подскажите, имеет ли значение порядок полей в индексе ? Сейчас вот так: MergeTree(EVENT_DATE_INDEX, (EVENT_DATE_INDEX, USER_ID))

привет всем ClickHouse server version 1.1.54378 WHERE по UInt8 у одного меня не работает? SELECT channel_id FROM wf.log_session_details_ex WHERE log_date IN ('2018-03-31', '2018-04-01') LIMIT 10 ┌─channel_id─┐ │ 3 │ │ 3 │ │ 2 │ │ 3 │ │ 2 │ │ 3 │ │ 3 │ │ 3 │ │ 3 │ │ 3 │ └────────────┘ но SELECT channel_id FROM wf.log_session_details_ex WHERE (log_date IN ('2018-03-31', '2018-04-01')) AND (channel_id = 3) LIMIT 10 Ok. 0 rows in set. Elapsed: 0.006 sec.

https://github.com/yandex/ClickHouse/issues/2146 https://github.com/yandex/ClickHouse/issues/2188

(EVENT_DATE_INDEX, USER_ID) vs (USER_ID,EVENT_DATE_INDEX)

(EVENT_DATE_INDEX, USER_ID) vs (USER_ID,EVENT_DATE_INDEX)

я скорее имел в виду случай (event_date, user_id, country) vs (event_date, country, user_id) и выборка идёт в одном случае по дате и стране а в другом случае по дате и пользователю

т.е. мы рассматриваем случай когда ползователи так и скачут из страны в страну?

т.е. мы рассматриваем случай когда ползователи так и скачут из страны в страну?

сломано видимо тут 1.1.54362 ...Использование индекса таблиц семейства MergeTree при наличии условия IN на кортеж от выражений от столбцов первичного ключа. попробуйте так WHERE toString(log_date) IN ('2018-03-31', '2018-04-01')

А подскажите ещё best practice по замене полей в первичном ключе ? Обязательно ли пересоздавать а потом insert from select или есть более цивилизованный способ ?

хм. ну у меня сейчас PRIMARY KEY (p, k) мне надо PRIMARY KEY (k, p)

SELECT channel_id FROM wf.log_session_details_ex WHERE (channel_id = 3 ) AND (toString(log_date) IN ('2018-03-31', '2018-04-01')) LIMIT 10 Ok. 0 rows in set

Есть, если добавлять/удалять колонки из ключа в конце (т.е. это не должно приводить к пересортировке данных) - ALTER TABLE t MODIFY PRIMARY KEY (p, k)

Значит еще что-то сломали, делайте минимальный тест и заводите issue. Там вагон косяков, я нашел баг, который вообще то неправильный результат, то ошибку возвращает, 50/50 https://github.com/yandex/ClickHouse/issues/2147 CREATE TABLE trololo (a date, b Int, c Int) ENGINE = MergeTree order by (a,b); INSERT INTO trololo VALUES (0, 1, 3); SELECT * FROM trololo WHERE (a, b) IN (SELECT (a, b) FROM trololo) Code: 169. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Bad type of Field. second execution (wrong result): SELECT * FROM trololo WHERE (a, b) IN (SELECT (a, b) FROM trololo) 0 rows in set. Elapsed: 0.003 sec. third: Ok. 0 rows in set. Elapsed: 0.003 sec. forth: Code: 169. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Bad type of Field.

так вроде у меня проблема 1в 1 с https://github.com/yandex/ClickHouse/issues/2146

А возможно например для SummingMergeTree добавить колонку и записать её в конец ключа?

Да, но это работает только для таблиц в старом формате, т.е. не для тех что созданы с PARTITION BY/ORDER BY, для них, как оказалось, это сломано @ztlpn

Как это может работать? :) Если добавить в ключ новое поле, а данные в кусках не обновить, то мержи могут выдавать неправильный результат.

Функциональность реализована в минимальном виде и работает только при следующих условиях: Таблица не реплицированная. В таблице нет ключа сэмплирования. Если добавляемый столбец уже существовал в таблице, то он должен иметь все значения, равные нулям или пустым строкам. Если столбец добавляется в таблицу одновременно с изменением первичного ключа (рекомендуется), то для него не должно быть задано значения по-умолчанию, или не должно быть значения по-умолчанию, отличного от нулей и пустых строк. При этом, некоторые условия явно не проверяются и при их невыполнении, что-нибудь сломается.

в последней версии вродь можно