в доках написано, что запросы типа ALTER TABLE ATTACH реплицируются

А данные в detach являлись результатом предыдущей репликации?

а как они у вас могут быть разными ?

нет, это были данные из ранее не реплицируемой таблицы

А, понятно

а как они у вас могут быть разными ?

я их подключал локально на одной машине, потом отключал. Кх их переименовал, а я не сразу обратил внимание

чуть позже проверю свои докадки на другой таблице

Привет После обновления до 54370 возникла проблема. При подобном запросе: SELECT uniq(session_id), field FROM table WHERE date = today()-1 AND (session_id, timestamp) in (SELECT session_id, timestmp FROM table) AND field = 0 GROUP BY field Выводит ноль строк, при том, что без "AND field=0" есть в выводе строки с field = 0. Кто подскажет как пофиксить без костылей в запросе?

Привет После обновления до 54370 возникла проблема. При подобном запросе: SELECT uniq(session_id), field FROM table WHERE date = today()-1 AND (session_id, timestamp) in (SELECT session_id, timestmp FROM table) AND field = 0 GROUP BY field Выводит ноль строк, при том, что без "AND field=0" есть в выводе строки с field = 0. Кто подскажет как пофиксить без костылей в запросе?

Странное поведение, попробуйте добавить алиасы для таблиц, чтобы получилось примерно так SELECT uniq(t1.session_id), t1.field FROM table AS t1 ... (SELECT t2.session_id ... FROM table AS t2) ... Может какая колизиця имён столбцов

Странное поведение, попробуйте добавить алиасы для таблиц, чтобы получилось примерно так SELECT uniq(t1.session_id), t1.field FROM table AS t1 ... (SELECT t2.session_id ... FROM table AS t2) ... Может какая колизиця имён столбцов

Не помогает. Да и не должно было бы, так как при одинарной вставке все работает: SELECT uniq(session_id), field FROM table WHERE date = today()-1 AND (session_id) in (SELECT session_id FROM table) AND field = 0 GROUP BY field

Что такое одинарная вставка?

Я имел ввиду фильтр по одному значению, а не по паре значений. Неправильно выразился.

Вставил в ReplicatedMergeTree таблицу небольшую пачку записей (500), с использованием кворума, данные сразу оказались на двух других репликах. Потом вручную из клиента одной из реплик удалил партицию с ними (без использования кворума, и без изменения дефолтного replication_alter_partitions_sync), таблица стала пустой. Проверил - на остальных репликах ALTER ... DROP PARTITION ... доехал и отработал. Однако, при попыте чтения из этой, первой, реплики (c select_sequential_consistency=1), кидается исключение: Replica doesn't have part .... which was successfully written to other replicas. Send query to another replica or disable 'select_sequential_consistency' Не знает ли кто, где я налажал, и как лечить такое? Помогло в итоге только дропнуть всю таблицу и создать заново, но что было бы, если бы она была не пуста?

Я имел ввиду фильтр по одному значению, а не по паре значений. Неправильно выразился.

А зачем вообще делать такое "(session_id, timestamp) in (SELECT session_id, timestmp FROM table)"? в этом подзапросе ещё что-то есть?

А зачем вообще делать такое "(session_id, timestamp) in (SELECT session_id, timestmp FROM table)"? в этом подзапросе ещё что-то есть?

Да, это схема запроса, По факту, там еще аггрегация в под запросе и фильтры. Но они не влияют на проблему. Сама схема ломается

Привет После обновления до 54370 возникла проблема. При подобном запросе: SELECT uniq(session_id), field FROM table WHERE date = today()-1 AND (session_id, timestamp) in (SELECT session_id, timestmp FROM table) AND field = 0 GROUP BY field Выводит ноль строк, при том, что без "AND field=0" есть в выводе строки с field = 0. Кто подскажет как пофиксить без костылей в запросе?

issue на GitHub заведите

issue на GitHub заведите

+1. Какое-то очень страное поведение

Привет После обновления до 54370 возникла проблема. При подобном запросе: SELECT uniq(session_id), field FROM table WHERE date = today()-1 AND (session_id, timestamp) in (SELECT session_id, timestmp FROM table) AND field = 0 GROUP BY field Выводит ноль строк, при том, что без "AND field=0" есть в выводе строки с field = 0. Кто подскажет как пофиксить без костылей в запросе?

А чего колонки в WHERE по разному называются timestamp timestmp ?

вот воспроизведение баги CREATE TABLE trololo ( date Date, timestamp DateTime, a String, b Int32 ) ENGINE = MergeTree(date, (date, timestamp), 8192); INSERT INTO trololo VALUES ('2018-03-28', '2018-03-28 18:09:31', '5ee21b937bd45fb31', 1); SELECT * FROM trololo WHERE (a, timestamp) IN ( SELECT a, timestamp FROM trololo ) ┌───────date─┬───────────timestamp─┬─a─────────────────┬─b─┐ │ 2018-03-28 │ 2018-03-28 18:09:31 │ 5ee21b937bd45fb31 │ 1 │ └────────────┴─────────────────────┴───────────────────┴───┘ 1 rows in set. Elapsed: 0.005 sec. SELECT * FROM trololo WHERE ((a, timestamp) IN ( SELECT a, timestamp FROM trololo )) AND (b = 1) Ok. 0 rows in set. Elapsed: 0.006 sec.

Окей, спасибо

Окей, спасибо

а на какой версии у вас этот запрос работал нормально?

54245

Явная бага и в 1.1.54371 тоже workaround SELECT * FROM trololo WHERE concat(a, toString(timestamp)) IN ( SELECT concat(a, toString(timestamp)) FROM trololo ) причем проблема на TinyLog не воспроизводится, наверное только с *MergeTree из-за новой функциональности in (select) умеет использовать индекс. добавил https://github.com/yandex/ClickHouse/issues/2147

54245

на 54362 такое же поведение

"Пятничное" вдруг кому-нибудь интересно https://www.youtube.com/watch?v=2SUBRE6wGiA&list=PLSE8ODhjZXjY0GMWN4X8FIkYNfiu8_Wl9 , а так в CMU Database Group вообще очень много полезного

influx не работоспособен в принципе

он просто гробит данные, не выполняет правильно запросы

не надо его вообще трогать, он говно

Ну, у нас InfluxDB работает достаточно неплохо, не в этом суть, там совсем о другом

у меня все работает (с) типичный программист

а у меня через полгода инфлюкс падает и не стартует. часть данных при этом оказывается проебана (после того как с помощью какой-то матери его все же удается запустить)

Господа, как можно в нашем обществе столь крепко выражаться? Извольте сдерживаться, сударь!

Да, это есть в планах.

есть подвижки?

Подскажите как сделать перешардирование с добавлением нового шарда!

Подскажите как сделать перешардирование с добавлением нового шарда!

Проще всего создать новую дитрибутед таблицу с дополнительным шардом и данные перелить, в последних версиях вроде появилась отдельная утилита для копирования данных

Подскажите как сделать перешардирование с добавлением нового шарда!

Есть утилита https://clickhouse.yandex/docs/en/single/#clickhouse-copier-util, можно ей попробовать

а у меня через полгода инфлюкс падает и не стартует. часть данных при этом оказывается проебана (после того как с помощью какой-то матери его все же удается запустить)

Уронить и сломать всё можно, возможно вы выбрали не тот инструмент под свои задачи. Насколько я помню вы давно на InfluxDB жалуетесь, что в замен используете?

кликхаус, это кажется очевидно

Приветстую

Не подскажете где можно взять rpm zookeeper версии 3.4.11?

под Centos7

есть подвижки?

По EXPLAIN/ANALYZE никаких подвижек, делаем другие задачи.

Не подскажете где можно взять rpm zookeeper версии 3.4.11?

а зачем 3.4.11?

а зачем 3.4.11?

на других серверах эта версия

чтобы одинаковые версии были

Ну логично было бы поднимать их на одной оси

я тут нашел вроде инструкцию https://github.com/skottler/zookeeper-rpms

буду пробовать

ну суппортить свои пакеты очень геморно, на одних серверах само обновится, на других надо самому собирать

rpm репозиториев с 3.4.11 не встречал, везде 3.4.6 и ниже

попробуйте сами собрать, или поискать готовый rpm

оГа, хорошо. Спасибо

Подскажите, пожалуйста, где можно смотреть change log’и по версиям CH

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

Благодарю:)

подскажите бест практики в такой ситуации: есть что-то типа своей метрики/логов, где пишется подобное: IP, UserID (хеш от IP+UserAgent+пары параметров), ViewID - уникален для каждого нового запроса (просмотра страницы) пример таблицы 127.0.0.1 | 123 | 546546 127.0.0.1 | 123 | 678678 127.0.0.1 | 123 | 890890 127.0.0.2 | 234 | 112112 127.0.0.2 | 234 | 333444 127.0.0.2 | 345 | 999777 (другой пользователь с того же IP) 127.0.0.2 | 345 | 888333 мне надо считать различную статистику причем как по ип, так и по пользователям и по просмотрам. возможно ли обойтись как-то движком MergeTree? или лучше другой движок? как вообще с этим лучше всего работать? есть что дополнительно почитать?

подскажите бест практики в такой ситуации: есть что-то типа своей метрики/логов, где пишется подобное: IP, UserID (хеш от IP+UserAgent+пары параметров), ViewID - уникален для каждого нового запроса (просмотра страницы) пример таблицы 127.0.0.1 | 123 | 546546 127.0.0.1 | 123 | 678678 127.0.0.1 | 123 | 890890 127.0.0.2 | 234 | 112112 127.0.0.2 | 234 | 333444 127.0.0.2 | 345 | 999777 (другой пользователь с того же IP) 127.0.0.2 | 345 | 888333 мне надо считать различную статистику причем как по ип, так и по пользователям и по просмотрам. возможно ли обойтись как-то движком MergeTree? или лучше другой движок? как вообще с этим лучше всего работать? есть что дополнительно почитать?

Типичный кейс, как по мне. Берите mergetree и наслаждайтесь )

дату еще добавить и будет ок )

ну вот если мне нужно выбрать UserAgent только по уникальным UserID это как будет выглядеть?

Так у них наверно юзерагент одинаковый чем гроуп бай не устраивает?

Так у них наверно юзерагент одинаковый чем гроуп бай не устраивает?

Может он кривых ботов ловит.

Так-то да

щас попробую тестовые запросы погонять, спасибо

Всем доброй ночи )

CREATE MATERIALIZED VIEW requests_graph ENGINE = MergeTree(request_date, (request_time, request_uri), 8192) AS SELECT request_date, toStartOfHour(request_time) as request_time, request_uri, AVG(response_time) AS average_response_time, MIN(response_time) AS min_response_time, MAX(response_time) AS max_response_time, COUNT(*) as request_count FROM requests GROUP BY request_uri, request_time, request_date;

Почему при вставке в requests, SELECT * FROM requests_graph показывает вовсе не AVG/MIN/MAX а одинаковые response_time?

Причем requests_graph должен сильно компактным получиться с объединением по часам, вроде как

Но если посмотреть на его размер - он вдвое больше requests o_O

Или подождать, он потом когда-нибудь домержит? )

Всем доброй ночи )

ОК. У нас обед. По моему вам надо использовать AggregatingMergeTree В вашем варианте новая строка вставляется в MV на каждый инсерт(новую строку) в requests.

Пробую, с AggregatingMergeTree точно так же

Понятно, что SELECT из такой MV должен быть с группировкой тоже, чтоб домержил, но смущает то что у него размер большой и пока не показывал смерженный результат с обычным SELECT

OPTIMIZE тоже не меняет поведения

AggregatingMergeTree ....выполняет объединение состояний агрегатных функций, хранимых в таблице, для строчек с одинаковым значением первичного ключа. т.е. как минимум ключ должен быть toStartOfHour.... AggregatingMergeTree(request_date, ( request_date, toStartOfHour(request_time), request_uri)

Вам в AggregatingMergeTree нужно хранить не результаты агрегатных функций, а их состояния. То есть например не avg(response_time), а avgState(response_time). И доагрегировать с помощью avgMerge(state).

Ну и первичный ключ правильно подобрать, как выше советуют.

кстати хороший пример (очень понятный, по крайней мере мне), надо его запилить и добавить в документацию

request_time там есть в ключах, с этим все хорошо ) я понял почему не работал SELECT

как только загрузил реальные данные, в миллион строк все стало мержиться и аггрегироваться )

про ключ request_time != toStartOfHour(request_time)

toStartOfHour(request_time) AS request_time

там вот так же )

а ну как-то так должно быть gist.github.com/den-crane/6eff375752a236a456e1b3dc2ca7db62

Коллеги, что-то потерялся я... Как по документации понять, где определяются те или иные параметры/конфиги и можно ли их устанавливать налету глобально для всего сервера

интересуют параметры вроде input_format_allow_errors_num

Привет, а select ы тоже как и insert лучше пачками делать или по одному нормально?

селекты пачками? это как?

ну да не пачками, массивом или по одному

Это сомнительно

Привет, а select ы тоже как и insert лучше пачками делать или по одному нормально?

Если стоит задача меньше грузить железо, то пачками, если быстрее получать данные - то как только появится что-то к запросу...

Кстати Wolf изучали ли роли нод Observers в Zookeeper? Подходят ли они как-то к использованию с CH?

Ещё нет, выше писали что вроде как да