Может какой то unlimit uncompressed cache стоит..

SELECT name, value FROM system.settings WHERE changed = 1 ORDER BY name ASC ┌─name─────────────────────────────┬─value───────┐ │ background_pool_size │ 48 │ │ connect_timeout_with_failover_ms │ 1000 │ │ insert_distributed_sync │ 1 │ │ load_balancing │ random │ │ max_memory_usage │ 10000000000 │ │ use_uncompressed_cache │ 0 │ └──────────────────────────────────┴─────────────┘

┌─name───────────────────┬─value──────┐ │ load_balancing │ random │ │ max_memory_usage │ 4000000000 │ │ use_uncompressed_cache │ 0 │ └────────────────────────┴────────────┘

Возможно он сохраняет данные в зукипере

Как-то искуствено выглядит, ведь для друг операций разницы нет между ними

А скажите, а движки какие используете? Может есть таблицы с Engine=memory?

только буферы

только буферы

+1

Общий объём точно меньше, чем сожранное. Где-то раз в 10, если не в 50.

народ, добрый день

что-то запамятовал

как посмотреть запрос у материализованой вьюшки?

show create?

неа

показывает только структуру

самого запроса не видно...

не ту таблицу значит смотрите

как бы ту...

вероятно есть другая таблица которая собственно является вьюхой и перегоняет данные в ту запрос которой вы сейчас смотрите

т.е. сама вьюха и целевая таблица не обязательно совпадают.

все, нашел

спасибо

А почему для MergeTree не поддерживается? Всмысле разве MergeTree и ReplicatedMergeTree не одного семейства?

Скоро для нереплицированных MergeTree доделаю поддержку. Там все проще, поэтому сначала сделал сложный кейс.

Скоро для нереплицированных MergeTree доделаю поддержку. Там все проще, поэтому сначала сделал сложный кейс.

Спасибо, очень жду

как рандомно отсортировать массив [1,2,3,4,5,6]

SELECT arraySort(x -> rand(x), [1, 2, 3, 4, 5, 6]);

при использовании новой функции windowFunnel CH начала падать `2018.07.03 14:07:55.182888 [ 150 ] <Error> BaseDaemon: (from thread 77) Received signal Segmentation fault (11). 2018.07.03 14:07:55.182892 [ 150 ] <Error> BaseDaemon: Address: NULL pointer. 2018.07.03 14:07:55.182896 [ 150 ] <Error> BaseDaemon: Access: read. 2018.07.03 14:07:55.182899 [ 150 ] <Error> BaseDaemon: Unknown si_code. 2018.07.03 14:07:55.203467 [ 150 ] <Error> BaseDaemon: 0. clickhouse-server(tcmalloc::ThreadCache::ReleaseToCentralCache(tcmalloc::ThreadCache::FreeList*, unsigned long, int)+0x11b) [0x59de79b] 2018.07.03 14:07:55.203478 [ 150 ] <Error> BaseDaemon: 1. clickhouse-server(tcmalloc::ThreadCache::Scavenge()+0x44) [0x59de8c4]`

есть таблица MergeTree, по ней нужно прогнать несколько тяжелых запросов с агреггацией. Имеет ли смысл пытаться запустить эти запросы параллельно из разных потоков?

есть таблица MergeTree, по ней нужно прогнать несколько тяжелых запросов с агреггацией. Имеет ли смысл пытаться запустить эти запросы параллельно из разных потоков?

Обычно нет

КХ сам умеет использовать все доступные (указаные в конфиге) ресурсы

Изучаю репликацию, создал две реплики (на удалёном сервер и на локальном компе). Пробросил порт zookeer-а с удалёного на комп. SELECT active_replicas FROM system.replicas WHERE table = 'load_stat' показывает что две активных реплики, но в локальной базе 0 записей. Я так понимаю, чтобы КХ мог передавать данные реплики должны видеть друг друга. Но какой порт он использует для репликации, 9000?

Подскажите, какой BI умеет стучаться в clickhouse без odbc-драйвера?

Подскажите, какой BI умеет стучаться в clickhouse без odbc-драйвера?

Я Pentaho использовал, Apache Zeppelin (не совсем BI), redash (какой-то употорый как по мне)

Приветствую. Подскажите пожалуйста, хватит ли прав «select» для словаря в MySQL?

Я Pentaho использовал, Apache Zeppelin (не совсем BI), redash (какой-то употорый как по мне)

А как в Pantaho с join`ом CH и Postgres, для примера?

метадату достаточно удобно писать. залил 1 746 951 782 строк - 31Гб места.

А как в Pantaho с join`ом CH и Postgres, для примера?

В Пентахо я до join не дошёл, у меня он в течении 10 минут зависал. Скорее всего я не умею java настраивать

так там джойны в джаве делаются, источники данных без разницы

пентахо - это етл, там джойны делаются из серии "загрузим первую таблицу в память и потом джойним вторую"

памяти если нет - падает

ну не совсем, там он потоково(stream) работает и если датасеты отсортированы то в памяти нет нужды все держать

это уже более гибкое решение джойна, однако результат это не отменяет

если сортировать в самой пентахо, то конечно да но если на вход подавать отсортированый результат запросы к бд, то норм джойнит большие потоки данных, правда мозг нужно немного вывернуть чтобы нужным образом нарисовать обработку

вам все равно надо держать в памяти один "отсортированный кусок", чтобы джойнить на другой

господа а есть ограничение на union_all? сколько запросов можно соединить? 10000 можно?

Изучаю репликацию, создал две реплики (на удалёном сервер и на локальном компе). Пробросил порт zookeer-а с удалёного на комп. SELECT active_replicas FROM system.replicas WHERE table = 'load_stat' показывает что две активных реплики, но в локальной базе 0 записей. Я так понимаю, чтобы КХ мог передавать данные реплики должны видеть друг друга. Но какой порт он использует для репликации, 9000?

Вообщем пробросил 9000 порт (порт КХ с удалёного сервера виден на локаальной машине), подождал 10 минут и таблица отреплицировалась

При написании команду удаления из ReplicatedMergeTree опечатался в WHERE с датой и в логе пишет такое <Error> ukit.load_stat (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 0, e.displayText() = DB::Exception: String is too long for Date: 20178-06-01, e.what() = DB::Exception, Stack trace: Оно там циклично появляется. Можно как-то убрать эту команду? В processlist пусто

Помоги пожалуйста победить проблему конфигурация: 2 ЦОДа (ДЦ1 и ДЦ2) по - 5 шард по 3 реплики в шарде. ипользую табличный движок ReplicatedMergeTree сделал: 1. Сопировал БД ДЦ1 на ДЦ2 через detach/attach по партишенам по одной реплике из каждой шарды 2. Репликация внутри каждой шарды прошла успешно есть проблема с zookeeper: 2018.07.03 17:00:02.378153 [ 1 ] <Error> Application: DB::Exception: Cannot create table from metadata file /clickhouse/metadata/SOMEDATABASE//SOMETABLE.sql, error: zkutil::KeeperException: Can't get data for node /clickhouse/tables/01/SOMETABLE/metadata: node doesn't exist (no node), stack trace: На стороне ZK ошибок нет.

Ощущение что вы метаданные скопировали вместо того чтобы создать таблицу через консоль

Ощущение что вы метаданные скопировали вместо того чтобы создать таблицу через консоль

таблицы создал перед копированием через detach/attach

можно ли по существующим данным воссоздать необходимое в zk?

можно ли по существующим данным воссоздать необходимое в zk?

ну сперва мне кажется надо вам разобраться куда делись данные из зк , не каждый же раз востанавливать

ну сперва мне кажется надо вам разобраться куда делись данные из зк , не каждый же раз востанавливать

по autopurgeinterval судя по всему.

по autopurgeinterval судя по всему.

а зачем он нужен?

ну а так видимо надо детачнуть все и создать снова таблицы

а потом аттачнуть

Создал issue по моей проблеме https://github.com/yandex/ClickHouse/issues/2588

а потом аттачнуть

очевидно да. Спасибо

ребят, я тут, что-то в ступор вошел

есть таблица с данными

допустим таблица А

я хочу перенести данные в таблицу Б, но при этому поменяв данные в одно поле

допустим, как в постгресе я сделал инсерт селект

но как бы не так, селект возвращает 0 строк

insert into tableB (field1, field2, field3) select field1, field2, 'sometext' as field3 from tableB

что-то не так или КХ так не умеет?

а почему с обоих сторон одна таблица?

оечатка - в селекте tableA

insert into tableB (field1, field2, field3) select field1, field2, 'sometext' as field3 from tableA where date=today() and field3 = 'othertext'

вот так выглядит запрос

в чем суть

а вот так работать не будет

а если не писать as field3, что-нибудь вставляется?

where полностью или частично - отрабатывает после выборки и так как field3 уже везде = 'sometext'

по этому и 0 строк в выборке

а если не писать as field3, что-нибудь вставляется?

нет

пробовал и так: insert into tableB (field1, field2, field3) select field1, field2, 'sometext' as temp from tableA where date=today() and field3 = 'othertext'

получаю ошибку: There is no column with name temp. There are columns: field1, field2, field3

@milovidov_an

подскажете, что в моем запросе не так?

INSERT INTO x (a) SELECT 42 AS b, странно у меня такое работает.

попробуйте на живых таблицах

Надо с подзапросом

Надо с подзапросом

уже пробую, но не выходит...

В подзапросе реальная filed3, а сверху фейковая

да, так и делал

теперь ругается, что кол-во колонок в селекте не соответсвует кол-ву колонок а инсерте

хотя все 1 в 1...

уже пробую, но не выходит...

insert into tableB (field1, field2, field3) select field1, field2, 'sometext' as field3 from (selext field1, field2 from tableA where date=today() and field3 = 'othertext')

хм, я делал select *, 'sometext' as field3

может по этому

сейчас пропишу все поля

Еще можно вообще field3 не вставлять, а сделать его DEFAULT 'sometext'

DB::Exception: Size of selector doesn't match size of column..

бред...

нельзя так сделать