Будет полезно если опишите полную инструкцию как это у вас получилось

Постараемся написать. Локально уже подружили Монгу с Tableau. Мелкие доработки и попробуем написать.

Добрый день! Подскажите пж, что может обозначать ошибка "DB::Exception: Allocator: Cannot mremap memory chunk from 1.00 GiB to 2.00 GiB., errno: 12, strerror: Cannot allocate memory."?

Впервые такую вижу

У вас сколько серверов ZK? Я про myid = 21

Были идеи?

есть пара вопросов 1) КХ есть хуки, или что-то аналогичное? + чтобы эти изменения можно было поймать драйвером, в данном случае, nodejs 2) в КХ возможно заполнить таблицу, из справочной таблицы? схемотично это выглядит примерно так КХ таблица INSERT < mongo

Добрый день! Подскажите пж, что может обозначать ошибка "DB::Exception: Allocator: Cannot mremap memory chunk from 1.00 GiB to 2.00 GiB., errno: 12, strerror: Cannot allocate memory."?

https://groups.google.com/forum/#!searchin/clickhouse/Cannot$20mremap$20memory%7Csort:date

https://groups.google.com/forum/#!searchin/clickhouse/Cannot$20mremap$20memory%7Csort:date

спасибо!

есть пара вопросов 1) КХ есть хуки, или что-то аналогичное? + чтобы эти изменения можно было поймать драйвером, в данном случае, nodejs 2) в КХ возможно заполнить таблицу, из справочной таблицы? схемотично это выглядит примерно так КХ таблица INSERT < mongo

1. Хуков или чего-то такого в КХ нет. А зачем вам такое? 2. Пояните что имеете в виду

1. Хуков или чего-то такого в КХ нет. А зачем вам такое? 2. Пояните что имеете в виду

1) есть задача, где такой функционал нужен 2) нужно "сырые" данные из монги, складывать в КХ, в сортированном виде

1) есть задача, где такой функционал нужен 2) нужно "сырые" данные из монги, складывать в КХ, в сортированном виде

Мне кажется это довольно элементарно должно решаться внешним инструментом, который будет читать из монги и складывать их в кликхаус. Попутно может проверять не нужно ли запустить в связи с этими данными хука.

есть пара вопросов 1) КХ есть хуки, или что-то аналогичное? + чтобы эти изменения можно было поймать драйвером, в данном случае, nodejs 2) в КХ возможно заполнить таблицу, из справочной таблицы? схемотично это выглядит примерно так КХ таблица INSERT < mongo

1) нет 2) да, словари можно использовать как обычные таблицы

Мне кажется это довольно элементарно должно решаться внешним инструментом, который будет читать из монги и складывать их в кликхаус. Попутно может проверять не нужно ли запустить в связи с этими данными хука.

про внешние срадства, вопросов как раз нет, речь про внутренние, которые я думаю должны работать быстрее

1) нет 2) да, словари можно использовать как обычные таблицы

Словари можно использовать как таблицы, но в словари нельзя запихать много данных, всё должно помещаться в память.

про внешние срадства, вопросов как раз нет, речь про внутренние, которые я думаю должны работать быстрее

Они могли бы работать быстрее, если бы существовали. :) В целом - Кликхаус это инструмент прежде всего для аналитики, для выполнения быстрых запросов на больших данных. Для других задач (перемещение данных из одного места в другое, запуск хуков и т.п.) есть другие инструменты.

Они могли бы работать быстрее, если бы существовали. :) В целом - Кликхаус это инструмент прежде всего для аналитики, для выполнения быстрых запросов на больших данных. Для других задач (перемещение данных из одного места в другое, запуск хуков и т.п.) есть другие инструменты.

+1

Словари можно использовать как таблицы, но в словари нельзя запихать много данных, всё должно помещаться в память.

Для тех что не помещаются есть cache, но там другие проблемы.

Они могли бы работать быстрее, если бы существовали. :) В целом - Кликхаус это инструмент прежде всего для аналитики, для выполнения быстрых запросов на больших данных. Для других задач (перемещение данных из одного места в другое, запуск хуков и т.п.) есть другие инструменты.

так хуки, или аналог функционала, все же есть, или нет в КХ?

про внешние срадства, вопросов как раз нет, речь про внутренние, которые я думаю должны работать быстрее

В КХ просто неначто вешать этот хук, например в PostgreSQL есть LISTEN/NOTIFY и в нем это оправданно, а в КХ только вставил пачку данных/выполнил селект.

так хуки, или аналог функционала, все же есть, или нет в КХ?

Нет

В КХ просто неначто вешать этот хук, например в PostgreSQL есть LISTEN/NOTIFY и в нем это оправданно, а в КХ только вставил пачку данных/выполнил селект.

ну например при той же вставке, в данных могут быть определенные флаги, на которые нужно отреагировать

ну например при той же вставке, в данных могут быть определенные флаги, на которые нужно отреагировать

Нет. Это какой-то набор костылей

)

Да, совместимы

обновил одну из нод кластера с версии 1.1.54362 до 18.+ и она больше не включается

Если вы флаги ставите, вы на них сами и реагируйте

например в Mysql, есть тригеры, которые решают подобные задачи

Если вы флаги ставите, вы на них сами и реагируйте

не все так просто данные могут быть добавлены в обход драйвера

обновил одну из нод кластера с версии 1.1.54362 до 18.+ и она больше не включается

А в логах что пишет?

А в логах что пишет?

могу трейс в личку скинуть

могу трейс в личку скинуть

На пастербин/гист и сюда кидайте

не все так просто данные могут быть добавлены в обход драйвера

по рукам за это бейте если у вас на это функионал завязан

по рукам за это бейте если у вас на это функионал завязан

если с БД работает 2+ приложения, то это как раз тот случай, и по рукам бить не получится

На пастербин/гист и сюда кидайте

https://pastebin.com/83MG4dp0

Для тех что не помещаются есть cache, но там другие проблемы.

ЕМНИП если сделать таблицу с движком Dictionary на cache-словаре то селекты будут возвращать только то что хранится в памяти, т.е. то что в настоящее время лежит в кэше

ЕМНИП если сделать таблицу с движком Dictionary на cache-словаре то селекты будут возвращать только то что хранится в памяти, т.е. то что в настоящее время лежит в кэше

к сожалению, не мой случай, в память все не влезет

потому вариант отпадает

если с БД работает 2+ приложения, то это как раз тот случай, и по рукам бить не получится

Ну а откуда вы будете в таком случает знать какие данные нужно перебросить в КХ?

Или каждый раз всё подряд, полный дамп?

Ну а откуда вы будете в таком случает знать какие данные нужно перебросить в КХ?

мне нужно самом КХ мониторить, а не то, что извне прилетает

если с БД работает 2+ приложения, то это как раз тот случай, и по рукам бить не получится

Проблемы с дизайном не оправдывают странных требований к третьим системам. Как уже сказали КХ аналитическая база, не более и не менее и данные для вставки должны быть подготовлены заранее.

На пастербин/гист и сюда кидайте

а так же постоянно прилетает 2018.07.25 14:15:48.858511 [ 1 ] <Error> Application: ZooKeeperImpl::Exception: Marshalling error, path: /clickhouse/tables/replicator/pg.pg_stat_statements2/log

Проблемы с дизайном не оправдывают странных требований к третьим системам. Как уже сказали КХ аналитическая база, не более и не менее и данные для вставки должны быть подготовлены заранее.

я пока всего лишь интересуюсь наличием функционала

ЕМНИП если сделать таблицу с движком Dictionary на cache-словаре то селекты будут возвращать только то что хранится в памяти, т.е. то что в настоящее время лежит в кэше

Точно, так и есть, оно только через функциб тянет недостающие,наверное стоит поправить

Другими словами - вот у вас есть источник данных (монго) вот 2+ приложения меняют/добавляют туда данные. В какой момент вы собираетесь перебрасывать их в Кликхаус? Потому что когда они окажутся в КХ, им лучше всего было бы быть immutable, т.е. быть замороженными, не изменяться.

Другими словами - вот у вас есть источник данных (монго) вот 2+ приложения меняют/добавляют туда данные. В какой момент вы собираетесь перебрасывать их в Кликхаус? Потому что когда они окажутся в КХ, им лучше всего было бы быть immutable, т.е. быть замороженными, не изменяться.

1) вы малость не поняли суть задачи 2) раз хуков нет, то этот вариант тоже отпадает

Точно, так и есть, оно только через функциб тянет недостающие,наверное стоит поправить

Там с cache главный косяк ИМХО что любые его модификации - однопоточно выполняются. Что в принципе вполне логично, но сильно "зажимает" производительность cache если нужно часто дочитывать "из вне".

Идеально было бы прикрутить Memcached / Redis а ещё лучше Aerospike как движок для словарей.

Другими словами - вот у вас есть источник данных (монго) вот 2+ приложения меняют/добавляют туда данные. В какой момент вы собираетесь перебрасывать их в Кликхаус? Потому что когда они окажутся в КХ, им лучше всего было бы быть immutable, т.е. быть замороженными, не изменяться.

предполагалось это так есть 2 приложения, которые слушают изменения есть еще несколько приложений, которые закидвают данные в КХ далее думаю должно быть все понятно

Идеально было бы прикрутить Memcached / Redis а ещё лучше Aerospike как движок для словарей.

Aerospike - т.к. сильно производительный и со строгой типизацией (было бы идеальным дополнением для КХ)

Там с cache главный косяк ИМХО что любые его модификации - однопоточно выполняются. Что в принципе вполне логично, но сильно "зажимает" производительность cache если нужно часто дочитывать "из вне".

Там еще один есть, вернее это косяк протокола который не поддерживает подготовленные выражения и запрос строится WHERE ID IN (1...100000 ids) и может не влезать в лимиты по размеру

Идеально было бы прикрутить Memcached / Redis а ещё лучше Aerospike как движок для словарей.

Оно в планах точно есть, надо будет посмотреть насколько проблемно это сделать и имплементоровать

Там еще один есть, вернее это косяк протокола который не поддерживает подготовленные выражения и запрос строится WHERE ID IN (1...100000 ids) и может не влезать в лимиты по размеру

Мы по HTTP дочитываем словари, поэтому с этим не сталкивались.

предполагалось это так есть 2 приложения, которые слушают изменения есть еще несколько приложений, которые закидвают данные в КХ далее думаю должно быть все понятно

Сделайте одно приложение которое закидывает в КХ и пусть приложения кидают в очередь то что нужно записать

Сделайте одно приложение которое закидывает в КХ и пусть приложения кидают в очередь то что нужно записать

да, это как раз было альтернативным решением

Мы по HTTP дочитываем словари, поэтому с этим не сталкивались.

Это так, но если как словарь использовать КХ то вот такая штука может вылезти

Это так, но если как словарь использовать КХ то вот такая штука может вылезти

Думаю с MySQL тоже большая вероятность.

да, это как раз было альтернативным решением

Это не альтернативное, а единственное выполнимое :) Т.к. никаких хуков в КХ в настоящее время нет.

Это не альтернативное, а единственное выполнимое :) Т.к. никаких хуков в КХ в настоящее время нет.

на тот момент, я еще не знал, что в КХ нет хуков, потому это было альтернативой а сейчас это единственное решение

предполагалось это так есть 2 приложения, которые слушают изменения есть еще несколько приложений, которые закидвают данные в КХ далее думаю должно быть все понятно

вам нужна очередь сообщений, а не костыли для кх

вам нужна очередь сообщений, а не костыли для кх

это очевидно потому и интересовался в наличии функционала

обновил одну из нод кластера с версии 1.1.54362 до 18.+ и она больше не включается

вчера тоже нода не запустилась - новая версия не могла приатачить таблицы, т.к. разучилась понимать parseDateTimeBestEffortOrZero в материализованных колонках... пришлось откатить пока на прежнюю версию

вчера тоже нода не запустилась - новая версия не могла приатачить таблицы, т.к. разучилась понимать parseDateTimeBestEffortOrZero в материализованных колонках... пришлось откатить пока на прежнюю версию

ага, откатить на прежнюю версию у меня получилось только полным удалением всех компонентов КХ и повторной установкой с указанием предыдущей версии

а так же постоянно прилетает 2018.07.25 14:15:48.858511 [ 1 ] <Error> Application: ZooKeeperImpl::Exception: Marshalling error, path: /clickhouse/tables/replicator/pg.pg_stat_statements2/log

Да, это все не очень хорошо

а так же постоянно прилетает 2018.07.25 14:15:48.858511 [ 1 ] <Error> Application: ZooKeeperImpl::Exception: Marshalling error, path: /clickhouse/tables/replicator/pg.pg_stat_statements2/log

У вас наверно есть реплика этой таблицы, которая заброшена. Записи в логе не удаляются в надежде, что она вернётся и прочитает их. Проверьте в /clickhouse/tables/replicator/pg.pg_stat_statements2/replicas, а также посмотрите сколько нод в /clickhouse/tables/replicator/pg.pg_stat_statements2/log.

Добрый день. Помогите пожалуйста решить задачу. Импорт БД в Clickhouse который крутится докер при помощи нативного клиента, не могу подобрать строку правильно. https://groups.google.com/d/msgid/clickhouse/3cad8991-3559-4c2f-9df2-94cb3ccb0a3a%40googlegroups.com?utm_medium=email&utm_source=footer

А почему словарь complex_key_hashed занимает памяти в 10 раз больше чем таблица? таблица formatReadableSize(sum(data_compressed_bytes)) 490.90 MiB formatReadableSize(sum(data_uncompressed_bytes)) 1.70 GiB словарь formatReadableSize(bytes_allocated) 12.06 GiB

подскажите как в словаре поставить дефолтное значение DateTime в поле? Пытаюсь сделать словарь из колелкции монги, проблемы с полей-датой возникают

<attribute> <name>updated_date</name> <type>DateTime</type> <null_value>0000:00:00 00:00:00</null_value> </attribute>

<attribute> <name>updated_date</name> <type>DateTime</type> <null_value>0000:00:00 00:00:00</null_value> </attribute>

спасибо

Репутация Denis Zhuravlev увеличена! Текущая репутация: 1

В своем вопросе разобрался. Вот вдруг кому понадобится

https://groups.google.com/d/msgid/clickhouse/3cad8991-3559-4c2f-9df2-94cb3ccb0a3a%40googlegroups.com?utm_medium=email&utm_source=footer

Оно в планах точно есть, надо будет посмотреть насколько проблемно это сделать и имплементоровать

Написал таска, если вдруг захочет кто-то взяться :) Вроде бы сильно сложно быть не должно https://github.com/yandex/ClickHouse/issues/2718 Там кстати видел что есть API чтоб подгружать словари из динамических библиотек (https://github.com/yandex/ClickHouse/blob/master/dbms/src/Dictionaries/LibraryDictionarySource.h).

<attribute> <name>updated_date</name> <type>DateTime</type> <null_value>0000:00:00 00:00:00</null_value> </attribute>

можно проще <attribute> <name>updated_date</name> <type>DateTime</type> <null_value>0</null_value> </attribute>

Ребят, это как понимать? HTTP/1.1 200 OK Date: Wed, 25 Jul 2018 13:35:32 GMT Connection: Keep-Alive Content-Type: text/plain; charset=UTF-8 X-ClickHouse-Server-Display-Name: zos-22 Transfer-Encoding: chunked Keep-Alive: timeout=3 0 HTTP/1.1 400 Bad Request Connection: Close такое на INSERT через HTTP выдает.

А это случайно не ответы на 2 разных запроса в рамках одной KeepAlive сессии?

Если это ответ на 1 запрос - то очень хотелось бы увидеть и этот запрос :)

Михаил, вот такой запрос -- POST /?query=Insert+into+NodeLog_buffer+FORMAT+JSONEachRow&input_format_skip_unknown_fields=1 HTTP/1.1 Host: 10.0.0.222 Content-Length: 314 Connection: keep-alive Content-Type: application/json {"ts":"2018-07-25 14:02:36","msec":124577,"level":"INFO","logger":"node","pid":14270,"file":"workers.py:79","node":"DIM","body":"| Worker wkr:1 14280 mem:21.9M"} {"ts":"2018-07-25 14:03:36","msec":83218,"level":"DEBUG","logger":"node","pid":14270,"file":"workers.py:69","node":"DIM","body":"run_counter: 2"}

то есть рекомендуешь убрать заголовок Connection: keep-alive ?

Не рекомендую :) Рекомендую описать конкретную проблему и сценарий её возникновения, и тогда может быть найдется её решение.

Лучше всего попробовать воспроизвести с помощью стандартных средств linux - с помощью curl например.

что-то типа curl 'http://clickhouse-server:8123/?query=SHOW+CREATE+TABLE+NodeLog_buffer' cat data.json | curl -v 'http://clickhouse-server:8123/?query=Insert+into+NodeLog_buffer+FORMAT+JSONEachRow&input_format_skip_unknown_fields=1' --data-binary @-

Привет, подскажите какой параметр выключает проверку на тип поля при insert Например есть запрос ``` INSERT INTO test_table ( column_UINT64 ) values ( '123123123123') ``` При встаке Code: 53, e.displayText() = DB::Exception: Type mismatch in IN or VALUES section. Expected: UInt64. Got: String, e.what() = DB::Exception версия КХ 1.1.54236

Никакой, насколько я знаю, в кх строгая типизация, убрать апострофы

Ну или сделать поле col_str String, в него инсертить, и создать второе поле col UInt64 DEFAULT toUInt64(col_str)

Спасибо

Ребят, это как понимать? HTTP/1.1 200 OK Date: Wed, 25 Jul 2018 13:35:32 GMT Connection: Keep-Alive Content-Type: text/plain; charset=UTF-8 X-ClickHouse-Server-Display-Name: zos-22 Transfer-Encoding: chunked Keep-Alive: timeout=3 0 HTTP/1.1 400 Bad Request Connection: Close такое на INSERT через HTTP выдает.

Это баг на нашей стороне.

Кто-то коннектил Clickhouse к TeamSQL?

Опубликован русскоязычный changelog к версии 18.1.0: https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md#clickhouse-release-1810-2018-07-23

а гдето можно почитать что такое движок таблиц URL?