cat file.csv | /usr/bin/clickhouse-client --config-file etc/clickhouse-client.xml -t --database=DB --host 127.0.0.1 --query="INSERT INTO TBLNAME FORMAT CSV" Code: 49. DB::Exception: Unknown element '0' for type Enum8('' = 0, 'S' = 1, 'A' = 2)

нашел перебором =) for x in {148470..149000}; do head -$x file …. | echo $x; doe

нашел примерный диапазон, а потом в цикле

если есть некостыльное решение то прошу поделиться

Это будет видно сразу, без задержек? То есть, можно рассчитывать на атомарность операции вставки при таком раскладе?

Нет, нельзя. Если что-то пойдет не так, то где-то данные будут, а где-то нет. Я не помню исправляли это поведение или нет, но сейчас это так.

Есть спопсоб понять в какой строке кривые данные?

Вообще в ошибке при вставке данных пишется номер строки и даже колонка в которой ошибка

Сам недавно возился с этим, @milovidov_an помог понять в чем дело. Можете в хистори поискать

Здравствуйте. А есть ли ссылки на какие либо статьи или гитхаб по стримингу или отправке данных из Google Analytics в Кликхаус?

Привет, у кого то был опыт play framework + clickhouse ?

Подскажите, а в clickhouse существует возможность поменять индексы на существующую таблицу?

Привет. Есть Web Api, которое возвращает данные в формате JSON. Возможно ли использовать такое Api в качестве внешнего словаря в кликхаус? Нужно ли модифицировать возвращаемые данные Api под формат JSON кликхауса (добавлять поля "meta", "data", "totals", "extremes", "rows", "rows_before_limit_at_least")?

Привет всем у меня регион в кликхаусе в строке типа "RU" и есть словарь, мне нужно полное наименование, но функция dictGetString принимает в виде ключа только инт, есть способ достать строку по RU (использовать строку в виде ключа)?

Привет всем у меня регион в кликхаусе в строке типа "RU" и есть словарь, мне нужно полное наименование, но функция dictGetString принимает в виде ключа только инт, есть способ достать строку по RU (использовать строку в виде ключа)?

попробуйте так: dictGetString('dict_name','attrib',tuple(key))

Привет. Есть Web Api, которое возвращает данные в формате JSON. Возможно ли использовать такое Api в качестве внешнего словаря в кликхаус? Нужно ли модифицировать возвращаемые данные Api под формат JSON кликхауса (добавлять поля "meta", "data", "totals", "extremes", "rows", "rows_before_limit_at_least")?

Можно, ам нет никакого JSON формата ClickHouse. Описываете какие поля и тип формата в словаре и все

Можно, ам нет никакого JSON формата ClickHouse. Описываете какие поля и тип формата в словаре и все

ок, спасибо, буду пробовать)

Привет всем у меня регион в кликхаусе в строке типа "RU" и есть словарь, мне нужно полное наименование, но функция dictGetString принимает в виде ключа только инт, есть способ достать строку по RU (использовать строку в виде ключа)?

Можно, но тип словаря должен быть complex_key и внем опысываете свой строковый ключ в настройках

пробовал tuple, почему то нули получаю в результате, словарь типа ComplexKeyHashed, кеy = (String)

Подскажите, если есть значения вида '/test1?arg1=1'. Можно ли стандартными функциями вытащить path? Именно функция path не отрабатывает, хотя при этом отдельно queryStringAndFragment вытаскивает "arg1=1"

попробуйте так: dictGetString('dict_name','attrib',tuple(key))

Спасибо, пробовал и сам но были лишние кавычки)))

Спасибо, пробовал и сам но были лишние кавычки)))

?

Подскажите, что делаю не так. Настроено реплицирование таблиц, но на реплицирующем КХ происходит исключение: 2018.06.27 08:23:48.063198 [ 17 ] <Trace> ReadWriteBufferFromHTTP: Sending request to http://testch1:9009/?endpoint=DataPartsExchange%3A%2Fclickhouse-stat%2Ftables%2Foda_gc%2Ftest2%2Freplicas%2F172.19.161.108&part=20180626_0_0_0&compress=false 2018.06.27 08:23:48.063373 [ 17 ] <Error> oda_gc.test (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused, e.what() = Connection refused Порты на реплицируемом открыты: alex@testch1:/home/hadoop$ netstat —listen Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 localhost.localdom:9000 0.0.0.0:* LISTEN tcp 0 0 localhost.localdom:9009 0.0.0.0:* LISTEN Тест через sudo nc -l 9009 проходит ок - телнетом подключаюсь отлично.

Всем привет, есть ди какой-либо документ о правилах создания сових функций для CH или дай бог tutorial ?

Ребята, всем привет! Развернули над ClickHouse специальноbi инструмент superset. Посоветуйте книгу/сайт/мануал, где можно почитать подробнее о всех возможностей superset ?

Всем привет, есть ди какой-либо документ о правилах создания сових функций для CH или дай бог tutorial ?

В открытом доступе точно нет, но, возможно, поможет https://www.youtube.com/watch?v=g5CDi8Nbut4 и, естественно, чтение кода )

Ребята, всем привет! Развернули над ClickHouse специальноbi инструмент superset. Посоветуйте книгу/сайт/мануал, где можно почитать подробнее о всех возможностей superset ?

Оф. сайт Superset ?

Оф. сайт Superset ?

Ну это само собой разумеется. Имелось в виду что-то дополнительное

с учетом того что все это совершенно новый софт то особо и опираться не на что

Ребята, всем привет! Развернули над ClickHouse специальноbi инструмент superset. Посоветуйте книгу/сайт/мануал, где можно почитать подробнее о всех возможностей superset ?

Рекомендую попробовать https://www.metabase.com Superset не удалось нормально настроить

Подскажите, если есть значения вида '/test1?arg1=1'. Можно ли стандартными функциями вытащить path? Именно функция path не отрабатывает, хотя при этом отдельно queryStringAndFragment вытаскивает "arg1=1"

Что значит не отрабатывает. Приведите пример

Рекомендую попробовать https://www.metabase.com Superset не удалось нормально настроить

А как там насчет интеграции с КХ?

Коллеги, не подскажите по chproxy - постоянно сыпет "error while health-checking "10.70.140.7:8123" host: cannot send request in 3.000187358s: Get http://10.70.140.7:8123: context deadline exceeded" что именно он от меня хочет? В конфигах как-то не нагуглилось ничего

Коллеги, не подскажите по chproxy - постоянно сыпет "error while health-checking "10.70.140.7:8123" host: cannot send request in 3.000187358s: Get http://10.70.140.7:8123: context deadline exceeded" что именно он от меня хочет? В конфигах как-то не нагуглилось ничего

прокси проверяет все адреса указанные в конфигурации кластера и если какие-то из них не отвечают на хелс-чек - на них не будут проксироваться запросы

посмотрите описание здесь - https://github.com/Vertamedia/chproxy#clusters

Подскажите, что делаю не так. Настроено реплицирование таблиц, но на реплицирующем КХ происходит исключение: 2018.06.27 08:23:48.063198 [ 17 ] <Trace> ReadWriteBufferFromHTTP: Sending request to http://testch1:9009/?endpoint=DataPartsExchange%3A%2Fclickhouse-stat%2Ftables%2Foda_gc%2Ftest2%2Freplicas%2F172.19.161.108&part=20180626_0_0_0&compress=false 2018.06.27 08:23:48.063373 [ 17 ] <Error> oda_gc.test (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused, e.what() = Connection refused Порты на реплицируемом открыты: alex@testch1:/home/hadoop$ netstat —listen Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 localhost.localdom:9000 0.0.0.0:* LISTEN tcp 0 0 localhost.localdom:9009 0.0.0.0:* LISTEN Тест через sudo nc -l 9009 проходит ок - телнетом подключаюсь отлично.

Перечитал документацию по настройке репликации и описание config.xml - не смог найти, что мешает. Может быть есть идеи, куда копать?

посмотрите описание здесь - https://github.com/Vertamedia/chproxy#clusters

Спасибо, я разрешал ему ходить только в одну ногу, помогла замена адреса на локалхост, видимо на внешний адрес еще гдето запреты есть

ДОбрый день, подскажите пожалуйста, После тестов CH сожрал всю отведенную ему оперативку (74Gb ) и не думает ее освобождать. Процесс Лист пустой

Всем привет , кто нибудь знает когда появятся уже наконец то UPDATE и DELETE ? а то как бы квартал второй уже заканчивается и по ROAD MAP уже все должно быть .

В следующем релизе будет https://github.com/yandex/ClickHouse/blob/8eee32cdd250d34499a60fb90eb72a528695c8b2/CHANGELOG_RU.md

вообще странно требовать от OpenSource каких-то фич по графику ?

Да я видел это , но кому надо то удалять столбцы )

Да я видел это , но кому надо то удалять столбцы )

всмысле? есть ALTER ... CLEAR COLUMN ... IN PARTITION ...

Здравствуйте. Подскажите пожалуйста, можно ли совместить arrayJoin и словарь? суть в том что в Array будет Int64 , потом нужно по каждому идентификатору в словаре найти другое значение

или толкько через подзапрос выйдет?

Здравствуйте. Подскажите пожалуйста, можно ли совместить arrayJoin и словарь? суть в том что в Array будет Int64 , потом нужно по каждому идентификатору в словаре найти другое значение

Да можно, но лучше сначала пробовать, а потом спрашивать ;)

согласен, но сейчас все на этапе проектирования просто ?

думаем как лучше

спасибо большое за ответ ?

а кто-то знает что это у меня

Code: 999, e.displayText() = ZooKeeperImpl::Exception: Can\'t get data for node /clickhouse/tables/01/publications/metadata: node doesn\'t exist (No node), e.what() = ZooKeeperImpl::Exception

при попытке создать таблицу ON CLUSTER

Перечитал документацию по настройке репликации и описание config.xml - не смог найти, что мешает. Может быть есть идеи, куда копать?

Разобрались. Не был задан <listen_host>0.0.0.0</listen_host>

Code: 999, e.displayText() = ZooKeeperImpl::Exception: Can\'t get data for node /clickhouse/tables/01/publications/metadata: node doesn\'t exist (No node), e.what() = ZooKeeperImpl::Exception

По какой-то причине в Zookeeper нет этих данных, посмотрите что там у вас вообще есть в /clickhouse/tables/01

И на каких шардах создались таблицы ?

Разобрались пока телега лежала) у нас название пути в зк совпало с другой таблицей:)

а форматилка запросов, она же существует? https://github.com/yandex/ClickHouse/issues/1480 вот из этого ишью или надо что-то доставить ручками?

а форматилка запросов, она же существует? https://github.com/yandex/ClickHouse/issues/1480 вот из этого ишью или надо что-то доставить ручками?

существует. Просто пайпом отправляйте запрос в clickhouse-format

echo 'select * from (select * from (select number from numbers(10)))' | clickhouse-format

echo 'select * from (select * from (select number from numbers(10)))' | clickhouse-format

хм, наверное я где-то криворуко его поставил и этот конкретно бинарь не собрался. спасибо!

хм, наверное я где-то криворуко его поставил и этот конкретно бинарь не собрался. спасибо!

Если из пачек ставите, то это в clickhouse-client

Можете ещё попробовать запустить как clickhouse format (с пробелом). Там на самом деле все эти дополнительные бинарки - это ссылки на одну главную бинарку которая умеет всё.

➜ ls -la /usr/bin/clickhouse-format lrwxrwxrwx 1 root root 10 May 11 12:16 /usr/bin/clickhouse-format -> clickhouse

Можете ещё попробовать запустить как clickhouse format (с пробелом). Там на самом деле все эти дополнительные бинарки - это ссылки на одну главную бинарку которая умеет всё.

да, вот так оно и сработало!

Подскажите пожалуйста, а для внешнего словаря с типом HTTP, можно ли как то указать заголовки, которые будут отправлены на web-сервер? Нужно пройти, например, Basic-авторизацию.

Подскажите пожалуйста, а для внешнего словаря с типом HTTP, можно ли как то указать заголовки, которые будут отправлены на web-сервер? Нужно пройти, например, Basic-авторизацию.

насколько мне известно - с помощью кликхаус - нельзя. Но можно с помощью всяких разных внешних средств (прокси, скрипт-обертка и т.п.).

насколько мне известно - с помощью кликхаус - нельзя. Но можно с помощью всяких разных внешних средств (прокси, скрипт-обертка и т.п.).

ок, я понял. спасибо

Подскажите пожалуйста, где проставляется опция force_primary_key? В профилях?

Подскажите пожалуйста, где проставляется опция force_primary_key? В профилях?

В профиле, но для проверки можно через SET

В профиле, но для проверки можно через SET

Через запрос?

да, или SET force_primary_key = 1`или в конце запроса `SETTINGS force_primary_key = 1

Спасибо!

Коллеги, привет. хотел уточнить

ENGINE = MergeTree(date_month,(contractor_id,date_month),8196) ENGINE = ReplicatedCollapsingMergeTree('/clickhouse/tables/name', 'replica1', Sign) PARTITION BY (date_month) ORDER BY (contractor_id,date_month) SAMPLE BY intHash32(UserID)

в обоих ли случаях создадутся индексы для contractor_id,date_month?

идеально впихнуть в первую запись 2 поля как ключ партиционирования, но насколько я понимаю, синтаксически нужно писать PARTITION BY, если их больше одного

идеально впихнуть в первую запись 2 поля как ключ партиционирования, но насколько я понимаю, синтаксически нужно писать PARTITION BY, если их больше одного

Ключ партиционирования в первой записи может быть только типа Date. И нельзя указать несколько ключаей. Зачем вам такое?

чтобы возможно было грохать меньше данных

я бы хотел грохать по месяцу и группе

PARTITION BY toYYYYMM(date_month) PARTITION BY (date_month) это партиция на каждый день, не эквивалентно старому

а не просто по месяцу, так как очень много данных нужно будет переливать

это я знаю

я хочу (date_month,group_id)

я хочу понять как во второй записи указать индексы, а не только сортировку при хранении

С использованием синтаксиса с PARTITION BY можно указать партиционирование по дню

PARTITION BY toYYYYMM(date_month) PARTITION BY (date_month) это партиция на каждый день, не эквивалентно старому

да вы верно подметили, про toYYYYMM(date_month)

в КХ нет никаких индексов, есть только сортировка

я хочу понять как во второй записи указать индексы, а не только сортировку при хранении

В КХ нет индексов в как в обычной базе. То что вы указываете используется для разбития на кусочки и для сортировки этих кусочков. Сортировка как и индекс - только одна

В КХ нет индексов в как в обычной базе. То что вы указываете используется для разбития на кусочки и для сортировки этих кусочков. Сортировка как и индекс - только одна

Спасибо, понял

Колонка есть, строки не было.

и на сколько я понимаю для CollapsingMergeTree секция order by задает поля по которым колапсится и коллапс идет только внутри партиции

и на сколько я понимаю для CollapsingMergeTree секция order by задает поля по которым колапсится и коллапс идет только внутри партиции

ORDER BY - это первичный ключ, да, по нему коллапсится

Всем привет! Кто-нибудь знает как поднять max_query_size? Правлю в config.xml на сервере <max_query_size>10485760</max_query_size>, не срабатывает.