https://clickhouse.yandex/docs/ru/operations/access_rights/

этого достаточно?

а там разве мжно как-либо сделать так, чтобы у пользователя Х был доступ на Запись к бд1 и только Чтение к бд2?

а там разве мжно как-либо сделать так, чтобы у пользователя Х был доступ на Запись к бд1 и только Чтение к бд2?

нет

Доступ к БД не связан с настройкой readonly. Невозможно дать полный доступ к одной БД и readonly к другой.

В этом и проблема. У нас тут орда аналитков, которым желательно не давать доступ на запись к основым бд, но при этом у них должжен быть доступ на запись к своим бд

звучит как issue. можно завести на github и дообсудить там

да, заведу. Спасибо

а chproxy не решает?

он вроде не решает эту проблему: чтобы у пользователя Х был доступ на Запись к бд1 и только Чтение к бд2

звучит как issue. можно завести на github и дообсудить там

https://github.com/yandex/ClickHouse/issues/2858

Есть две таблицы 1 таблица домен дата и время посещения ххх.ру 2016-12-31 21:02:07 2 таблица домен дата и время перехода ххх.ру 2016-12-31 20:48:07 необходимо заджоинить все случаи, когда переходы были с одного домена и примерно в одно время(1 час разброс) Вопрос: как указать разброс через ON?

Подскажите, пожалуйста, можно ли полагаться на коды ошибок КХ? Нашёл их перечисление только здесь https://github.com/yandex/ClickHouse/blob/master/dbms/src/Common/ErrorCodes.cpp

Подскажите, пожалуйста, можно ли полагаться на коды ошибок КХ? Нашёл их перечисление только здесь https://github.com/yandex/ClickHouse/blob/master/dbms/src/Common/ErrorCodes.cpp

в каком смысле полагаться?

если про проверку конкретных кодов ошибок, то наверное пока не стоит. ситуация, когда вместо одной ошибки в новой версии прилетит другая, вполне возможна. специально это не проверяется

специально порядок из приведенного выше файла никто ломать не будет, но ошибки могут например, переупорядочиться - был запрос, возвращающий ошибку X, добавили оптимизацию и вместо X он стал возвращать Y

Вполне логично) Спасибо

Я тут себе в программу добавил кликхаус и половину кода пришлось удалить. Было на постгресе (мы положили 500 миллионов запсией в постгрес и он умер). КХ работает чудесно - я рад. Надеюсь, все глюки будут решаемы. Но есть вопрос: кастомер меня спрашивает "а хренли КХ?". Мои доводы "я бы рад что угодно другое, но что под руку попалось то и взял т.к. до дедлайна у нас три дня, а со спарком мне времени разбираться нет". Однако, всякие там манагеры немного стремаются юзать столь молодое решение. Посему вопрос: есть ли какой-нибудь платный саппорт? Яндексу это нафиг не нужно, конечно, но может какая-то сторонняя компания, которую можно порекомендовать?

платный саппорт на случай ответа на вопрос "у нас по постгресу огромный ноуледж, мы всё знаем, все знают поостгрес, а что делать с КХ если он упадет ааааааа"

(почему с огромным ноуледжом мы смогли ушатать постгрес и ничего не смогли с этим сделать - оставиим за кадром)

Altinity же. первая строчка в гугле

ну а ее порекомендовать кроме гугла кто-то может?

что это вообще за чувачки?

ну а ее порекомендовать кроме гугла кто-то может?

@alexanderzaitsev может рассказать вам кто они и чем занимаются

ага, CO-FOUNDER. Спасибо

Кто нить пользуется kafka table engine https://clickhouse.yandex/docs/en/operations/table_engines/kafka/? Для кого рода задач?

Мы используем, для интеграции - много загрузчиков из разных источников пишут данные в кафку, КХ материализует данные пачками в БД.

можете привести строку, которая не вставилась? кажется там могут быть варианты в зависимости, есть кавычки или нет

"38855324,x,32691717,3158850595,5300453710,TEXT_AD,NONE,ON,ACCEPTED,Идут показы.,,,"Вернитесь, чтобы завершить заказ!",,"Вы не забыли про свой заказ в магазине? Он ждет Вас!",https://x.ru/cart.html,NO,x.ru,ваша-корзина,39100487,ACCEPTED,Контактная информация принята на модерации.,ACCEPTED,Отображаемая ссылка принята на модерации.,0,,,b2U77LytWaTeztLmelASvw,ACCEPTED,Изображение принято на модерации.,[],,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,," обернул в кавычки. Попробовал вставить с CSV разделителем, тоже самое Column 31, name: TextAdVideoExtensionCreativeID, type: UInt32, ERROR: text ",,,,,,,,,," is not like UInt32

есть подозрение, что массив с символами [] вносит такую ошибку, что там с его экранированием пходу

Не всё в кавычки, а только текстовое значение

Мы используем, для интеграции - много загрузчиков из разных источников пишут данные в кафку, КХ материализует данные пачками в БД.

А проблему с json с вложенными объектами как-то решали? Или перевели в 1-уровневую структуру?

Я сталкивался с этим же и не решил проблему (перешёл на другой формат) Дай знать, если найдётся решение

Я сталкивался с этим же и не решил проблему (перешёл на другой формат) Дай знать, если найдётся решение

? ладно

А проблему с json с вложенными объектами как-то решали? Или перевели в 1-уровневую структуру?

проблема возникла на пустом массиве, на первом скрине видно, поэтому до вложеннх еще не дошел

есть подозрение, что массив с символами [] вносит такую ошибку, что там с его экранированием пходу

можно в виде двух запросов: один на create table, один на вставку clickhouse-clisent -q INSERT FORMAT CSV ?

типа такого echo '"2016-01-01 01:02:03","1" 2016-01-02 01:02:03, "2" 1502792101,"3" 99999,"4"' | $CLICKHOUSE_CLIENT --query="INSERT INTO test.csv FORMAT CSV";

в личку написал, чтоб не захламлять тут

принудительно проставил 0, нормально стало

При загрузке файла CSV через докер меняется часовой пояс у дат в файле. Пытался и таймзону докера менять и таймзону контейнера-никак. Все равно меняется. Подскажите, как фиксили?

Меняется на что?

в конфиге пробовали менять?

<!-- Server time zone could be set here. Time zone is used when converting between String and DateTime types, when printing DateTime in text formats and parsing DateTime from text, it is used in date and time related functions, if specific time zone was not passed as an argument. Time zone is specified as identifier from IANA time zone database, like UTC or Africa/Abidjan. If not specified, system time zone at server startup is used. Please note, that server could display time zone alias instead of specified name. Example: W-SU is an alias for Europe/Moscow and Zulu is an alias for UTC. --> <!-- <timezone>Europe/Moscow</timezone> -->

А проблему с json с вложенными объектами как-то решали? Или перевели в 1-уровневую структуру?

Никак не решали, используем плоскую структуру

При загрузке файла CSV через докер меняется часовой пояс у дат в файле. Пытался и таймзону докера менять и таймзону контейнера-никак. Все равно меняется. Подскажите, как фиксили?

By default, the client switches to the timezone of the server when it connects. You can change this behavior by enabling the client command-line option --use_client_time_zone.

А проблему с json с вложенными объектами как-то решали? Или перевели в 1-уровневую структуру?

у меня был такой вопрос, клик не умеет нестед джейсон парсить, поэтому пришлось делать скрипт который сам смотрит в кафку и потом делает плоский джейсон. Дальше - можете писать это в другой топик xDDD

у меня был такой вопрос, клик не умеет нестед джейсон парсить, поэтому пришлось делать скрипт который сам смотрит в кафку и потом делает плоский джейсон. Дальше - можете писать это в другой топик xDDD

А как лучше поступить с полем, являющимся массивом обьектов?

Да и если таких в документе несколько?

А как лучше поступить с полем, являющимся массивом обьектов?

авком парсил, но потом на самом деле уже в клик не пихал, у меня своя задачка была, надо было сделать что-то и быстро, поэтому кафка через баш скрипт в телеграф далее в инфлюкс и потом в графану

кстати вот вертика отлично вычитывает нестед джейсон

кстати вот вертика отлично вычитывает нестед джейсон

Она в бесплатном варианте лишь 1Тб ограничена

Она в бесплатном варианте лишь 1Тб ограничена

да, я понимаю что это дорого. да может быть и далеко не так красиво как клик в каких то вещах, но что делать.

Писать патчи, конечно же

Основное преимущество не бесплатность вовсе, а возможность реализовать свои хотелки на отличной базе

Писать патчи, конечно же

Если есть время - то да, если нет, то склеить из того что есть под руками, гораздо проще распарсить самому тем же авком или jq и потом если есть желание отправить в кафку, консюмера и продюсера с использованием библиотек кафки сделать довольно тривиально, как выяснилосью Ну это как бы ап ту ю

yandex/ClickHouse was tagged: v18.10.3-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v18.10.3-stable Release notes: Auto version update to [18.10.3] [54405]

помоите пожалуйста, пытаюсь протестировать CH + BI тулзами, сейчас играюсь с jasperreports CE, не могу подцепить. JDBC driver

положил driver в папку с либами, но сервак его не видит

так же скачал report desigener, полодил драйвер рядом с MySQL драйвером, все-равно в UI оно не появляется

https://search.maven.org/search?q=g:ru.yandex.clickhouse%20AND%20a:clickhouse-jdbc&core=gav

Подскажите пожалуйста, в каких случаях возникает ошибка при вставке данных: Code: 117. DB::Exception: Expected end of line ?

Подскажите пожалуйста, в каких случаях возникает ошибка при вставке данных: Code: 117. DB::Exception: Expected end of line ?

CSV на входе не соответствует ожидаемому: https://github.com/yandex/ClickHouse/blob/6b74ab870822d8487c7c710c0f9a0d53b45d1000/dbms/src/Formats/CSVRowInputStream.cpp#L50

CSV на входе не соответствует ожидаемому: https://github.com/yandex/ClickHouse/blob/6b74ab870822d8487c7c710c0f9a0d53b45d1000/dbms/src/Formats/CSVRowInputStream.cpp#L50

спасибо

Павел Максимов (0) увеличил репутацию Ivan Blinkov (1)

положил driver в папку с либами, но сервак его не видит

если верить их доке, то есть ещё вариант с загрузкой драйвера через веб-интерфейс https://community.jaspersoft.com/wiki/how-add-jdbc-driver-jasperreports-server

болт

Добрый день, правильно я понимаю что преимущество SummingTree перед обычным MT что он хранит агрегированные данные на диске после бэкграунд Merge операции?

Есть идея

открыл драйвер через eclipse

// Compiled from ClickHouseDriver.java (version 1.6 : 50.0, super bit)

./java/bin/java -version java version "1.8.0_151" Java(TM) SE Runtime Environment (build 1.8.0_151-b12)

Я не спец в java

но у yandex есть 2 билда, для 1.6, и 1.8

https://travis-ci.org/yandex/clickhouse-jdbc

вот только как скачать билд для 1.8 пока не понял, на крайняк буду осваивать mvn, но если кто занет, то поделитесь инфой плз

Добрый день, правильно я понимаю что преимущество SummingTree перед обычным MT что он хранит агрегированные данные на диске после бэкграунд Merge операции?

как я понял, да

вот только как скачать билд для 1.8 пока не понял, на крайняк буду осваивать mvn, но если кто занет, то поделитесь инфой плз

Возможно эта штука неправильно диагностику даёт и на самом деле проблема в отсутствии зависимостей, можно попробовать собрать ...-jar-with-dependencies через mvn package assembly:single -DskipTests=true

так лень устанавливать/разбираться с mvn =)

для начала попробую найти драйвер скомпиленый через JDK 1.8 и подсуну его, если не найду буду собирать jar

Коллеги, пожскажите, пожалуйста, на сколько клик удобен для такого рода задач (или может быть кто знает что по лучше): есть поток пар <a1,b11>,<a2,b21>,<a1,b12>.....где грубо говоря a-это набор статических аттрибутов документа, а b-динамических. Поток настолько велик, что использовать систему с update по id не годится. Задача: строить всяческую аналитику с использованием последних значений b для a.

Коллеги, пожскажите, пожалуйста, на сколько клик удобен для такого рода задач (или может быть кто знает что по лучше): есть поток пар <a1,b11>,<a2,b21>,<a1,b12>.....где грубо говоря a-это набор статических аттрибутов документа, а b-динамических. Поток настолько велик, что использовать систему с update по id не годится. Задача: строить всяческую аналитику с использованием последних значений b для a.

Можно и попробовать прикрутить. Сделать AggregatingMergeTree, которое будет сразу агрегировать последние значения в разрезе An, и готово.

Парни, кто сталкивался с [ 78 ] <Error> default.graphite (StorageReplicatedMergeTree): Code: 40, e.displayText() = DB::Exception: Checksums of parts don't match: hash of uncompressed files doesn't match, uncompressed hash of compressed files doesn't match, e.what() = DB::Exception. Data after merge is not byte-identical to data on another replicas. There could be several reasons: 1. Using newer version of compression library after server update. 2. Using another compression method. 3. Non-deterministic compression algorithm (highly unlikely). 4. Non-deterministic merge algorithm due to logical error in code. 5. Data corruption in memory due to bug in code. 6. Data corruption in memory due to hardware issue. 7. Manual modification of source data after server startup. 8. Manual modification of checksums stored in ZooKeeper. We will download merged part from replica to force byte-identical result. уже до последней версии обновил оба сервера, как только начинаю лить реплику на 2й, на превом выходит такая ошибка и пишет ежесекундно

Можно и попробовать прикрутить. Сделать AggregatingMergeTree, которое будет сразу агрегировать последние значения в разрезе An, и готово.

А aggMergeTree поддерживает distributing?

Парни, кто сталкивался с [ 78 ] <Error> default.graphite (StorageReplicatedMergeTree): Code: 40, e.displayText() = DB::Exception: Checksums of parts don't match: hash of uncompressed files doesn't match, uncompressed hash of compressed files doesn't match, e.what() = DB::Exception. Data after merge is not byte-identical to data on another replicas. There could be several reasons: 1. Using newer version of compression library after server update. 2. Using another compression method. 3. Non-deterministic compression algorithm (highly unlikely). 4. Non-deterministic merge algorithm due to logical error in code. 5. Data corruption in memory due to bug in code. 6. Data corruption in memory due to hardware issue. 7. Manual modification of source data after server startup. 8. Manual modification of checksums stored in ZooKeeper. We will download merged part from replica to force byte-identical result. уже до последней версии обновил оба сервера, как только начинаю лить реплику на 2й, на превом выходит такая ошибка и пишет ежесекундно

на обоих такое, что-то в данных первой реплики?

а после нее идет сразу: [ 126 ] <Warning> default.graphite (ReplicatedMergeTreePartCheckThread): Checking part 20180814_20180814_333681_333686_1 [ 126 ] <Warning> default.graphite (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 20180814_20180814_333681_333686_1. [ 126 ] <Warning> default.graphite (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 20180814_20180814_333681_333686_1. Hoping that it will eventually appear as a result of a merge.

Подскажите пожалуйста. Возникли проблемы с удалением данных. Смотрю в таблицу system.mutations запросы в очереди просто висят. Это связанно только с одной таблицей, для другиз запросы выполняются судя по system.mutations. Может оттуда удалить записи? может поможет В логах ошибка: <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 53, e.displayText() = DB::Exception: Types of column 1 in section IN don't match: String on the right, UInt32 on the left., e.what() = DB::Exception, Stack trace: были такие запросы, где была синтакситечская ошибка, наверно с этим как раз связано

Подскажите пожалуйста. Возникли проблемы с удалением данных. Смотрю в таблицу system.mutations запросы в очереди просто висят. Это связанно только с одной таблицей, для другиз запросы выполняются судя по system.mutations. Может оттуда удалить записи? может поможет В логах ошибка: <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 53, e.displayText() = DB::Exception: Types of column 1 in section IN don't match: String on the right, UInt32 on the left., e.what() = DB::Exception, Stack trace: были такие запросы, где была синтакситечская ошибка, наверно с этим как раз связано

У меня такое было, удаление зависалр на середине. Но я так и не разобрался что не так. Потрите что в лог КХ пишет