вы понимаете, что в дампе только данные? и что его нужно заливать в какую-то таблицу?

а какую таблицу указывать если нет данных о структуре

У заказчика возьмите. Вообще я собирался инструмент делать чтоб из дампов структуру вытаскивал, но пока руки не дошли

я его strings file.dump, и там есть названия столбцов и типы переменных, вот только вот как это вытащить в полном объеме

я его strings file.dump, и там есть названия столбцов и типы переменных, вот только вот как это вытащить в полном объеме

Руками это будет достаточно сложно если размер дампа большой

Руками это будет достаточно сложно если размер дампа большой

да, большой, руками сложно

Дамп может быть жатый и не жатый. От этого будет зависеть порядок действий. Если жатый - сначала нужно разжать блок, и потом вычитать заголовок. В нем будет хэш сумма, и длинна нежатого блока. Дальше будет другой заголовок, в котором есть информация о блоке, но его можно пропустить. И уже из следующего заголовка можно полностью вытащить структуру таблицы, названия и типы колонок. Можете вот тут посмотреть пример, если знакомы с Java: https://github.com/Mangelion/achord/blob/master/src/main/java/com/github/mangelion/ClickHousePacketDecoder.java#L86

Для простых типов сегодня вечером может сделаю и сюда закину https://github.com/ClickHouse-Ninja/clickhouse-metadata-extractor

большое спасибо, было бы круто

бага есть и в последней версии.

Может кто нибудь зарепортить разработчикам?

Добавил реплику, пытаюсь писать в одну из distributed таблиц на ранее существовавшем в числе кластера сервере, возвращает ошибку Bad path syntax Bad path syntax: /var/lib/clickhouse/data/distributedbd/ppitest_datagate... и дальше перечисляются все сервера шарда, в который была добавлена реплика. адрес и аутентификационная информация нового сервера присутствует в пути. при этом в папке /var/lib/clickhouse/data/distributedbd/ppitest_datagate/ видно, что такого пути действительно нет, есть старый, в котором путь шарда ещё без добавленной реплики. подскажите, папку надо вручную переименовывать, или что-то пошло не так? справедливости ради - реплика добавленная стянула себе все данные шарда и успешно работает на чтение.

это ж что получается, количество реплик, с которыми может работать Distibuted таблица, ограничено длиной имени файла в Linux ? ?

Всем привет! Возможно ли запрос SHOW CREATE TABLE заставить отдавать отформатированный (с переносами строк и отступами) запрос на создание таблицы?

а LIMIT N BY COLUMNS в последних версиях быстрее не стал?

у меня 1.1.54342

это ж что получается, количество реплик, с которыми может работать Distibuted таблица, ограничено длиной имени файла в Linux ? ?

да, я оказался прав :) укоротил пароль на добавляемой реплике, и всё добавилось

Чтобы заранее знать - первый таймстамп придётся где-то хранить. А этого особо не хочется (хотя, логично, что это самый производительный вариант). А тут - в КХ записал и всё остальное он сам. Но есть беспокойство, что на стороне КХ будет лишняя нагрузка.

а потом у вас оно перезагрузится и счетчик сбросится

а потом у вас оно перезагрузится и счетчик сбросится

Кто перезагрузится? Сервис или КХ? Сервис-то не страшно. Там же если хранить, то использовать некое персистентное хранилище.

с кого там счетчики снимают? вот он

Привет! Попробовала подключить внешний словарь монго, но не вышло. В логах никаких ошибок нет, в system.dictionaries показывает element.count 1 (это не так) а в last exception MongoDB: dictionaries.curr, user@ip:port. User правильный, коннект до монго есть, подскажите, что это за странный last_exception и как его отдебажить?

v1.1.54343

Авторизация через ту же бд куда и подключение?

Привет! Попробовала подключить внешний словарь монго, но не вышло. В логах никаких ошибок нет, в system.dictionaries показывает element.count 1 (это не так) а в last exception MongoDB: dictionaries.curr, user@ip:port. User правильный, коннект до монго есть, подскажите, что это за странный last_exception и как его отдебажить?

Покажите как подключали монгу

нет, авторизация через admin

<mongodb> <host>host</host> <port>27017</port> <user>dict</user> <password>pass</password> <db>dictionaries</db> <collection>curr</collection> </mongodb>

Добрый день. ОПсы спрашивают про фразу в документации. "Лучше использовать программный RAID в Linux (mdadm)." Настолько ли лучше использовать программный, чтоб при наличии на сервере аппаратного RAID-контроллера, переключать его в режим passthrough, и управлять дисками средствами ОС? Какие конкретно преимущества есть в программном RAID?

переносимость, адекватная скорость, независимость от железа.

зависит от рейда, насколько я понимаю. Как минимум, для HP Smart Array - справедливо однозначно.

В смысле, проверено лично - в случае железного рейда скорость записи меньше.

<mongodb> <host>host</host> <port>27017</port> <user>dict</user> <password>pass</password> <db>dictionaries</db> <collection>curr</collection> </mongodb>

Попробуйте с сервера где стоит КХ через mongo клиент подключится с параметрами как в конфиге. Что-то типа такого mongo -d dictionaries --use dict --password pass

большое спасибо, было бы круто

Для простых типов (String, UInt(x), Int(x), DateTime, Date, FixedString) https://gist.github.com/kshvakov/4773d71d8735c4c5bc69ebf7ff9d9eba Остальное как руки дойдут

А кто нибудь решал задачу извлечения границ сессий из потока событий? Вариант который здесь https://groups.google.com/forum/#!topic/clickhouse/ZCZaMFEvoWw работает только если у девайсов не пересекаются сессии во времени. Если они пересекаются, тогда сквозной runningDifference становится отрицательным

Попробуйте с сервера где стоит КХ через mongo клиент подключится с параметрами как в конфиге. Что-то типа такого mongo -d dictionaries --use dict --password pass

из шелла всё ок

а можно как-нибудь auth db прописать в конфиге словаря? в примерах не нашла

а можно как-нибудь auth db прописать в конфиге словаря? в примерах не нашла

Не видел такой возможности. А вы уверены что это <host>host</host> правильно? Или там на самом деле есть реальный урл?

@DockerContainer(image = "yandex/clickhouse-client", net = "host", arguments = { "--multiquery", "--query=CREATE TABLE IF NOT EXISTS default.connection_test_uint64_3(date Date DEFAULT toDate(datetime), id UInt64, datetime UInt32, value UInt64) ENGINE = MergeTree(date, (datetime), 8192)"}) ничего себе! круто

конечно есть реальный :) нормально, уже работает, сделала аутентификацию через db словаря, но вообще хотелось бы на будущее, чтоб ее можно было указывать

конечно есть реальный :) нормально, уже работает, сделала аутентификацию через db словаря, но вообще хотелось бы на будущее, чтоб ее можно было указывать

Заведите тикет в гитхабе КХ, опишите как не работает и как получилось "закостылить"

Как-нибудь можно соединить в один запрос 2 команды? Например: >OPTIMIZE TABLE log PARTITION 201803 FINAL; OPTIMIZE TABLE log PARTITION 201802 FINAL;

Как-нибудь можно соединить в один запрос 2 команды? Например: >OPTIMIZE TABLE log PARTITION 201803 FINAL; OPTIMIZE TABLE log PARTITION 201802 FINAL;

Никак

Никак

Ясно, спасибо!

есть вопрос, есть в ch аналог функции группировки по времени как в influxbd, group by time(1h)

или какой есть воркэраунд чтобы это сделать?

есть вопрос, есть в ch аналог функции группировки по времени как в influxbd, group by time(1h)

https://clickhouse.yandex/docs/en/single/index.html#tostartofhour

хм.. это вы про округление дат, у меня был вопрос про группировку временным окном

хм.. это вы про округление дат, у меня был вопрос про группировку временным окном

SELECT toStartOfXX(action_time) AS t, COUNT(*) FROM T1 group by t

Можно подсмотреть, как плугин графаны делает

SELECT toStartOfXX(action_time) AS t, COUNT(*) FROM T1 group by t

SELECT toStartOfHour(timestamp) AS t, count() FROM table WHERE date = '2018-03-21' GROUP BY t ┌───────────────────t─┬─count()─┐ │ 2018-03-21 13:00:00 │ 17245 │ │ 2018-03-21 11:00:00 │ 16856 │ │ 2018-03-21 17:00:00 │ 20655 │ │ 2018-03-21 00:00:00 │ 5441 │ │ 2018-03-21 05:00:00 │ 2704 │ │ 2018-03-21 08:00:00 │ 10114 │ │ 2018-03-21 01:00:00 │ 3083 │ │ 2018-03-21 09:00:00 │ 12841 │ │ 2018-03-21 04:00:00 │ 1697 │ │ 2018-03-21 19:00:00 │ 24195 │ │ 2018-03-21 18:00:00 │ 23479 │ │ 2018-03-21 23:00:00 │ 11812 │ │ 2018-03-21 14:00:00 │ 17512 │ │ 2018-03-21 02:00:00 │ 2451 │ │ 2018-03-21 22:00:00 │ 15645 │ │ 2018-03-21 21:00:00 │ 22852 │ │ 2018-03-21 10:00:00 │ 15587 │ │ 2018-03-21 07:00:00 │ 6851 │ │ 2018-03-21 03:00:00 │ 1565 │ │ 2018-03-21 20:00:00 │ 26494 │ │ 2018-03-21 12:00:00 │ 16328 │ │ 2018-03-21 15:00:00 │ 17739 │ │ 2018-03-21 16:00:00 │ 19764 │ │ 2018-03-21 06:00:00 │ 4349 │ └─────────────────────┴─────────┘

не так?

Добрый вечер! А как-то можно привести UUID к строке? К FixedString(16)? Хоть к чему-нибудь?

Добрый вечер! А как-то можно привести UUID к строке? К FixedString(16)? Хоть к чему-нибудь?

https://clickhouse.yandex/docs/en/single/#uuidstringtonumstr

не так?

все работает, много спс

все работает, много спс

Пожалуйста =)

https://clickhouse.yandex/docs/en/single/#uuidstringtonumstr

нет, это я нашел уже. DB::Exception: Illegal type UUID of argument of function UUIDStringToNum, expected FixedString(36).

А, я понял, как я уже говорил: "Тип UUID в ClickHouse поломан и местами работает некоректно, вот это одно из мест :)"

https://github.com/yandex/ClickHouse/issues/1393 https://github.com/yandex/ClickHouse/issues/1770

Да я так и понял ) Пишу в надежде на то что разработчики сего счастья знают тайные тропы

UUID пришел от стороннего контрибутора, он его местами недоделал. Я как-то делал попытку понять как добавить/поправить тип в КХ, но там нужно прописать все в кучу мест. Есть надежда на митап для разработчиков, о котором говорил @milovidov_an , может после этого для многих станет проще понимать что там внутри и таких недоделок будет меньше. Кстати Алексей (@milovidov_an ) нет ли какой-нибудь информации по данному мероприятию: примерный план/формат, месяц проведения?

UUID пришел от стороннего контрибутора, он его местами недоделал. Я как-то делал попытку понять как добавить/поправить тип в КХ, но там нужно прописать все в кучу мест. Есть надежда на митап для разработчиков, о котором говорил @milovidov_an , может после этого для многих станет проще понимать что там внутри и таких недоделок будет меньше. Кстати Алексей (@milovidov_an ) нет ли какой-нибудь информации по данному мероприятию: примерный план/формат, месяц проведения?

Предварительно 16 мая, вечером.

Предварительно 16 мая, вечером.

Спасибо

План такой: наши доклады + обсуждение тем на выбор аудитории. Скорее всего, обсуждение около половины времени или больше. Наши доклады про внутреннее устройство системы и детали про некоторые части. Сейчас интересно узнать пожелания.

План такой: наши доклады + обсуждение тем на выбор аудитории. Скорее всего, обсуждение около половины времени или больше. Наши доклады про внутреннее устройство системы и детали про некоторые части. Сейчас интересно узнать пожелания.

Я уже скидывал, чуть позже вспомню что интересно и общим списком напишу

Да, плюс в форме регистрации можно будет указать интересующие вопросы. Анонсирование, скорее всего, за 1.5 месяца, то есть где-то через пару недель.

Для UUID в первую очередь надо доделать все FieldVisitors. См. по коду "StaticVisitor". Где нет UInt128 - надо добавить.

План такой: наши доклады + обсуждение тем на выбор аудитории. Скорее всего, обсуждение около половины времени или больше. Наши доклады про внутреннее устройство системы и детали про некоторые части. Сейчас интересно узнать пожелания.

А трансляция и/или запись будет?

А трансляция и/или запись будет?

Запись обязательно, трансляция под вопросом.

Подскажите, пожалуйста, суть проблемы:В MSSQL Server настроен linked server к КХ через ODBC-драйвер, при выполнении запроса и выборе столбцов типа String получаю такую ошибку: OLE_DB provider "STREAM" for linked server "(null)" returned message "Требуемое преобразование не поддерживается". Однако столбцы типа int, date, получаю без проблем!

Подскажите, пожалуйста, суть проблемы:В MSSQL Server настроен linked server к КХ через ODBC-драйвер, при выполнении запроса и выборе столбцов типа String получаю такую ошибку: OLE_DB provider "STREAM" for linked server "(null)" returned message "Требуемое преобразование не поддерживается". Однако столбцы типа int, date, получаю без проблем!

Попробуйте получить сформированый через ODBC-драйвер запрос. Может быть сам драйвер не поддерживает какое действие для КХ

<Error> Application: Access to file denied: format_schemas после апгрэйда, в чом проблема?

кажется понял, надо полный путь сейчас

Коллеги, чет не могу сообразить, где размещать настройку вида connect_timeout_with_failover_ms ?

на каком уровне?

@neiwick

Привет. Я в кликхаусном чате сообщение про ошибку не нашел. Там тест некорректный - в цикле только одна строчка из 3х. Поэтому вместо 3N значений пишется N + 2, при том еще и размер у них не совпадает. stmt.sendRowBinaryStream("INSERT INTO default.connection_test_uint64_?id, datetime, value)", stream -> { for (int i = 0; i < NUMBERS_COUNT; i++) stream.writeUInt64(1); stream.writeUInt32(1); stream.writeUInt64(1); }); Не знаю куда отвечать, зафорварди пожалуйста куда надо.

на каком уровне?

Это пользовательская настройка, то есть можно на уровне запроса, на уровне сессии, на уровне профиля пользователя.

у меня не работает обращение черещ дистрибютед

это в профиле пользователя через которого устанавливается кластерное соединение?

Какая версия?

ну я не думаю, что дело в этом

в других регионах работает

а тут регион через пол страны

Хотя действительно, нужно для дефолтного профиля указывать

т.е. вот на этом уровне? <yandex> <!-- Profiles of settings. --> <profiles> <!-- Default settings. --> <default> <connect_timeout_with_failover_ms>250</connect_timeout_with_failover_ms>

ага

Привет. Я в кликхаусном чате сообщение про ошибку не нашел. Там тест некорректный - в цикле только одна строчка из 3х. Поэтому вместо 3N значений пишется N + 2, при том еще и размер у них не совпадает. stmt.sendRowBinaryStream("INSERT INTO default.connection_test_uint64_?id, datetime, value)", stream -> { for (int i = 0; i < NUMBERS_COUNT; i++) stream.writeUInt64(1); stream.writeUInt32(1); stream.writeUInt64(1); }); Не знаю куда отвечать, зафорварди пожалуйста куда надо.

Привет. Да, я это вчера тоже поправил, спасибо за уточнение.

А чисто теоретически, через одно соединение можно налить столько данных, что начнет выскакивать too much partitions, merges are significantly slower than inserts?

не очень понятно при чем тут соединение , если вставлять мелкими пачками тысячу раз в секунду то можно

А чисто теоретически, через одно соединение можно налить столько данных, что начнет выскакивать too much partitions, merges are significantly slower than inserts?

На обычных INSERT SELECT (которые делают то же самое - пишут данные с такой скоростью, с какой они записываются в один поток) такого не возникает, а на большом количестве параллельных INSERT SELECT в одну таблицу уже иногда возникает. Но ещё зависит от других факторов - может как-то влиять схема партиционирования, а также скорость работы и загруженность ZK кластера.

ага

У меня было ощущение, что users.xml файл и его изменения подхватываются без перезагрузки CH. Это так? Или мне показалось?

ДА подхватываются

Но это работает не со всеми настройками :)

Например для этой придётся ещё перезагрузить конфиг кластеров. Например, сделать touch config.xml или отправить запрос SYSTEМ DROP DNS CACHE

фух

в моей версии походу нет такого про DNS

На обычных INSERT SELECT (которые делают то же самое - пишут данные с такой скоростью, с какой они записываются в один поток) такого не возникает, а на большом количестве параллельных INSERT SELECT в одну таблицу уже иногда возникает. Но ещё зависит от других факторов - может как-то влиять схема партиционирования, а также скорость работы и загруженность ZK кластера.

Я вчера столкнулся с этим на скорости примерно около 35 млн строк/сек. Пробовал играть с размером блока в пределах 5-10кк строк вместо 1024 * 1024, но прямой связи между ошибкой, схемой и размером блока пока не нашел. Судя по коду сервера, размер блока сильно повлиять на ошибку не может. А вот порядок данных в колонках первичного ключа действительно помогает, и даже незначительно ускоряет вставку. Но видимо это сайд эффект того что пул потоков на мерж тратит меньше цпу времени.

INSERT SELECT же как понимаю будет выполняться целиком на сервере без сетевой активности? А есть возможность на стороне сервера приоретезировать треды сетевых соединений над тредами мержа?

Я вчера столкнулся с этим на скорости примерно около 35 млн строк/сек. Пробовал играть с размером блока в пределах 5-10кк строк вместо 1024 * 1024, но прямой связи между ошибкой, схемой и размером блока пока не нашел. Судя по коду сервера, размер блока сильно повлиять на ошибку не может. А вот порядок данных в колонках первичного ключа действительно помогает, и даже незначительно ускоряет вставку. Но видимо это сайд эффект того что пул потоков на мерж тратит меньше цпу времени.

35 млн. строк в секунду - это на что? На один сервер очень трудно добиться такой скорости.