я ещё не понял, что такое партицирование, поэтому пока не вижу проблем)))

Почитайте, зачем нужно поле EventDate https://clickhouse.yandex/docs/ru/table_engines/mergetree.html , возможно при небольшом размере данных, один большой "кусочек" не будет проблемой

Вот ещё на тему партиций https://clickhouse.yandex/docs/ru/query_language/queries.html?highlight=%D0%BF%D0%B0%D1%80%D1%82%D0%B8%D1%86%D0%B8%D1%8F#id5

Спасибо. В первом описании ещё и слово "семплирование" используется, поэтому слово "партицирование" пока для меня недоступно) Я как-то с этими словами в музыке больше знаком. Боюсь, придётся исходники читать.

Добрый день. А как так получается, что по айди ищет, а по строке нет ( = и LIKE ) ? Значение строки при этом называет идентификатором. Что я делаю не так? select city_id, name_ru from _cities_log where city_id=1 limit 1 SELECT city_id, name_ru FROM _cities_log WHERE city_id = 1 LIMIT 1 ┌─city_id─┬─name_ru─┐ │ 1 │ Москва │ └─────────┴─────────┘ 1 rows in set. Elapsed: 0.017 sec. Processed 65.54 thousand rows, 2.06 MB (3.77 million rows/s., 118.61 MB/s.) :) select city_id, name_ru from _cities_log where name_ru="Москва" limit 1 SELECT city_id, name_ru FROM _cities_log WHERE name_ru = Москва LIMIT 1 Received exception from server: Code: 47. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Unknown identifier: Москва. 0 rows in set. Elapsed: 0.031 sec.

Добрый день. А как так получается, что по айди ищет, а по строке нет ( = и LIKE ) ? Значение строки при этом называет идентификатором. Что я делаю не так? select city_id, name_ru from _cities_log where city_id=1 limit 1 SELECT city_id, name_ru FROM _cities_log WHERE city_id = 1 LIMIT 1 ┌─city_id─┬─name_ru─┐ │ 1 │ Москва │ └─────────┴─────────┘ 1 rows in set. Elapsed: 0.017 sec. Processed 65.54 thousand rows, 2.06 MB (3.77 million rows/s., 118.61 MB/s.) :) select city_id, name_ru from _cities_log where name_ru="Москва" limit 1 SELECT city_id, name_ru FROM _cities_log WHERE name_ru = Москва LIMIT 1 Received exception from server: Code: 47. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Unknown identifier: Москва. 0 rows in set. Elapsed: 0.031 sec.

Кавычки должны быть одинарные select city_id, name_ru from _cities_log where name_ru='Москва' limit 1

получилось, спасибо!

кто нибудь работал с этим драйвером https://github.com/kshvakov/clickhouse в кластере? там можно как нибудь сделать запрос на создание локальных таблиц в каждой ноде кластера?

Create table on cluster

Кх добавили ddl

Всем привет! Столкнулись с проблемой — не можем найти решение. Стал зависать один запрос с FINAL по CollapsingMergeTree, доходит до 9% с хорошей скоростью и всё. KILL QUERY он не убивается, по таймауту не отлетает, так и висит. Спасает только рестарт сервера. В err.log ничего нет, куда копать? Без FINAL он выполняется.

Всем привет! Столкнулись с проблемой — не можем найти решение. Стал зависать один запрос с FINAL по CollapsingMergeTree, доходит до 9% с хорошей скоростью и всё. KILL QUERY он не убивается, по таймауту не отлетает, так и висит. Спасает только рестарт сервера. В err.log ничего нет, куда копать? Без FINAL он выполняется.

Это интересно. Какая версия сервера?

Кстати, final не меняет состояние данных в таблице? Я имею ввиду он не как optimize срабатывает?

Не меняет.

1.1.54262

Есть ещё сервер 1.1.54198, там почти такие же данные, такой проблемы нет.

Если запрос немного упростить, то он вообще на 0% встаёт

Да, это проблема той testing версии. Можете обновить на последний testing и проблема исправится.

Спасибо, попробуем :)

@milovidov_an , добрый вечер. Вот есть желание добавить в драйвер поддержку сжатия, можно "на пальцах" обяснить как оно работает, т.е. что писать/читать ?

Насколько я помню, сжимаются блоки с данными Native формата, а всё остальное (всякие номера пакетов и т. п.) передаётся без сжатия. Сжатые данные устроены так. Они представляют собой набор сжатых фреймов. Каждый фрейм имеет следующий вид: чексумма (16 байт), идентификатор алгоритма сжатия (1 байт), размер сжатых данных (4 байта, little endian, размер не включает в себя чексумму, но включает в себя остальные 9 байт заголовка), размер несжатых данных (4 байта, little endian), затем сжатые данные. Идентификатор алгоритма: 0x82 - lz4, 0x90 - zstd. Чексумма - CityHash128 из CityHash версии 1.0.2, вычисленный от сжатых данных с учётом 9 байт заголовка. См. CompressedReadBufferBase, CompressedWriteBuffer, utils/compressor, TCPHandler.

Спасибо большое

А кто подскажет как через insert values записать Nested? Просто как массив передавать? Типа [[val, val], [val, val]]?

Разобрался :)

(Оффтоп) А кто-то настраивал интеграцию метрики с КХ? У меня вообще никак не заводится :( Что я могу делать не так? https://github.com/yndx-metrika/logs_api_integration/issues/9

ну только вчера пробовал не было проблем, мб версия кликхауса влияет?

у меня 1.1.54164 на дев тачке

python 2.7.10 ClickHouse 1.1.54245

попробую обновиться

Причем структуру скрипт норм создал, а данные не хочет грузить

скачал кусок с метрики запросом wget https://api-metrika.yandex.ru/management/v1/counter/3199561/logrequest/194328/part/1/download?auth_token=xxx -O c1, загружается руками cat c1 | sed "1d" | clickhouse-client --query="insert into qwe1.hits_all FORMAT TabSeparated" :) видимо вопрос к скрипту загрузки

При вставке CSV форматом получаю ошибку: Cannot parse quoted string: expected opening quote: (at row 1) Row 1: Column 0, name: EventDate, type: Date, parsed text: "<DOUBLE QUOTE>2017-06-15<DOUBLE QUOTE>" Column 1, name: EventTime, type: DateTime, parsed text: "<DOUBLE QUOTE>2017-06-15 23:00:30<DOUBLE QUOTE>" Column 2, name: EventType, type: String, parsed text: "<DOUBLE QUOTE>EntitiesAggregationStarted<DOUBLE QUOTE>" Column 3, name: Tags.Name, type: Array(String), parsed text: "<DOUBLE QUOTE>[<SINGLE QUOTE>CourseId<SINGLE QUOTE>, <SINGLE QUOTE>Facts<SINGLE QUOTE>]<DOUBLE QUOTE>" Column 4, name: Tags.Value, type: Array(String), parsed text: <EMPTY>ERROR Вот собственно строка: "2017-06-15","2017-06-15 23:00:30","EntitiesAggregationStarted","['CourseId', 'Facts']","['2', ['result','progress']]" Я правильно понял, что почему то КХ не может спарсить открывающиеся кавычки? Только вопрос почему, если все обернуто кавычками.

Кавычки двойные нужны а не одинарные

Т.е. везде вообще должны быть двойные?

У меня одинарные внутри двойных

"['2', ['result','progress']]" - вот например

Там кавычки не взаимозаменяемые

Что-то какой то бред. Если у меня будет там формат колонки String в котором одинарные кавычки, то я их не смогу вписать что ли? )

Может заслэшить?

['2', ['result','progress']] - это получается не Array(String), так как в массиве разные типы элементов - сначала идёт строка '2', а потом ещё один массив.

['2', ['result','progress']] - это получается не Array(String), так как в массиве разные типы элементов - сначала идёт строка '2', а потом ещё один массив.

Блин, вот дурень. Сори за беспокойство! Сейчас поправлю и проверю, спасибо!

Всем привет. А подскажите, плиз, задача - сделать топ сайтов по посещаемости и узнать позицию нужного сайта в этом топе. select site,count() as cnt,if(site='aaa.ru',1,0) as outsite from table group by site order by cnt так получаем топ. А как можно узнать позицию, допустим сайта aaa.ru? В голову приходят только варианты с join с system.numbers, но что указать в using не понятно. Переменные в КХ, вроде как отсутствуют. Получается единственный вариант - выгрузка всего топа на клиент и там определение позиции?

О! Нашел rowNumberInAllBlocks, похоже то что нужно

о, точняк

Теперь интереснее задача. А как получить не только позицию, а 3 сайты выше в топе и 3 ниже? Пока только такое в голову приходит... https://pastebin.com/DBVnQVNZ Правильно ли я понимаю, что в этом случае нагрузка будет х3, по сравнению, с вариантом выгрузки всего топа на клиент?

мне кажется, что уже разумно как-то с блоками поиграть

т.е. в сторону runningAccumulate?

Я бы лучше на стороне клиента сделал простую пост-обработку.

топ 3м записей получается, мне кажется по сети будет больно тянуть такой объем

Сохраните топ во временную таблицу. А потом уже несложный запрос будет.

О! Отличный план. Спасибо! Что-то был уверен, что в clickhouse еще нет сессий

Привет всем, как вы обходитесь без autoincrement? имеете внешний счетчик? или тупо SELECT MAX(id) from t перед BATCH insert :)

Привет всем, как вы обходитесь без autoincrement? имеете внешний счетчик? или тупо SELECT MAX(id) from t перед BATCH insert :)

В наших таблицах нет колонки id

ERROR: S client not available

может у других есть?

У нас есть столбец с id, но он не autoincrement, а некий идентификатор, генерирующийся снаружи на разных машинах независимо.

random int64?)

а понял

считай просто внешний счетчик..

во время ETL думал изменять логику equality сущности

и соотвественно в таком случаи я уже не смогу опираться на айди из исходной системы

так как CH это не транзакционная БД, то видимо надо писать только с одного потока если использовать workaround SELECT MAX(id) from t?

чтобы исключить конфликт по id

MAX(id) FROM t будет медленно работать - full scan. Есть несколько вариантов, как сделать инкрементный идентификатор: 1. Хранить счётчик в отдельной системе (например, в Redis); 2. На разных серверах, которые записывают данные, иметь смещение и множитель, и генерировать идентификаторы с учётом этого;

MAX(id) FROM t будет медленно работать - full scan. Есть несколько вариантов, как сделать инкрементный идентификатор: 1. Хранить счётчик в отдельной системе (например, в Redis); 2. На разных серверах, которые записывают данные, иметь смещение и множитель, и генерировать идентификаторы с учётом этого;

А если id - в primary key первый?

Не поможет - нет оптимизации для такого случая.

Max(...) не смотрит на индексы? Надо issue завести наверное.

Спасибо за полезную информацию

Max(...) не смотрит на индексы? Надо issue завести наверное.

Да, не смотрит.

При вставке CSV форматом получаю ошибку: Cannot parse quoted string: expected opening quote: (at row 1) Row 1: Column 0, name: EventDate, type: Date, parsed text: "<DOUBLE QUOTE>2017-06-15<DOUBLE QUOTE>" Column 1, name: EventTime, type: DateTime, parsed text: "<DOUBLE QUOTE>2017-06-15 23:00:30<DOUBLE QUOTE>" Column 2, name: EventType, type: String, parsed text: "<DOUBLE QUOTE>EntitiesAggregationStarted<DOUBLE QUOTE>" Column 3, name: Tags.Name, type: Array(String), parsed text: "<DOUBLE QUOTE>[<SINGLE QUOTE>CourseId<SINGLE QUOTE>, <SINGLE QUOTE>Facts<SINGLE QUOTE>]<DOUBLE QUOTE>" Column 4, name: Tags.Value, type: Array(String), parsed text: <EMPTY>ERROR Вот собственно строка: "2017-06-15","2017-06-15 23:00:30","EntitiesAggregationStarted","['CourseId', 'Facts']","['2', ['result','progress']]" Я правильно понял, что почему то КХ не может спарсить открывающиеся кавычки? Только вопрос почему, если все обернуто кавычками.

Там типы полей для версии браузера криво заданы

Там типы полей для версии браузера криво заданы

Я из файла вставляю данные

Я из файла вставляю данные

в файле версия браузера 21.0 а для нее в python коде например заведен INT - "ym:s:browserMajorVersion": "UInt16", - "ym:s:browserMinorVersion": "UInt16", + "ym:s:browserMajorVersion": "String", + "ym:s:browserMinorVersion": "String",

ch_types.json смотрите

в файле версия браузера 21.0 а для нее в python коде например заведен INT - "ym:s:browserMajorVersion": "UInt16", - "ym:s:browserMinorVersion": "UInt16", + "ym:s:browserMajorVersion": "String", + "ym:s:browserMinorVersion": "String",

Вы наверное меня с кем то спутали :) Я не использую python и ничего связанного с логами метрики :)

Вы наверное меня с кем то спутали :) Я не использую python и ничего связанного с логами метрики :)

Зато у тебя были проблемы с репликацией) как в итоге решил вопрос? Прописал хостнейм вместо айпишников?

Зато у тебя были проблемы с репликацией) как в итоге решил вопрос? Прописал хостнейм вместо айпишников?

У меня была проблема с тем, что нода КХ биндилась на локальный хостнейм, а в конфиге были прописаны айпишники и из-за этого какая то фигня была в ЗК и самом КХ.

А так, да, прописал хостнеймы и настроил зону просто, что бы серевра друг о друге знали.

У меня была проблема с тем, что нода КХ биндилась на локальный хостнейм, а в конфиге были прописаны айпишники и из-за этого какая то фигня была в ЗК и самом КХ.

Да. Вчера с таким же столкнулся.

Была подобная проблема у Виталия Третьякова, но у него была проблема накапливания тасков репликации и мерджи проходили очень медленно. Прописывание хостнеймов в конфигах помогло решить проблему.