да, спасибо, то что нужно. Еще выполняется чуть быстрее чем оригинальный запрос )

Еще вопрос: "This is not a cross-platform system. It requires Linux Ubuntu Precise (12.04) or newer, x86_64 architecture with SSE 4.2 instruction set." - т.е. на Центось КликХаус не поставить?

На данный момент можно собрать без особых проблем на 64 бит linux, freebsd, macos системе с clang 3.8 или gcc 6+ , из необходимых библиотек в системе остался только openssl , без всего остального , sse не обязателен. но возможно некоторые фичи или скорость в некоторых местах исчезнет-станет хуже

Кажется решение проблемы с внешней батчилкой появляется в самом КХ :) https://github.com/yandex/ClickHouse/pull/694/files#diff-c3a64648d245502763b6d88963a3086eR1

Я с ходу не понял что такое trivial buffer

По описанию — оно самое. +/** Stores incoming blocks until some thresholds are exceeded, then sends + * them to the table it looks into in the same order they came to the buffer. + * + * Thresolds are checked during insert and in background thread (to control + * time thresholds). + * If inserted block exceedes max limits, buffer is flushed and then the incoming + * block is appended to buffer. + * + * Destroying TrivialBuffer or shutting down lead to the buffer flushing. + * The data in the buffer is not replicated, logged or stored. After hard reset of the + * server, the data is lost. + */

Ну там почти, да.

Это нам самим в Метрике понадобилось

Разработчик Метрики

Ну там почти, да.

А в чем разница с buffer?

Всем привет!

В буферных таблицах нам сейчас не хватает: - дедупликации между репликами - детерминированности поведения

Это и планируется добавить

А делать выборки можно будет из этого буфера?

Еще бы можно было в этот новый buffer вставлять десятки тысяч строк в секунду без снижения производительности всей системы — вообще красота была бы :)

В буферных таблицах нам сейчас не хватает: - дедупликации между репликами - детерминированности поведения

А WAL планируете добавить, чтобы buffer переживал отключение питания?

Выборки можно

WAL не планируем

А запуск отдельным процессом, чтобы можно было четко понять, от кого нагрузка?

Вот про сотни тысяч вставок - именно мой кейс ;)

Мб будет вариант с embedded либой в софт, который генерит данные?

А запуск отдельным процессом, чтобы можно было четко понять, от кого нагрузка?

а юзеры и/или show processlist эту проблему не решают? там и айпишник, и юзерагент логируются..

Это дааа, но изоляция на уровне системы приятнее

Всем привет. Подскажите, плиз, возможно ли как-то google sheets подключить к КХ? Может через odbc?

очень вряд ли. можно экспортировать в CSV/TSV и загрузить чем-нибудь в КХ

можно подключить как внешний словарь, но промежуточный скрипт, конвертирующий данные из гуглотаблицы, все равно понадобится

Всем привет. Подскажите, плиз, возможно ли как-то google sheets подключить к КХ? Может через odbc?

Можно посмотреть в сторону wso2 Возможно через множества ухищрений и можно как то подключить.

Всем привет. Подскажите, плиз, возможно ли как-то google sheets подключить к КХ? Может через odbc?

Оч интересный кейс, а зачем?

Думаю, что в качестве BI инструмента

Хотим фин отчеты красивые делать в гугл докс, на основе данных из разных мест, в том числе КХ.

Хотим фин отчеты красивые делать в гугл докс, на основе данных из разных мест, в том числе КХ.

А откуда ещё берёте данные?

Я просто не сильно профи в инструментах гугла.

Ааа, вам наоборот забирать данные из кх в гуглдокс? Пардон тогда

ага

Но самое первое что приходит в голову это выгрузка результатов и уже обработка в гугле.

Т.е. не через прямой коннект.

Нашел костыльное решение - https://support.google.com/docs/answer/3093335

Не нравится, что SQL запрос придется писать в урле

По идее, через CSV-файлы можно импортировать

вопрос - КХ не может забаговаться со словарями? Пытаюсь постгрес подключить. До этого все ок было. Несколько раз создал-редактировал файл + перезапуск сервера. Теперь в таблице по словарям даже ошибки нет подключения. SELECT * FROM system.dictionaries Пишет только старый словарь. Нового нет. Хотя сам файл присутствует

может неправильно назван файл нового словаря? в конфиге по умолчанию так <dictionaries_config>*_dictionary.xml</dictionaries_config>

да вот сверяюсь. ? не надо было мне в 3 часа ночи искать суслика в темной комнате.))

а в словаре внешним колонка date должна быть?

Нашел проблему. При создании таблицы в БД с casesensitive именем - таблица создается like "TableName". Если в консольке case в low то тот же pgadmin создает в кавычках. Редко им пользуюсь. Буду еще реже)))

вопрос: не будет ли проблема если у одного шарда реплики в разных датацентрах?

@aloneibreak судя по доке и ответам в этом чатике - реплики как раз и планируется размещать в разных ДЦ - стандартная схема работы.

понял, спасибо

Vitaliy очень интересно, возможно вы уже планировали работу по интеграции с CH? Или пока просто общественное мнение интересует?)

@vasiliyozerov хороший человек уже написал ADO.NET коннектор КХ ( https://github.com/killwort/ClickHouse-Net ) который поддерживает натив протокол к компрессией. На днях я проверил возможность скомпилить под .нет кор и все получилось, поэтому техническая возможность тащить данные уже есть.

Vitaliy спасибо огромное - попробую собрать у себя!

@vasiliyozerov так как КХ умеет SELECT FROM (SELECT) и GROUP BY по большому счету разницы никакой нет по сравнению с каким нибудь mysql.

все КХ-специфические SQL функции будут во внутреннем запросе, по идее. Одно не ясно, нужно ли это вот такой пивотобилдер кому-то )))

Я думаю не просто нужно, а необходимо. Компании сейчас готовы за такие решения деньги платить, поскольку на текущий момент кроме собственных кастомных дашбоардов поверх кликхауса особо ничего и нет. Только если экспортить все данных из КХ и лить в какую-нить вертику или что-то еще, с чем работают всякие табло и пентахи

@vasiliyozerov как только кто-то захочет провести proof-of-concept стучитесь в личку ) в принципе, кроме варианта embedded где все таки надо минимальная интеграция на фронте (вставить же этот билдер куда-то надо, дописать сохрание-загрузку куда-то в свою базу) будет и онлайн версия. Она сейчас в процессе, в частном порядке демо могу показать.

Vitaliy я готов, сейчас постучусь :) Спасибо!

Скажите graphite и кх уже скрестили ?

Привет. Мы выложили в OpenSource Graphouse - компонент, который позволяет использовать ClickHouse как хранилище метрик для Графита. Graphouse содержит: 1. TCP cервер для приема метрик 2. HTTP API для поиска метрик и получения данных (с питонячим модулем для graphite-web) 3. HTTP API для управления деревом метрик. Лежит тут - https://github.com/yandex/graphouse Доступны deb пакеты. Документацию постепенно дополняем. Будем рады любым замечаниям и предложениям.

^

^

ок пасиб

Скажите graphite и кх уже скрестили ?

Или lomik/graphite-clickhouse и carbon-clickhouse

Скажите graphite и кх уже скрестили ?

https://github.com/yandex/graphouse

А для prometheus?

https://github.com/f1yegor/clickhouse_exporter - это, возможно?

О, прикольно

Спасибо!

а такой вопрос: reality check, так сказать что бы нормально шардить и реплицировать данные нужно поверх таблицы MergeTree создать Distributed и поверх уже вторых создавать Merge таблицу?

А зачем поверх создавать еще Merge?

там же настраиваются реплики шардов

что бы запросы делать в нее, не заморачиваясь какая Distributed таблица мне нужна

у нас данные складываются в таблицы по пол года, что бы иметь возможность удалять неактуальные данные

неактуальные данные можно detach/drop partition'ом убирать

detach же всю таблицу как удаляет

Да не, партишены помесячно https://clickhouse.yandex/reference_ru.html#Манипуляции%20с%20партициями%20и%20кусками

а я понял. спасибо. проглядел в документации

магия это, а нельзя ли как-то изолировать данный функционал, чтобы без лазания по папкам можно было это сделать, например, из крона?

какой функционал?) "без лазания по папкам" и "из крона" – это прям напрашивается баш-скрипт какой-нибудь или мне кажется?)

и еще вопрос: создание таблиц и манипуляции с ними - нужно заходить на каждую машину в кластере и делать это руками или я проглядел что-то в документации?

я про функционал работы с партишенами, в гайде много всяких "смотрим имя папки"

хочется это делать в SQL синтаксисе CH

Вопрос по словарям. в hashed ключи только в блоке <id></id> или же можно типа string как в комплексных. <key></key> Просто в той же доке написано что комплексные aka hashed layot. Но в комплексных ключ любого типа. А в hashed?

Для числового ключа layout hashed, для составного complex_key_hashed

Для числового ключа layout hashed, для составного complex_key_hashed

то есть для того чтобы сделать обычный хэш с одним ключом не числовым нужно делать комплексный хеш?)

Да

Добрый день! Подскажите, пожалуйста, есть ли какой-нибудь нормальный способ удалить (пересчитать) в КХ партицию за 1 день (не месяц)?

Или, быть может, настроить партиционирование не по месяцам, а по дням в CollapsingMergeTree

Кажется, пересчёт сбойных данных за день или несколько — это довольно частый кейс должен быть

Или, быть может, настроить партиционирование не по месяцам, а по дням в CollapsingMergeTree

Партиционирование пока только по месяцам. Но я слышал о планах это изменить.

Добрый день! Подскажите, пожалуйста, есть ли какой-нибудь нормальный способ удалить (пересчитать) в КХ партицию за 1 день (не месяц)?

Удалить партицию можно естественно только целиком.

можно залить во временную таблицу данные за месяц кроме нужного дня, грохнуть партицию в оригинальной таблице и залить туда данные из временной

Ну тоже решение, но долговато...