Добрый день! Есть ли в CH агрегация с перцентилем? Может кто реализовывал?

+1

логи структурированные или просто текст?

логи структурированные или просто текст?

Пока нет, тупо ssv. Но рассмотрю все варианты=)

с текстом просто - его просто не стоит в CH:)

Ну это понятно, что нужен парсер, но вопрос доставки важнее, логировать правильно — не проблема, а вот собрать со всех машин, не по два раза и т. д. является вопросом, который решается в graylog например

при выборке получается что данные вытаскиваются либо из одной, либо из другой таблице на серверах

Всем привет :)

Конфиг зукиперов бы еще - в смысле секции в кликхаус конфиге. И internal_replication true выставить - чтобы таблицы сами занимались синхронизацией, а не движок distributed

не помогло, изменил конфиги internal_replication на true, перезагрузил сервер - репликация автоматически не происходит, выборка всегда разная

вот тоже пол дня с такой проблемой борюсь

такое стойкое ощющения что данные до зукипера не считываются

а зукипер как балансировщик не может работать? Может проблема в этом?

Стандартный вопрос - что в логах?)

Помню issue был на http host перемнную - там то ли имя надо было то ли айпи

Помню issue был на http host перемнную - там то ли имя надо было то ли айпи

до этого я в конфигах указывал ip, потом переписал в хостах и проставил алиасы

Привет! Это так и должно быть, или как-то можно обойти, или это баг? SELECT * FROM test.stg_tmp Ok. 0 rows in set. Elapsed: 0.002 sec. SELECT count() FROM test.stg_tmp Ok. 0 rows in set. Elapsed: 0.003 sec. Почему count() возвращает пусто на пустой таблице, а не 0 ?

Привет! Это так и должно быть, или как-то можно обойти, или это баг? SELECT * FROM test.stg_tmp Ok. 0 rows in set. Elapsed: 0.002 sec. SELECT count() FROM test.stg_tmp Ok. 0 rows in set. Elapsed: 0.003 sec. Почему count() возвращает пусто на пустой таблице, а не 0 ?

Это не баг, это фича (с). На самом деле так с сожалению исторически сложилось

так более оптимально.jpg

Логи при вставке в таблицу a на сервере мастера

Привет! А можно заставить ARRAY JOIN выводить данные даже из тех строк, в которых соответствующее поле-массив - пустое? Т.е. чтобы он работал не как INNER, а как LEFT JOIN? Может, какая-нибудь опция для этого есть?

Привет! А можно заставить ARRAY JOIN выводить данные даже из тех строк, в которых соответствующее поле-массив - пустое? Т.е. чтобы он работал не как INNER, а как LEFT JOIN? Может, какая-нибудь опция для этого есть?

можно поместить array join во вложенный запрос

Не понял про вложенный запрос, можно чуть подробнее? Я про вот этот ARRAY JOIN, если что: https://clickhouse.yandex/reference_ru.html#Секция ARRAY JOIN

SELECT t.s, arr FROM arrays_test t LEFT OUTER JOIN ( SELECT s, arr FROM arrays_test ARRAY JOIN arr )

типа того

только вряд ли мой запрос заработает сходу

:)

Привет! А можно заставить ARRAY JOIN выводить данные даже из тех строк, в которых соответствующее поле-массив - пустое? Т.е. чтобы он работал не как INNER, а как LEFT JOIN? Может, какая-нибудь опция для этого есть?

left array join?

только вряд ли мой запрос заработает сходу

Да, врядли. И джойнить большую таблицу саму с собой, да ещё и с размноженной ARRAY JOIN-ом, думаю, не лучший ход. Но спасибо) Я надеялся на наличие недокументированных опций/вариаций у самого ARRAY JOIN

left array join?

Такая опция есть? Или вы предполагаете?

SELECT *, b FROM system.one LEFT ARRAY JOIN emptyArrayInt8() AS b

Ух ты, спасибо! Я пробовал наобум ARRAY LEFT JOIN, а в таком варианте не додумался)

а у кого был положительный опыт CH+BI

только BI интересует из опенсурсных

подсознательно верю, что через JDBC должны +/- всякие BIRT, Jasper подцепиться

BIRT работает

Результат тестирования Jasper Reports Server с ClickHouse: 1. строит неверные запросы при построении AdHoc View (похоже на баг самого сервера) 2. при любых джойнах использует алиасы для таблиц Непонятно, как заставить работать =(

Вот про Jasper

Еще проверял Pentaho, не работает по тем же причинам

Еще проверял Spago, не работает по тем же причинам

И вообще пришли к выводу, что Clickhouse должен быть Data Lake'ом, из него ETL-ить аналитические БД на оракле/мускуле со звёздочными схемами, и уже на них гонять BI-тулзы. А кликхаус чисто Tabix'ом, Redash'ем и iPython'ом трогать.

т.е. сначала из источников в CH, а потом что? предагрегированные данные в RDBMS?

или я не понял

Дада, всё верно

т.е. CH для построения ветрин, а ветрины сами уже RDBMS (если я тут не попута с терминологией)

ну вариант...

Источники — КХ (слабо-структурированный) — аналитические БД (звёздные схемы) для разных нужд

ну CH вовсе не слабоструктурированная

или вы что-о другое вкладываете в этот термин...

ааа

ну кажется понял

CH - это как бы таблица фактов

Да, я имею в виду сильно-денормализованную схему

ладно в общем будем думать/колдовать/изобретать

Да, в КХ и факты и измерения, и весь мир — в одной гигантской таблице.

А типичный self-service BI не умеет так, от селф-сервиса ничего не остаётся, проще уже в табиксе работать становится.

ну табикс бизнесу не отдашь

Не отдашь, поэтому см. выше :)

Talend ETL c КХ отлично работает, можно адовые штуки делать как внурь, так и наружу, только нужно потратить время на обучение, но оно того стоит.

(бесплатный продукт)

да про Talend слышал

но раньше доводилось только с Pentaho ETL дело иметь

надеюсь этот опыт пригодится и с Talend

а Talend с CH через jdbc?

Да может это одно и то же. Мы хотели попробовать Talend, Pentaho и что-то еще, начали с Talend и он сразу заработал, не стали продолжать :)

там можно напрямую SQL писать?

Еще лучше, там всё через гуй :) Он делает правильные инсерты.

ды вот ГУЙ тут зачастую пугает

Зато всё понятно визуально :)

Это POC-проект, который берёт из CSV данные, мэпит в два разных типа, по дороге обогащет второй из другого источника данных, и фигачит в КХ. По моему, ни строчки кода.

Чтобы сделать боевой — нужно только компоненты CSV поменять на боевые источники данных, остальное всё остаётся.

да я знаю, я имел обширный опыт

и вот когда нужно чуть более сложную логику с ветвлениями, условиями и т.п., вот тогда начинается головняк

в Пентахо все равно приходилось на JS писать обертки - а это не так уж и оптимально

Ну да, тут тоже можно на джаве куски писать, и наверное придётся :)

по поводу arrayReduce - что-то он никак не представлен в доке по кликхаусу, одно вхождение и то мельком в рамках arrayUniq не удивительно что я не нашел :(

добавите в документацию?)

Ух ты, спасибо! Я пробовал наобум ARRAY LEFT JOIN, а в таком варианте не додумался)

добавите в документацию?)

offtop: насколько я вижу tableau на linux нет?

Нет, состоит из постгресса, редиса, апача и еще чего-то кросс-платформенного

А вот основное ядро под винду

И цена кусается

Нет, состоит из постгресса, редиса, апача и еще чего-то кросс-платформенного

Еще из ZooKeeper :) Весь этот зоопарк есть в Tableau Server. Tableau Desktop/Reader/Public это монолитное приложение.

Да, а вопрос был про desktop/public?

offtop: насколько я вижу tableau на linux нет?

под линукс вроде не видел, под мак точно есть

А вот основное ядро под винду

Tableau Desktop есть под Win и Mac.

А табло не заработает с Clickhouse нормально даже с odbc драйвером - общались с их разработчиками. Через ODBC у них работает базовый функционал в режиме live - то есть на лету запросы идут. Если хотите весь функционал, то tableau через odbc начнет всасывать все данные. А табло сервер держит порядка миллиарда записей, дальше не сильно работает - опять же по словам разработчиков. Хотя они сейчас планируют выпустить новый движок (до осени, вроде), который будет тянуть до 10 млрд строк.

А табло не заработает с Clickhouse нормально даже с odbc драйвером - общались с их разработчиками. Через ODBC у них работает базовый функционал в режиме live - то есть на лету запросы идут. Если хотите весь функционал, то tableau через odbc начнет всасывать все данные. А табло сервер держит порядка миллиарда записей, дальше не сильно работает - опять же по словам разработчиков. Хотя они сейчас планируют выпустить новый движок (до осени, вроде), который будет тянуть до 10 млрд строк.

Дык 'на лету' это же то, что надо.

Какие ограничения для 'live'?

А вообще, пора бы разработчикам Tableau кардинально решить проблему производительности -- встроить КХ в само Tableau. Благо, лицензия КХ позволяет :)

Мне кажется с введением ходя бы delete круг применимости сильно расширится.

Вброшу. А кто-то видил связку коммерческого etl с кх?

Вброшу. А кто-то видил связку коммерческого etl с кх?

Выше про Talend писали. JDBC + квадратики со стрелочками без программирования