вообще, в reference_*.html жесть какая-то происходит, там подключается какой-то шаблонизатор на JS, и если работает что-то типа NoScript или uMatrix, то документация не особо читабельна

Ну там markdown + чуть чуть html

и бывают неконсистентные моменты, типа, где-то <h3>, а где-то ===маркдаун===

Или не марк - но формат прослеживается ==functionName==\nDescription...

ну да, у маркдауна вроде #, тоже иногда путаюсь а, вот. // Генерация HTML по разметке, отдалённо напоминающей Wiki. Криво.

вообще, если уж на то пошло, было бы наверное круто расширить system.functions, добавив столбцы с параметрами и описанием функции, например

Да, было бы очень хорошо. И из этого можно генерировать документацию. Есть пара технических сложностей - чтобы более удобным образом (декларативно) задавать в коде сигнатуру функций. Если это сделать, то дальше будет проще.

ой, а можно глупый вопрос? а в ближайшее время не планируется совершенствования clickhouse-client'а - то же самое автодополнение, например?

В планах нет. Я об этом думал. Хотелось бы избавиться от библиотеки readline, так как она слишком тормозит при вставке больших запросов (вставить мегабайт из буфера обмена - сплошное мучение). В readline также очень трудно сделать подсветку синтаксиса по мере набора. Есть библиотека linenoise, но она даже не поддерживает UTF-8 - невозможно пользоваться. Есть патчи с поддержкой, но они тоже ужасно тормозят. Великолепно сделана подсветка синтаксиса и автодополнение в fish shell. Права вставка тоже тормозит. Есть нормальная библиотека вместо readline для Python. Использовать не получится. Задача не серьёзная, поэтому без сроков. Может быть можно сделать из чувтства прекрасного.

> Есть нормальная библиотека вместо readline для Python. это которая, prompt_toolkit?

Да, вроде так называется.

я как раз на ней clickhouse-cli наваял

она очень хорошая, да, но меня очень-очень расстраивает тем, что она вмешивается в перенос строк при line wrapping'е длинных запросов

если копи-пастить из терминала SQL-запрос, а размер терминала не вмещает запрос по ширине, то в буфер обмена попадет нечто вроде: :) SELECT 1, 2, 3, 4, 5, 6, arrayJ oin(['1', '2', '3']); с \n после arrayJ

причем этим страдают все софтины на ее основе - ipython, ptpython, pgcli, mycli и прочие

ну ладно, спасибо, буду по мере возможности допиливать автодополнение тогда в ней. опыта с этим мало очень, никогда ничего подобного не писал )

подсветка и дополнение хорошо сделаны в ipython

да, он с какой-то версии тоже, как и ptpython, перешел на prompt_toolkit

если хотите, можете потыкать clickhouse-cli, но он правда очень-очень кривой, мне стыдно

https://github.com/hatarist/clickhouse-cli поддержкой второго питончика не занимался еще

в принципе, для работы с данными можно использовать jupyter notebook

https://github.com/hatarist/clickhouse-cli поддержкой второго питончика не занимался еще

Я в нём запускал запрос SELECT 1 и меня всё устроило :)

в принципе, для работы с данными можно использовать jupyter notebook

это еще чего, есть, например, superset - веб-морда, которая подключается к базе и позволяет с удобным интерфейсом гонять визуализации/агрегации данных. что-то вроде tableau или redash'а. причем кто-то написал драйвер для sqlalchemy

Я в нём запускал запрос SELECT 1 и меня всё устроило :)

спасибо на добром слове, но если бы SELECT 1'ом единым!

SuperSet прикрутили к CH ?

ну, мне сегодня удалось, правда, кхм, частично

после установки sqlalchemy-clickhouse

там, правда, на этапе агрегаций уже какие-то ошибки посыпались, точно не помню, но было бы странно ожидать другого от драйвера двухнедельной давности с одним коммитом)

ну он полгода назад был очень очень глючным... но если его завести с druid он круто работал

это еще чего, есть, например, superset - веб-морда, которая подключается к базе и позволяет с удобным интерфейсом гонять визуализации/агрегации данных. что-то вроде tableau или redash'а. причем кто-то написал драйвер для sqlalchemy

Оффтопик: Подскажите, плиз, суперсет - это чисто смотрелка? там можно писать какие-то вычисления над данными, которые он бы транслировал на источник?

это еще чего, есть, например, superset - веб-морда, которая подключается к базе и позволяет с удобным интерфейсом гонять визуализации/агрегации данных. что-то вроде tableau или redash'а. причем кто-то написал драйвер для sqlalchemy

Просто в Tableau помимо визуализации свой мощный почти многомерный язык для математики, который абстрагирован от SQL

еще бы стоил не как самолет :)

я сегодня впервые им воспользовался вообще и никогда не юзал ниче подобного, поэтому вряд ли подскажу, сорри :( там можно для любого столбца задать "a valid sql expression", в который будут преобразовываться данные из этого столбца

и есть фильтрация/сортировка/группировка, но вроде больше ниче нет

А кто юзал, подскажите, там динамические обновляемые диаграммы как в kibana/grafana делать можно?

Динамика, да есть

Для druid , а как оно будет с CH - не знаю

Динамика, да есть

Динамика — то есть подгрузка и обновление диаграммы без необходимости перерисоывания всего дашборда, да?

посмотрел щас, есть refresh interval для дашборды, можно 10 сек минимум указать

причем модули (слайсы? диаграммы? хрен знает как их назвать) обновляются независимо друг от друга

причем модули (слайсы? диаграммы? хрен знает как их назвать) обновляются независимо друг от друга

ну да, похоже, оно

спасибо

ну, по крайней мере, анимация не одновременная :)))

tableau + CH только в весии Professional можно запустить или в Public тоже можно подружить их ?

tableau + CH только в весии Professional можно запустить или в Public тоже можно подружить их ?

у паблика сходу не нашел список коннекторов

у паблика вообще почти нет коннекторов, кроме веба и локальных файлов

только если прослойку делать

А прослойку через вот эту штуку http://tableau.github.io/webdataconnector/ ?

у паблика вообще почти нет коннекторов, кроме веба и локальных файлов

есть пруф, что он поддерживает "Web Data Connector" (https://github.com/tableau/webdataconnector)?

А прослойку через вот эту штуку http://tableau.github.io/webdataconnector/ ?

ага :)

:))

Блин, черти в Tableau сделали Personal edition платной за 1К или она уже была платной?

есть пруф, что он поддерживает "Web Data Connector" (https://github.com/tableau/webdataconnector)?

я написал про веб

Блин, черти в Tableau сделали Personal edition платной за 1К или она уже была платной?

Была. Более того, она со второго года просит по 400 кажется зеленых

Блин, черти в Tableau сделали Personal edition платной за 1К или она уже была платной?

Personal была, и из Personal никуда не приконектишься. бесплатная это Public

у паблика вообще почти нет коннекторов, кроме веба и локальных файлов

веб - это же "Web Data Connector" (https://github.com/tableau/webdataconnector)?

Personal была, и из Personal никуда не приконектишься. бесплатная это Public

Из Personal можно к "Web Data Connector" приконнектиться. Если на нем сделать прокси к КХ, то c КХ будет работать и Personal.

web data connector разве умеет запросы какие-то проксировать? он же вроде тупо данные отдает

ну типа как csv, а все остальнео уже сама tableau делает. мне всегда казалось, что так

web data connector разве умеет запросы какие-то проксировать? он же вроде тупо данные отдает

Это API. С одной стороны он отдает данные в Tableau, а с другой запрашивает их по SQL у КХ. Это пока еще не сущестующий прокси, но архитектура должна быть именно такой.

web data connector разве умеет запросы какие-то проксировать? он же вроде тупо данные отдает

Вот спека на интерфейс http://tableau.github.io/webdataconnector/docs/api_ref

http://tableau.github.io/webdataconnector/docs/wdc_tutorial.html Вот пример хороший

из этого примера я и сделал вывод, что все данные должны отдаться в tableau и он уже будет делать аггрегацию. я посмотрел elasticsearch-tableau-connector по скриншотам там такая же петрушка. т.е. сам запрос tablue в wdc прокинуть не может

из этого примера я и сделал вывод, что все данные должны отдаться в tableau и он уже будет делать аггрегацию. я посмотрел elasticsearch-tableau-connector по скриншотам там такая же петрушка. т.е. сам запрос tablue в wdc прокинуть не может

Вот в этом весь вопрос ценности этого коннектора — можно ли через него запрашивать сразу агрегаты или нет.

Кто использует активно Tableu с мощными реализционками типа Vertica, скажите, оно умеет агрегаты запрашивать у источника, не пытаясь агрегировать самой?

Умеет, но это зависит от коннектора, разумеется.

Вот с кубами MSSSAS/Essbase оно именно так и работает — транслирует в MDX свои запросы и получает в ответ готовые агрегаты.

А с flat file, он полностью агрегирует на своей стороне, потому что у csv никаких движков в принципе нет.

А с flat file, он полностью агрегирует на своей стороне, потому что у csv никаких движков в принципе нет.

Это понятно :)

Поэтому, зависит от источника данных ~ коннектора.

Умеет, но это зависит от коннектора, разумеется.

Какие это ограничения накладывает? Например, продолжая тему кубов — при работе с кубами через MDX отключается 2/3 собственного языка Tableau. Но это не особо страшно, расчетные меры и новые мемберы измерений можно прямо в Tableau писать на MDX.

А как в случае с реляционками, которые умеют оттдавать агрегаты быстро, Tableau понимает, нужно ли просить агрегат или агрегировать самой?

Если честно, то не помню. Обычно я пользовался Custom SQL и это решало все вопросы с тем на какой стороне происходит агрегация.

думал тут про tableau еще.. подумалось, что можно же еще написать fdw для постгреса, через какой-нибудь multicorn. правда как я понял multicorn пока не поддерживает aggregation pushdown, но это можно обойти с помощью созданием разных таблиц под разные запросы. зато условия в where будут работать честно и в tableau будут приезжать не все данные, а только нужные

mutlicorn это что бы fdw пистаь на питоне. ну по простому же

"Перезжаем на Yandex.ClickHouse" https://www.youtube.com/watch?v=tf38TPvwjJ4 / Если кто еще не видел, презентация Alexander Zaitsev с HighLoad'2016 про замену Вертики на КХ в компании LifeStreet Media, в которой работает Александр. #video #Y2016

думал тут про tableau еще.. подумалось, что можно же еще написать fdw для постгреса, через какой-нибудь multicorn. правда как я понял multicorn пока не поддерживает aggregation pushdown, но это можно обойти с помощью созданием разных таблиц под разные запросы. зато условия в where будут работать честно и в tableau будут приезжать не все данные, а только нужные

Что это за технология? Вообще, как я понимаю, ключевая часть кун-фу КХ — это массивы и словари. Можно будет как-то их использование реализовать?

в постгресе ты можешь создать табличку, к который запросы будут идти через экстеншн (ну совсем по простому), multicorn это экстеншн на си, который позволяет писать экстеншены на питоне. ты описываешь какую-то табличку со всеми полями которые должны быть в результате, делаешь select field from tbl, тебе в питон обработчик приходит запрос, мол дай такие-то колонки с таким-то условием (ну после where), на основании этого ты идешь в CH, делаешь там какой угодно запрос и возвращаешь нужные колонки. group by как я понимаю в multicorn нет, но на разные колонки можно создать разные таблицы

в постгресе ты можешь создать табличку, к который запросы будут идти через экстеншн (ну совсем по простому), multicorn это экстеншн на си, который позволяет писать экстеншены на питоне. ты описываешь какую-то табличку со всеми полями которые должны быть в результате, делаешь select field from tbl, тебе в питон обработчик приходит запрос, мол дай такие-то колонки с таким-то условием (ну после where), на основании этого ты идешь в CH, делаешь там какой угодно запрос и возвращаешь нужные колонки. group by как я понимаю в multicorn нет, но на разные колонки можно создать разные таблицы

Лексер и парсер чьи в этом случае? PG разбирает запрос, но реализацию каждой команды и функции SQL нужно самому писать?

я не настоящий сварщик, multicorn никогда не использовал. но у меня в голове я вижу это так, тебе в питон придет название таблицы, колонки которые спрашиваешь, и как сортировать. в зависимости от названия таблицы ты поставляешь нужны запрос с нужными колонками и нужным order by.

я не настоящий сварщик, multicorn никогда не использовал. но у меня в голове я вижу это так, тебе в питон придет название таблицы, колонки которые спрашиваешь, и как сортировать. в зависимости от названия таблицы ты поставляешь нужны запрос с нужными колонками и нужным order by.

Эх, ну там же кроме селекта и ордера есть еще джойны и разные интересные групбаи.

да. но сам запрос который уходит в CH уже геенрится на основании названия таблицы

Кто делает join'ы и groupby'и? PG?

т.е. это как вьюха получается

Или экстеншен это должен делать?

тебе придется описать каждый вариант group by разной таблицей :)

Понятно.

Скучно :)

ну лучше чем csv :) по-моему или 10, или 9.6 постгрес умеют и join push down и всякое такое. но писать экстеншн уже надо будет на сях

mongodb, простите меня, делаала что-то подобное в своем коннектере для bi

ну это же только для платной версии prof сработает ?

да, personal версия там какая-то совсем не о чем если честно

я думаю потенциал CH только руками раскрыть можно) bi только примитивные вещи сможет как я понимаю это Аналитик Яндекса писал https://nbviewer.jupyter.org/github/miptgirl/attribution_modelling/blob/master/220volt_case.ipynb#Модели-аттрибуции Вопрос: такие "вещи" sql сразу в питоне пишутся внутри яндекса? т.е есть ли тулл для автокомплитов и подсказок ?

какая-то крутая ссылка. откуда она? :)

С конференции Imetrics

Это мы показывали в рамках мастер-класса по использованию нового Logs API и ClickHouse

Как автор notebook'a, отвечу :) Чаще всего аналитики пишут sql запросы прямо в python'e (обычно в jupyter'e) без подсказок и автокомплитов