мы вместе с переходом на КХ переходим на https://redash.io

о, а там КХ подключить можно как-то?

или вы этим заодно и занимаетесь? :)

о, а там КХ подключить можно как-то?

ну я там пулл-реквест сделал, обещают скоро смержить

Есть Power Bi от MS, но там ставка на их облака, хотя и фри, на текущий момент, если платите за Office 365

Да-да, Power BI где-то рядом по этой теме. Но вопрос зрелости — Tableu уже свою парадигму больше 10 лет двигают. Там внутри у него и свой язык расчетов (из академической среды) и оригинальный подход к визуализации (который многиче счас копируют) и эффективная трансляция своего языка в запросы к источникам. Все очень и очень зрелое.

ну я там пулл-реквест сделал, обещают скоро смержить

ништяк, спасибо, пойду посмотрю!

Да-да, Power BI где-то рядом по этой теме. Но вопрос зрелости — Tableu уже свою парадигму больше 10 лет двигают. Там внутри у него и свой язык расчетов (из академической среды) и оригинальный подход к визуализации (который многиче счас копируют) и эффективная трансляция своего языка в запросы к источникам. Все очень и очень зрелое.

и очень платное

и очень платное

Ага, не лишено недостатков.

Начинали они с 600 баксофф со скидаками за лицензию. Сейчас дошли до 2К. Значит, знают свой рынок.

и очень платное

Есть бесплатный клиент для просмотра готовых отчетов и дашбордов — то есть сценарий такой — один аналитик сделал выгрузку, нарисовал графики и дашборды и расшарил все это на сетевой диск; остальные пользователи после этого смогут бебсплатно смотреть.

Есть бесплатный клиент для просмотра готовых отчетов и дашбордов — то есть сценарий такой — один аналитик сделал выгрузку, нарисовал графики и дашборды и расшарил все это на сетевой диск; остальные пользователи после этого смогут бебсплатно смотреть.

такая схема почти у всех есть

такая схема почти у всех есть

На такой схеме работает куча контор. По сути это замена Excel и Power Point для анализа.

мы вместе с переходом на КХ переходим на https://redash.io

взял на заметку, очень вкусно, что в premium есть vertica

вот только как коннект на КХ делается?

взял на заметку, очень вкусно, что в premium есть vertica

она и в опенсорс версии есть, если что

вот только как коннект на КХ делается?

по http-интерфейсу, забирается json

она и в опенсорс версии есть, если что

немогу найти ссылку...

немогу найти ссылку...

https://github.com/getredash/redash

https://github.com/getredash/redash

Большое спасибо! ??

Большое спасибо! ??

и вот пуллреквест с поддержкой КХ https://github.com/getredash/redash/pull/1409

отлично будет если будет в redash, не нужно будет в нашем guiclickhouse - делать pivot и графики)

в нашем - это smi2 который вроде?

да

вы клевые :)

спасибо) просто самим очень нужно графики ... но делать "не кому" пока

по http-интерфейсу, забирается json

Хм... Такое же можно сотворить и с Табло #tableau : http://www.tableau.com/about/blog/2015/8/connect-just-about-any-web-data-new-web-data-connector-42246 Если я правильно понимаю технологию

А вот мне хочется странного. Можно каким-нибудь простым запросом запросить count() по всем таблицам в БД? Мне приходит в голову только SELECT 'table1' AS table1, count() FROM table1 UNION ALL SELECT 'table1' AS table2, count() FROM table2 А хочется типа SELECT name, count() FROM (SELECT * FROM system.tables WHERE database = 'default')

А там нет rows?

Количество строк

А, все равно не то, только локальное будет если и есть

Ну нет, через union только тогда

мне локального будет достаточно)

но нет, в system.tables нету

Тогда увы

А

А в system.parts ?

Ммм, нету, но там побольше информации, да, спасибо) SELECT table, sum(bytes) FROM system.parts WHERE database = 'default' GROUP BY table ORDER BY table; Мне хватит для мониторинга изменения данных в таблицах, благодарю еще раз :3

Там надо where active

Если я правильно помню

В Google-группах упомянуты несколько проблем с загрузкой данных в CH. Стоит ли багрепорта еще одна? Лью данные параллельно в примерно 20-30 потоков, в какой-то момент в логах вываливаются исключения вида Too many open files и несколько стектрейсов, после чего сервер падает в кору. ulimit -n может быть действительно маловат (1024), но наверное это не повод падать в кору?

В Google-группах упомянуты несколько проблем с загрузкой данных в CH. Стоит ли багрепорта еще одна? Лью данные параллельно в примерно 20-30 потоков, в какой-то момент в логах вываливаются исключения вида Too many open files и несколько стектрейсов, после чего сервер падает в кору. ulimit -n может быть действительно маловат (1024), но наверное это не повод падать в кору?

В любом случаи Улимиты стоит поднять сильно побольше. В 200-500 тысяч.

В init-скрипте ulimit-ы поднимаются до 262144. Проблема может быть, если запускать вручную.

С kudu такие же приколы были у нас. Подали с connection refused

Понятно, да, что маловат ulimit, но вопрос остается о том, стоит ли это открытого бага. Нужно ли будет кому-то работать с такими жесткими ulimit'ами. Скажем, когда у нас однажды на проде упал массовый сервис из-за нехватки ламита на число открытых файлов, было весьма грустно )

А есть какие-нибудь критичные минусы вставки объектов в MergeTree по 5-50 строк раз в 1-5 секунд?

zstd рекомендуется использовать только когда совсем места мало? Из-за его не production-ready (хотя его недавно объявили уже production-ready) или потому, что разжимает дольше, чем lz4?

А как поставить clickhouse-local?

Поставил клиент и сервер, а его нет

А как поставить clickhouse-local?

он пока не релизнут, насколько я помню встречу. надо собрать ручками из сорцов.

Ок

У нас есть последний пакет, который сегодня выложили на продакшен. А наружу публикую после того, как у нас немного поработает. Сейчас смотрим... Есть мелкие проблемы.

Понятно, да, что маловат ulimit, но вопрос остается о том, стоит ли это открытого бага. Нужно ли будет кому-то работать с такими жесткими ulimit'ами. Скажем, когда у нас однажды на проде упал массовый сервис из-за нехватки ламита на число открытых файлов, было весьма грустно )

В большинстве мест только кидается эксепшен и ловится на верхнем уровне обработки запроса. Но в некоторых других местах (например, логгер) тоже может возникать ошибка, что невозможно открыть файл, и эксепшен не ловится. Обработка по-умолчанию - std::terminate -> abort -> записать core. И это нормально. Баг заводить не нужно.

А есть какие-нибудь критичные минусы вставки объектов в MergeTree по 5-50 строк раз в 1-5 секунд?

Раз в 1..5 сек - никаких проблем.

zstd рекомендуется использовать только когда совсем места мало? Из-за его не production-ready (хотя его недавно объявили уже production-ready) или потому, что разжимает дольше, чем lz4?

Недавно обновили до Версия 1.1

и теперь он production ready.

Разжимает медленнее чем lz4 в районе трёх раз. Это сильно заметно, если работаем с горячими данными, которые в page cache. Поэтому там сделано, что настраивается для сжатия крупных кусков - то есть, более-менее старых данных.

а здесь есть кто-нибудь, кто успешно собирал КХ под макосью? У меня как-то раз получилось с ~1.1.54057, а сейчас че-т несмотря на то, что все успешно собралось, не могу найти бинарник с клиентом в папке build

o____O /tmp/clickhouse-20161124-90361-1fl05va/ClickHouse-1.1.54075-testing/build ❯ ./dbms/src/Server/clickhouse --client ClickHouse client version 1.1.77777. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54046. Warning: could not determine server time zone. Proceeding with local time zone. :)

В новой версии вместо clickhouse-client делается симлинк на сервер.

При соединении со старым сервером новый клиент говорит, что ему не дали таймзону - это Ок.

Дадада, я понял

Я просто прифигел от того, что clickhouse --client сработало :)))

И правда, если сделать симлинк с названием clickhouse-client, то сразу клиент запускается. Большое спасибо!

Только последний вопрос - смущает номер билда. Это из-за того, что он был собран не из стабильного коммита?

Если да, можно ли прокинуть как-нибудь насильно версию при компиляции?

а здесь есть кто-нибудь, кто успешно собирал КХ под макосью? У меня как-то раз получилось с ~1.1.54057, а сейчас че-т несмотря на то, что все успешно собралось, не могу найти бинарник с клиентом в папке build

Я собирал до прошлого стейбла

Только последний вопрос - смущает номер билда. Это из-за того, что он был собран не из стабильного коммита?

Не знаю. Если интересно, посмотри скрипт create_revision.sh.

ОК, спасибо!

Подскажите,вопрос и нужно ли ставить issue в github )) Если используется StorageReplicatedMergeTree - при удалении партиции, отправил запрос на реплику , и получаю сообщение об ошибки <Error> ServerErrorHandler: Code: 194, e.displayText() = DB::Exception: Password required for user default, e.what() = DB::Exception, Stack trace: Правильно ли определять мастер ноду реплик в которую отправить запрос по признаку is_leader из таблицы system.replicas ?

или отправлять запрос на любую _одну_ из нод реплики?

Отправил DROP PARTITION только в is_leader ноды - все удалилось на всех репликах

Подскажите,вопрос и нужно ли ставить issue в github )) Если используется StorageReplicatedMergeTree - при удалении партиции, отправил запрос на реплику , и получаю сообщение об ошибки <Error> ServerErrorHandler: Code: 194, e.displayText() = DB::Exception: Password required for user default, e.what() = DB::Exception, Stack trace: Правильно ли определять мастер ноду реплик в которую отправить запрос по признаку is_leader из таблицы system.replicas ?

Правильно.

Отправил DROP PARTITION только в is_leader ноды - все удалилось на всех репликах

Всё верно.

спасибо)

Подскажите,вопрос и нужно ли ставить issue в github )) Если используется StorageReplicatedMergeTree - при удалении партиции, отправил запрос на реплику , и получаю сообщение об ошибки <Error> ServerErrorHandler: Code: 194, e.displayText() = DB::Exception: Password required for user default, e.what() = DB::Exception, Stack trace: Правильно ли определять мастер ноду реплик в которую отправить запрос по признаку is_leader из таблицы system.replicas ?

Это старая недоработка. Раньше DROP PARTITION можно было отправлять только на лидера. Если отправить не на лидера - кидается исключение. Потом исправили, но в минимальном варианте - реплика проксирует запрос на лидера, используя при этом пользователя default.

о теперь понял откуда такая странная ошибка, я просто подумал что враппере где-то ошибку допустил Ну я сделал выбор "master" ноды и отправку только на нее

Если кому то нужно truncate table в кластере, пример тут https://github.com/smi2/phpClickHouse/blob/master/example/cluster_06_truncate_table.php

Igor есть ли планы на мультиязычность в https://github.com/smi2/clickhouse-frontend ?

если кто то возьмется переводить, пока запросов не было и нужно ли ?) в роад мап я себе пометил мульти-язык - т.е вынести в отдельный js , все русские слова. но приоритетные для меня : - Ошибки редактора, не корректно отправляет запрсы "под курсором" - Подсветка полей , указанных таблиц в select - возможно Pivot перевод на 20ом месте)

> нужно ли ?) было бы неплохо. спрос точно есть ;)