Ребят, а куда делись слайды и видео отсюда? Почему 404? https://events.yandex.ru/events/meetings/28-february-2017/

Не знаю... передам ответственным. А видео есть здесь: https://www.youtube.com/watch?v=CVrwp4Zoex4

Большое спасибо!

Прошу сообщество о помощи в вопросе который тесно связан с CH, я выкладываю сильно обновленную версию интерфейса GUI вместо Сlickhouse-frontend в opensource, но один вопрос я решить не могу. Посоветуйте или скажите какую лицензию поставить на проект, и есть ли вообще подходящее под мои ожидания: - Использовать как угодно и в любых компаниях ( коммерческих ) - Не позволять другим компаниям взимать плату за использование GUI, т/е чтобы пользователи не платили за мои разработки которые я выложил в открытый доступ без согласия. - И чтобы лицензия эта не мешала сообществу Перечитал, все что было на хабре на эту тему - но так и не определился. Конечно, я понимаю что я живу в России ))) Но все-же может есть идеи, что лучше поставить GPL3 / Apache 2 / MIT ?

тут еще agpl предлагают

+ ресурсы, которые пользуются в GUI и сам концепт GUI под CC-BY-NC

Прошу сообщество о помощи в вопросе который тесно связан с CH, я выкладываю сильно обновленную версию интерфейса GUI вместо Сlickhouse-frontend в opensource, но один вопрос я решить не могу. Посоветуйте или скажите какую лицензию поставить на проект, и есть ли вообще подходящее под мои ожидания: - Использовать как угодно и в любых компаниях ( коммерческих ) - Не позволять другим компаниям взимать плату за использование GUI, т/е чтобы пользователи не платили за мои разработки которые я выложил в открытый доступ без согласия. - И чтобы лицензия эта не мешала сообществу Перечитал, все что было на хабре на эту тему - но так и не определился. Конечно, я понимаю что я живу в России ))) Но все-же может есть идеи, что лучше поставить GPL3 / Apache 2 / MIT ?

https://choosealicense.com/licenses/

судя по просмотру наискосок, и agpl, и mit содержат вышеупомянутые требования. сам сторонник MIT.

/stat@combot

combot.org/chat/-1001080295593

combot.org/chat/-1001080295593

combot.org/chat/-1001080295593

ребят, он всегда одну и ту же ссылку отдает, достаточно combot в поиск ввести

combot.org/chat/-1001080295593

Добрый день всем. Сейчас данные льются в mongodb, решили прикрутить КХ для расширенной аналитики. Протестировали, все здорово. И встал вопрос - а нужна ли теперь в проекте mongodb. Проблема в чем: пользователям нужно забирать собранные данные. В монге завели автоинкрементное поле и на основе его забираем свежие данные порциями. Особенность входных данных в том, что дата/время этих данных может быть в прошлом. Мы решили добавить в КХ колонку (processedTime Int64), которая хранит дату обработки данных в миллисекундах. И на основе этой колонки можно отдавать пользователю свежие данные. Что посоветуете? Можно ли ставить один КХ на бэкенд, если будет одновременно сидеть 100/200/500 пользователей с короткими запросами типа: SELECT field1, field2, field2 FROM table WHERE date > '2017-03-23' AND userId = 123 AND processedTime > 546545454 ORDER BY processedTime DESC LIMIT n,20 И такими: SELECT field1,reportDate, count() as total FROM table WHERE date > '2017-03-01' AND userId = 123 GROUP BY field1, reportDate HAVING total > 10 ORDER BY total DESC

Коллеги, всем привет! Подскажите, где в CH настраивается ограничение (выброс исключения) на выполнение SELECT-а без указания в запросе даты? Не нашли ни в коде: https://github.com/yandex/ClickHouse/blob/master/dbms/include/DB/Interpreters/Limits.h, ни в документации: https://clickhouse.yandex/reference_ru.html#Ограничения на сложность запроса.

какой текст исключения ?

Прошу сообщество о помощи в вопросе который тесно связан с CH, я выкладываю сильно обновленную версию интерфейса GUI вместо Сlickhouse-frontend в opensource, но один вопрос я решить не могу. Посоветуйте или скажите какую лицензию поставить на проект, и есть ли вообще подходящее под мои ожидания: - Использовать как угодно и в любых компаниях ( коммерческих ) - Не позволять другим компаниям взимать плату за использование GUI, т/е чтобы пользователи не платили за мои разработки которые я выложил в открытый доступ без согласия. - И чтобы лицензия эта не мешала сообществу Перечитал, все что было на хабре на эту тему - но так и не определился. Конечно, я понимаю что я живу в России ))) Но все-же может есть идеи, что лучше поставить GPL3 / Apache 2 / MIT ?

2-ой пункт не выполняется ни в одной из лицензий насколько я знаю

потому что даже под AGPL ты можешь взымать плату, просто ты обязан поделиться сырцами морды с любым пользователем по запросу. Притом AGPL довольно заразная и может помешать автоматизации каких-то вещей в тех же коммерческих компаниях, надо очень внимательно смотреть

всякие CC-NC - очень спорный вопрос про "не коммерческое использование"

MIT и GPL про код и ничего не говорят про то что им вообще надо делиться если речь про веб-приложение

Добрый день. Пытаюсь подключить MongoDB как внешний словарь. Выполняю запрос: SELECT dictGetString('mongodb_users', 'name', ('user_id', toUInt32(1))) Received exception from server: Code: 53. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Key structure does not match, expected (UInt32). В описании словаря в структуре у меня: <key> <attribute> <name>user_id</name> <type>UInt32</type> </attribute> </key> В самих документах в MongoDB user_id это число. Всего два документа в коллекции, в одном user_id = 1 в другом user_id = 2) Версия Clickhouse: 1.1.54189

название атрибута ключа не нужно передавать

то есть с вашей структурой получается как-то так: dictGetString('mongodb_users', 'name', tuple(toUInt32(1)))

ну и вы зря сконфигурировали ключ как составной

так работать будет, но медленнее

попробуйте сконфигурировать просто: <structure> <id><name>user_id</name></id> ...

Ок. Спасибо. А что если мне нужны будут другие поля, текстовые и возможность искать по ним?

2-ой пункт не выполняется ни в одной из лицензий насколько я знаю

да тоже читал про agpl что очень не удобная, решил поставить apache 2 - как в самом ch

+1

AGPL странна

Ок. Спасибо. А что если мне нужны будут другие поля, текстовые и возможность искать по ним?

Тогда да, конфигурируете составной ключ, как вы изначально сделали

да тоже читал про agpl что очень не удобная, решил поставить apache 2 - как в самом ch

Игорь, у вас потерялся фикс с XSS. select "<script>alert('XSS');</script>"

Подскажите пожалуйста. После апдейта кликхауса, перестал работать доступ по внешнему ip. Через localhost работает.

можно это как-то решить? или подсказать, что править

https://clickhouse.yandex/reference_ru.html#Интерфейсы

рубрика "Хозяйке на заметку:" А знаете ли вы что у некоторых из вас в следующем релизе всё сломается? Для безопасности мы поменяли listen_host по умолчанию на localhost . всем кто использует соединение с других серверов и конфиг по умолчанию нужно будет вернуть в конфиг <listen_host>::</listen_host> а еще <listen_host> теперь можно указывать несколько раз https://github.com/yandex/ClickHouse/commit/107fb86a40e39deaaa2a00d32fe2f0af6595348b

#faq

https://clickhouse.yandex/reference_ru.html#Интерфейсы

Спасибо :D

Как-то спрашивали C# драйвер, сегодня наткнулся на https://github.com/killwort/ClickHouse-Net

Кстати - никто еще не начинал писать драйвер для Erlang/Elixir?

Как-то спрашивали C# драйвер, сегодня наткнулся на https://github.com/killwort/ClickHouse-Net

Супер)

Ребят, а куда делись слайды и видео отсюда? Почему 404? https://events.yandex.ru/events/meetings/28-february-2017/

Мы немного дорабатываем сайт, поэтому некоторые страницы могут временно не работать. В начале апреля все заработает. Трансляция доступна на youtube https://www.youtube.com/watch?v=CVrwp4Zoex4

@garikanet еще не зарелизили? :)

я тут коллег заинтриговал в CF :)

https://tabix.io/ ?

я тут коллег заинтриговал в CF :)

ты из cloudflare? :)

https://tabix.io/ ?

спойлеры!

Добрый день! На meetup в Питере было сказано, если не ошибаюсь, что есть упрошенный вариант explain для запроса. В документации по ней не нашёл информации.

Можете привести пример запроса кто делал.

10 мин

ага

Описал вводную: https://tabix.io/doc/ Встречайте http://ui.tabix.io

Добрый день! На meetup в Питере было сказано, если не ошибаюсь, что есть упрошенный вариант explain для запроса. В документации по ней не нашёл информации.

насколько я помню Алексей говорил о том, что кое что можно посмотреть в логе кликхауса, например: 2017.03.24 16:19:03.999401 [ 8 ] <Debug> executeQuery: (from 127.0.0.1:59426) select action_date , count(*) from clicks group by action_date 2017.03.24 16:19:03.999689 [ 8 ] <Debug> default.clicks (SelectExecutor): Key condition: unknown 2017.03.24 16:19:03.999697 [ 8 ] <Debug> default.clicks (SelectExecutor): Date condition: unknown 2017.03.24 16:19:03.999718 [ 8 ] <Debug> default.clicks (SelectExecutor): Selected 5 parts by date, 5 parts by key, 68733 marks to read from 5 ranges 2017.03.24 16:19:03.999878 [ 8 ] <Trace> default.clicks (SelectExecutor): Reading approx. 563060736 rows 2017.03.24 16:19:03.999905 [ 8 ] <Trace> InterpreterSelectQuery: FetchColumns -> Complete 2017.03.24 16:19:04.000038 [ 8 ] <Debug> executeQuery: Query pipeline: Expression Expression ParallelAggregating Expression × 4 MergeTreeThread 2017.03.24 16:19:04.008480 [ 126 ] <Trace> ParallelAggregatingBlockInputStream: Aggregating 2017.03.24 16:19:04.009024 [ 127 ] <Trace> Aggregator: Aggregation method: key16 2017.03.24 16:19:04.010949 [ 128 ] <Trace> Aggregator: Aggregation method: key16 2017.03.24 16:19:04.013633 [ 129 ] <Trace> Aggregator: Aggregation method: key16 2017.03.24 16:19:04.014334 [ 130 ] <Trace> Aggregator: Aggregation method: key16 2017.03.24 16:19:04.636218 [ 126 ] <Trace> ParallelAggregatingBlockInputStream: Aggregated. 165986128 to 3 rows (from 316.593 MiB) in 0.628 sec. (264447848.760 rows/sec., 504.394 MiB/sec.) 2017.03.24 16:19:04.636254 [ 126 ] <Trace> ParallelAggregatingBlockInputStream: Aggregated. 148644507 to 3 rows (from 283.517 MiB) in 0.628 sec. (236819308.817 rows/sec., 451.697 MiB/sec.) 2017.03.24 16:19:04.636272 [ 126 ] <Trace> ParallelAggregatingBlockInputStream: Aggregated. 161347266 to 3 rows (from 307.745 MiB) in 0.628 sec. (257057248.766 rows/sec., 490.298 MiB/sec.) 2017.03.24 16:19:04.636277 [ 126 ] <Trace> ParallelAggregatingBlockInputStream: Aggregated. 87060920 to 3 rows (from 166.056 MiB) in 0.628 sec. (138704801.916 rows/sec., 264.558 MiB/sec.) 2017.03.24 16:19:04.636295 [ 126 ] <Trace> ParallelAggregatingBlockInputStream: Total aggregated. 563038821 rows (from 1073.911 MiB) in 0.628 sec. (897029208.260 rows/sec., 1710.947 MiB/sec.) 2017.03.24 16:19:04.636298 [ 126 ] <Trace> Aggregator: Merging aggregated data 2017.03.24 16:19:04.636927 [ 8 ] <Information> executeQuery: Read 563038821 rows, 1.05 GiB in 0.637 sec., 883245931 rows/sec., 1.65 GiB/sec. 2017.03.24 16:19:04.636996 [ 8 ] <Debug> MemoryTracker: Peak memory usage (for query): 8.02 MiB. 2017.03.24 16:19:04.637004 [ 8 ] <Debug> MemoryTracker: Peak memory usage (for user): 8.02 MiB. 2017.03.24 16:19:04.637008 [ 8 ] <Debug> MemoryTracker: Peak memory usage (total): 8.02 MiB. 2017.03.24 16:19:04.637025 [ 8 ] <Information> TCPHandler: Processed in 0.638 sec.

Описал вводную: https://tabix.io/doc/ Встречайте http://ui.tabix.io

а откуда можно скачать? чтоб у себя поднять

https://github.com/smi2/tabix.ui

вот про установку https://tabix.io/doc/Install/

awesome!

проксирование пока не делали ?

Можно вопрос? в правой части в метрике и процессах - таблица editable. Это для чего?

@kshvakov спасибо

> Vladimir правой части в метрике и процессах - таблица А можете скрин ? У меня так https://monosnap.com/file/AqO5jUazrVQIts6SZjEyma22KXoQYC

Описал вводную: https://tabix.io/doc/ Встречайте http://ui.tabix.io

Оно умеет пускать read-only юзеров?

нашел, readonly user can if setting readonly=2

хм, а как оно будет работать, если выполняет запросы по http, а по http при GET выставляется всегда read_only=1... жаль, первые версии smi2 мы сами в коде подпиливали, чтобы люди могли зайти туда поселектить, но не могли что-нибудь дропнуть :)

а где-нибудь есть информация как готовить clickhouse для продакшена? он вообще может жить на 1 сервере?

А есть информация относительно sanitize SQL в PreparedStatement в JDBC драйвере?

Делается он или нет...

а где-нибудь есть информация как готовить clickhouse для продакшена? он вообще может жить на 1 сервере?

реплику впендюрил, памяти побольше и вперед =)

@Shegloff ясно, спасибо

а где-нибудь есть информация как готовить clickhouse для продакшена? он вообще может жить на 1 сервере?

вот здесь еще админские советы есть https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt

о, благодарю

Мы немного дорабатываем сайт, поэтому некоторые страницы могут временно не работать. В начале апреля все заработает. Трансляция доступна на youtube https://www.youtube.com/watch?v=CVrwp4Zoex4

Спасибо

Кто еще не проглосовал за поддержку ClickHouse в Tableau?!! Сделайте это, плиз!!! Сейчас там всего 17 голосов. Надо поднять хотя бы до двух сотен, чтобы разработчики заметили этот запрос. https://community.tableau.com/ideas/6454 #tableau

че то нихера не клеит)

хотя может там в окружении флаг не выставлен

Всем привет. До этого с колоночными базами особо дела не имел. Такой вопрос. Положим, есть у меня абстрактый запрос вида селект - джойн - джойн - where. Есть идея распилить его на куски, путем "плоских" запросов к основной бд, выбирая оттуда некие данные. Потом писать их в clickhouse и распихивать по атрибутам. Таких выборок будет типа там 10 и больше. А в дальшейшем должно быть заложено масштабирование в эту сторону. Т.е. джойны бы меня погубили потом как ни крути да и шардирование сразу колом встает

Вопрос — юзкейз ли это для колоночной базы?

Ничего непонятно, что вы написали. Юзкейс колоночной базы -- агрегирующие запросы к таблице в которой очень много колонок, в каждой из которых гораздо меньше значений чем строк в этой таблице.

Если сможете реализовать этот юзкейс, сведя все данные в одну мега-таблицу без большого кол-ва join-join'ов, то будет вам счастье.

Ну вот у меня кейс, когда для выборки данных надо сделать много много джойнов по разным критериям

При чем, критериев в базе всех на начальном этапе может и не быть. Т.е. их система добавляет на основе предыдущих (адская запись)

А потом когда все атрибуты собраны — надо пересечь их чтобы получить конечный результат

Джойны к маленьким таблицам для получения значений атрибутов, на которые есть ссылки в основной таблице? Или джойны между таблицами в которых лежат независимые факты/события?

В таблицах в основном данные об ограничениях. Например, сколько денег осталось израсходовать в этом месяце

Или сколько часов поработать

В какой фазе луна и так далее

Некоторые факты можно получить только на основе предыдущих и через вебсервис

А события/факты лежат в одной таблице?