а какая версия клиента?

скажите пожалуйста, а есть ли у Clickhouse какие-нибудь фишки как у графовых баз данных?

Модель хранения и сам продукт заточены под совсем иные нужды

это понятно. но Яндекс-то рабоьает с всемирной паутиной. ПАУТИНОЙ. чуете, чем пахнет? отсюда вопрос: жобавлять такой функционал будут или нет?

просто тогда CH юыл бы вообще огонь, если бы еще и графовые структуры умел

графовые структуры статичны

а ch шардирует данные по дате

просто тогда CH юыл бы вообще огонь, если бы еще и графовые структуры умел

Полно же решений

Полно же решений

подскажите пожалуйста?

подскажите пожалуйста?

Форк титана( janusgraph) например,

Форк титана( janusgraph) например,

о, класс, спасибо

буду ковыряться

https://www.google.ru/amp/s/yokota.blog/2016/12/13/graph-analytics-on-hbase-with-hgraphdb-and-giraph/amp/

И еще куча около hpc, вида flashx, и gunrock

это понятно. но Яндекс-то рабоьает с всемирной паутиной. ПАУТИНОЙ. чуете, чем пахнет? отсюда вопрос: жобавлять такой функционал будут или нет?

Тем, что КХ другими вещами занимается, для графового есть графовое

Игорь из СМИ рассказывает про tabix.io

Тем, что КХ другими вещами занимается, для графового есть графовое

ну к примеру Postgres тоже вроде как sql, однако я знаю людей, которые его используют как nosql из-за поддержки json-b

ну к примеру Postgres тоже вроде как sql, однако я знаю людей, которые его используют как nosql из-за поддержки json-b

Блин, nosql - это не хранение неструктурированных данных. В кликхаусе first class citizen - это колонка, в графовых бд - узел и связь, это не та штука, которую можно просто взять и на лету внедрить

В интернете только один бенчмарк нашелся по kdb/clickhouse

http://tech.marksblogg.com/benchmarks.html

tabix.io хорош для графов поверх кх

Моя презентация о tabix https://www.dropbox.com/s/fjnwq519b3qjv9z/CH_Meetup_13APR_final.pptx?dl=0 ( лучше смотреть в powerPoint для просмотра видео )

всем привет. скажите, правильно ли я понимаю что jdbc драйвер(для кх) общается с кх по http?

да

благодарю

@garikanet спасибо большое.

.

Моя презентация о tabix https://www.dropbox.com/s/fjnwq519b3qjv9z/CH_Meetup_13APR_final.pptx?dl=0 ( лучше смотреть в powerPoint для просмотра видео )

?

Ребята, а поделитесь остальными презентациями)

Моя презентация здесь: https://github.com/yandex/clickhouse-presentations/tree/master/meetup5 Можно скачать: https://github.com/yandex/clickhouse-presentations/archive/master.zip Распаковать и открыть meetup5/index.html в браузере. На сайт ещё не выложилось.

Докер с tabix.ui (Build 17.04.3), если кому надо: https://hub.docker.com/r/e11it/tabix.ui/

Докер с tabix.ui (Build 17.04.3), если кому надо: https://hub.docker.com/r/e11it/tabix.ui/

спасибо, заберу в репу ... а то issue висит поправить докер)

Моя презентация здесь: https://github.com/yandex/clickhouse-presentations/tree/master/meetup5 Можно скачать: https://github.com/yandex/clickhouse-presentations/archive/master.zip Распаковать и открыть meetup5/index.html в браузере. На сайт ещё не выложилось.

Спасибо!

Доброе утро! На докладе что -то прозвучало про union all

union как то хитро работает в кликхаусе?

union как то хитро работает в кликхаусе?

Прозвучало если делать два запроса по части данных, то объединять их нужно в клиенте. Union all вылетит из-за нехватки памяти, т.к. запроса будет не два, а один.

Добрый день! Использую ReplacingMergeTree и встретил очень интересное поведение. Дубликатов по ключу я не нашёл. Но заметил большую странность. Как так получается что колличество уникальных ключей, больше чем общее колличество записей? Ожидал увидеть обратную ситуацию при неразрешённых коллизиях, а тут совсем уже чёрная магия

uniq считает приближенное значение. для точного есть uniqExact

судя по кол-ву вопросов с ф-цией uniq наверное нужо создать какую-нибудь uniqApprox и поменять их местами ?

> Алгоритм является очень точным для множеств небольшой кардинальности (до 65 536) и очень эффективным по CPU (при расчёте не слишком большого количества таких функций, использование uniq почти так же быстро, как использование других агрегатных функций). > Не стоит бояться приближённых расчётов. Поэтому, используйте лучше функцию uniq.

Прозвучало если делать два запроса по части данных, то объединять их нужно в клиенте. Union all вылетит из-за нехватки памяти, т.к. запроса будет не два, а один.

спасибо

uniq считает приближенное значение. для точного есть uniqExact

Спасибо большое, цифры сошлись. ReplacingMergeTree за неделю при 4kRPS не оставил дубликатов. Огненный движок!

Ребят, чет туплю. field_name DateTime DEFAULT now() - нормальное описание поля с типом DateTime у котого дефолтное значение дожно проставляться DateTime от даты и времени вставки?

Есть нюанс - это хорошо работает, только если вставка происходит атомарно. У меня например, данные сначала копятся в очереди, а потом пачкой отправляются в КХ, поэтому даты желательно проставлять вручную, чтобы не было сдвигов на границе дня

Ага, спасибо, важный коммент.

А так да - now() - DateTime, today() - Date

Вчера на митапе докладчики демонстрировали великолепные графики. С помощью каких инструментов их строят? Есть какая-то общедоступная литература по этому вопросу?

tabix.io ?

Да, и там тоже. Еще и на слайдах

Маша показывала картинки на plot.ly

и seaborn еще)

Вот тут есть статья про все это: https://habrahabr.ru/company/ods/blog/323210/

Спасибо!

кстати, а как оптимально хранить IPv4 сетку в формате CIDR в CH?

Добрый день. скажите пожалуйста Column campaign_id is not under aggregate function and not in GROUP BY чтобы это значило? указал поле в select для вывода

А полный запрос можно увидеть?

Добрый день. скажите пожалуйста Column campaign_id is not under aggregate function and not in GROUP BY чтобы это значило? указал поле в select для вывода

в select указал, а в group by?)

в select указал, а в group by?)

так я не хочу группировать по этому полю просто вывести

Добрый день. скажите пожалуйста Column campaign_id is not under aggregate function and not in GROUP BY чтобы это значило? указал поле в select для вывода

ну так агрегация по ней не считается -> там может быть много разных значений

Ну вы же понимаете, что там могут быть разные значения для разных строк?

так я не хочу группировать по этому полю просто вывести

покажи запрос. так проще будет)

SELECT eventDate, campaign_id, ads_id, group_id, ads_start_id, sum(spent) as spent, sum(shows) as shows, sum(clicks) as clicks FROM banner_history_segments WHERE ads_start_id IN(100) GROUP BY ads_start_id, eventDate

можно через any(campaign_id) (тогда выведется случайное, но одно), можно через, кажется, groupArray(campaign_id) - тогда выведется массив всех имеющихся значений

если очень хочется - any(campaign_id)

Больше не отвечаю на вопросы, у кого-то очень хороший интернет)

я что-то не понял. что значит случайное? а реально как?

выведется первое значение campaign_id, попавшееся для ads_start_id = 100 и данного eventDate

а ну это подходит. мне без разницы в рамках одного старта всегда одна кампания

Если всегда одна - почему не добавить её в groupBy ?

Запрос просто будет выглядеть логичнее и понятнее

плюсую предложение добавить campaign_id в group by )

тогда уже и ad и group_id тоже в group by

ну да, раз вы их перечисляете в столбцах)

они тоже в рамках одного старта одинаковые. но что быстрее будет выполнятся any(field) или еще пару группировок ?

хз, посчитайте сами)

почти одинаково - по разному

кстати, а как оптимально хранить IPv4 сетку в формате CIDR в CH?

можно хранить как битовую маску подсети, смотря что вы с ней делать собираетесь.

хочется ее потом удобно обрабатывать прямо в запросах, без магии и обработки

bitAnd(addr ,mask)=prefix

я тут в тикет откомментил, как хочу это видеть https://github.com/yandex/ClickHouse/issues/247 последний коммент

тут вопрос во-первых, чтобы сохранить в одном поле, а, во-вторых, чтобы декодировать удобно из компактного пердставления в удобоваримое для людей

Получил ошибку Code: 89. DB::Exception: QuickLZ compression method is disabled: while receiving packet при запросе из представления

версия 1.1.54198

Люди, а после добавления пользователей надо рестартануть?

Люди, а после добавления пользователей надо рестартануть?

нет, подцепляется автоматом, если всё правильно

нет, подцепляется автоматом, если всё правильно

спасибо, значит у меня не правильно)

скажите еще плиз SELECT sum(clicks) as clicks, WHERE ... AND (clicks <> 0 or shows <> 0) дает ошибку Aggregate function sum(clicks) is found in WHERE or PREWHERE in query как исключить из результатов записи у которых клики и показы по 0 ?

я понял в чем ошибка. алиас который указывается после sum() .. воспринимается как само поле