как минимум - я бы мог использовать их для IPv6 и манипуляции с ними, FixedString, конечно, работает, но нэтивный да еще и числовой тип с потенциальной возможность увеличения компрессии... мммм! :)

Привет! подскажите плиз как правильнее работать с праймари ключами, когда необходимо делать запросы по непересекающимся критериям. например есть большая таблица фактов, там среди прочих есть колонки clientId, applicationId, country. 1/3 запросов будет делать фильтровать по clientId, 1/3 запросов будет делать group by applicationId, 1/3 будет фильтровать/группировать по полю country. Можно создать композитный (clientId, applicationId, country), но вроде как он ускорит только первый тип запросов. Вопроса два: 1. Влияет ли наличие поля в праймари ключе на выполнение запросов с group by? 2. В приведенном выше кейсе, какой из способов создания праймари ключа выбрать?

Привет! подскажите плиз как правильнее работать с праймари ключами, когда необходимо делать запросы по непересекающимся критериям. например есть большая таблица фактов, там среди прочих есть колонки clientId, applicationId, country. 1/3 запросов будет делать фильтровать по clientId, 1/3 запросов будет делать group by applicationId, 1/3 будет фильтровать/группировать по полю country. Можно создать композитный (clientId, applicationId, country), но вроде как он ускорит только первый тип запросов. Вопроса два: 1. Влияет ли наличие поля в праймари ключе на выполнение запросов с group by? 2. В приведенном выше кейсе, какой из способов создания праймари ключа выбрать?

Вот есть подробное описание от Алексея. Думаю будет полезно: https://groups.google.com/d/msg/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ

да, вопрос появился как раз после прочтения. т.е. непонятно что делать когда есть 2-3 разных поля, по каждому из которых может производиться фильтрация (которая затраивает лишь это поле и не трогает два других)

2-3 таблицы?

или + mat view с другим набором ключей

о, спасибо, слона то я и не приметил

решение впрочем не оч удобное, жаль нет вторичных индексов

Eсть ли NaN для Int типов? Или NaN есть только для Float?

@pavel_odintsov Павел, а как ты сейчас ipv6 айпишки хранишь, просто как String?

FixedString16

просто string будет сильно неоптимально AFAIK :(

Eсть ли NaN для Int типов? Или NaN есть только для Float?

nan значения есть только в float-типах

просто string будет сильно неоптимально AFAIK :(

я уииды пробовал просто в string хранить, да, как раз раза в два-три медленнее запросы и больше оперативки

Ребят, через tcp драйвер можно set max_memory_usage ставить?

через гошный можно

Я его проставил, но похоже на весь кластер не распространилась настройка

Так как при обращении к ditributed таблице другие сервера прекращают выполнение из-за памяти

А в КХ как то можно получить значение колонки предыдущей строки в блоке? Например у меня такая логика: если column = 1, то вернуть 0, если нет, то посчитать runningDifference(column2), но при условии что у предыдущей строки column != 2 например

Вопрос: а какие-то энджины с индексами но без даты - планируются или врядли?

Хотя я догадываюсь как можно. Применить sequenceMatch с нужными правилами и если match = 1, то делал runningDifference

Нет, не получится так сделать, к сожалению ( Это же блин агрегатная функция (

Всем привет! Подскажите, есть ли возможность подсчитать процентное значение столбца от общей суммы?

Всем привет! Подскажите, есть ли возможность подсчитать процентное значение столбца от общей суммы?

вы же не знаете сумму, пока не дочитаете до конца.

А в КХ как то можно получить значение колонки предыдущей строки в блоке? Например у меня такая логика: если column = 1, то вернуть 0, если нет, то посчитать runningDifference(column2), но при условии что у предыдущей строки column != 2 например

разве что свернуть столбец в массив.

Хорошая мысль, сейчас попробую :)

вы же не знаете сумму, пока не дочитаете до конца.

не знаю, но мне хотелось бы ее подсчитать один раз на запрос. Например, вы подсчитываете кол-во событий с каким-то условием. А потом считаете процентное соотношение от общей суммы событий

это можно сделать вроде select countIf(condition) / (select count() from ...) from ... group by...

это можно сделать как sumIf(x,y)/sum(x)

а, от общей суммы. да, встроенного нормализатора нет.

а в стандартном sql это как выглядит? наверно сработал бы count() / count() over (partition by 42), если бы он был.

а в стандартном sql это как выглядит? наверно сработал бы count() / count() over (partition by 42), если бы он был.

там есть cross join https://stackoverflow.com/questions/30509149/get-column-sum-and-use-to-calculate-percent-of-total-mysql не знаю, правда, как быстро он работает

Блин, этот баг с оптимизацией запроса просто не дает спокойно жить (

Простой запрос не работает

сорри(

А в КХ как то можно получить значение колонки предыдущей строки в блоке? Например у меня такая логика: если column = 1, то вернуть 0, если нет, то посчитать runningDifference(column2), но при условии что у предыдущей строки column != 2 например

Мы все трём лапки и ждем побольше running функций...

Вопрос: в документации часто упоминается пример с userId. Вопрос: как в вашем случае реализован вывод , если нужно имя пользователя?: это словарь или join по другой таблице или может словарь во внешней базе?

Так как отличий от маркет-дата по сути никаких в данном случае.

Мы все трём лапки и ждем побольше running функций...

Вот я тоже :) Может быть ребята не знаю что народ хочет? ) Поэтому особо ничего нового в этом направлении не появляется?

в нашем случае нет имени пользователя.

Вопрос: в документации часто упоминается пример с userId. Вопрос: как в вашем случае реализован вывод , если нужно имя пользователя?: это словарь или join по другой таблице или может словарь во внешней базе?

у нас словарь сделан

у нас словарь сделан

Внешняя база?

Внешняя база?

Да. Так как КХ только только планирует внедрить updateable словари то у нас сделано в Postgres.

Да. Так как КХ только только планирует внедрить updateable словари то у нас сделано в Postgres.

Извините, а можно подробнее? Так как я про такие словари спрашивал месяц наверное назад и я так понял что этого ждать не стоит. Так как это одна из основных фишек кдб, очень удобная, и которой нет в КХ

И, в отсутствии этого посещают мысли или самому пытаться реализовать или , как сейчас, приходится экспериментировать странными способами

написал в личку)

А именно: сохраняю строки, но в словарь загружаю из view на основании выборки

у меня быстрый вопрос. Я решил воспользоваться прогрессом возвращаемым в HTTP хедерах

< X-ClickHouse-Progress: {"read_rows":"214418","read_bytes":"25670058","total_rows":"327680"} < X-ClickHouse-Progress: {"read_rows":"222610","read_bytes":"25686442","total_rows":"327680"}

я правильно понимаю, что read_rows*100 / total_rows это примерно процент выполнения запроса?

да

спасибо

ща сделаем круто в интерфейсе

ща сделаем круто в интерфейсе

Если делаете это на чистом JavaScript, можете сбросить пример попробую в tabix прикрутить)

А как в яваскрипте получить поток хедеров

А как в яваскрипте получить поток хедеров

Мне кажется этот вопрос не тут нужно задавать :)

Ну так это вопрос о том как в табиксе получить прогресс

Так, а как отсюда вот правильно руками собрать кликхаус? https://github.com/yandex/ClickHouse

там build.md лежит рядом

в docs/, кажется

а, ништяк, спасибо. почитаю. а то я чот сбилдил, а что - сам не понял

ну если сбилдил, то где-то в dbms должен валяться теперь бинарник clickhouse, который по умолчанию запускается как сервер

если прокинуть ему опцию --client или сделать симлинк и назвать clickhouse-client - станет клиентом

@iamigor да я даже деб пакет вроде собрал, сейчас попробую развернуть по серверам взамен версии с багой

Оу, оу, это классная идея прикрутить пользователю прогресс-бар.

Правда вроде иногда он сбрасывается если подзапрос.

Ага

всем привет. как правильно юзать <remote_servers incl="clickhouse_remote_servers" /> через инклюд?

надо создать clickhouse_remote_servers.xml, и он подхватится7

?

файлик создать

да

че-то не хочет

2017.06.19 17:33:35.028015 [ 2 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/config.xml' 2017.06.19 17:33:35.029582 [ 2 ] <Warning> ConfigProcessor: Include not found: clickhouse_remote_servers

<!-- If element has 'incl' attribute, then for it's value will be used corresponding substitution from another file. By default, path to file with substitutions is /etc/metrika.xml. It could be changed in config in 'include_from' element. Values for substitutions are specified in /yandex/name_of_substitution elements in that file. -->

https://github.com/yandex/ClickHouse/blob/86a3fcaec40521c5c6aa7b7850d96b6ec64b6243/doc/reference/ru/configuration_files.rst

к сожалению нифига не понял, даже в русском варианте

каким боком здесь /yandex/

это дефолтное имя корневого элемента xml конфига.

Нужно добавить в документацию пример со структурой директорий и файлами.

А как rowbinary обрабатывает default поля - надо обязательно указать или можно игнорировать?

Также, как и другие форматы. Можно указать меньше столбцов в INSERT INTO table (columns...). Тогда нужно отправлять данные только для указанных столбцов, а значения остальных будут вычислены при вставке.

Не понимаю как он понимает чему binary соответствует. Если только длину блока сравнивать с разными размерами. А если два default ...

@milovidov_an Добрый день, скажите столкнулись с проблемой. как её можно решить

626 млн записей read. 255 сек....

а сколько должно быть

если сделать select count(*) за даты которые я сканю выходит 300 млн. почему 626 млн сканит не понятно

у вас за полчаса стало больше на 250М. значит 84Гб это за неделю. значит у вас 1кrps, и события по 130б. вряд ли по этому скриншоту получится наванговать большее.

@orantius ну на основе этих данных строим отчет. но данные приходят за 250 сек и пост обработка еще пару минут. как быть? и я так и не понял почему фулл скан идет. подсчитывает на 300 млн записей. а запросом на sum сканит 600+

select eventDate, toString(country) as country, toString(region) as region, toString(city) as city, toString(gender) as gender, age as group_age, SUM(requests_count) AS requests from `audience_statistic_segments where `eventDate` between '2017-05-21' and '2017-06-19' group by eventDate, `country`, `region`, `city`, `gender`, `group_age order by eventDate asc, `country` asc, `region` asc, `city` asc, `gender` asc, `group_age` asc

а c count() запрос такой же?

select count(*) from `audience_statistic_segments` where `eventDate` between '2017-05-21' and '2017-06-19'