Ну пусть и подзапросом. Кликхаус за запросы денег не берет)

Ну пусть и подзапросом. Кликхаус за запросы денег не берет)

Хочется красиво.

Ну пусть и подзапросом. Кликхаус за запросы денег не берет)

И это удобно - для отрисовки графиков - зумирование. Задаешь кол-во точек которые нужны и получаешь точность детализации

Ну типа avg group by trunc(date, 'minute')

Ну типа avg group by trunc(date, 'minute')

и еще N

Ну можно генерить запрос в зависимости от N

Group by делать по некому выражению

Чтобы точно получать нужное количество

например можно делать select avg/median group by intDiv(t,M/N)

для времен произвольных округлений сейчас нет, есть фиксированный набор.

Имеется в виду такая задача: есть M значений временного ряда, где M достаточно велико. Необходимо вывести N значений (N « M) таким образом, чтобы сохранить внешний вид и форму временного ряда.

высокие частоты пропадут, из синуса может остаться ноль, например. хотя может это и нужно.

например можно делать select avg/median group by intDiv(t,M/N)

Сейчас проверю.

высокие частоты пропадут, из синуса может остаться ноль, например. хотя может это и нужно.

Не обязательно. Это зависит от того, как построить M точек, аппроксимирующих исходный ряд.

например можно делать select avg/median group by intDiv(t,M/N)

только M - нужно count сначала. Плюс наверное limit. ну и перевести date в Unixtime.

допустим вам нужно 100 точек за месяц. вы планировали группировать по не знаю чему, минуте, а надо по 432 минуты. либо это будет внешний запрос, в котором будет group by intDiv(номер минуты, 432) либо вы во внутреннем запросе сразу меняете выражение group by на вот это. count не нужен, нужет end-start / point length.

лимит вы и так знаете чему равен, он равен этой же величине, или меньше, если для некоторых точек нет данных. если вы добавите лимит, то у вас нарисуется кусок графика. обычно это не то что надо.

и datetime -> unixtime, да.

возможно более подходящим вариантом будет исходя из диапазона с данными и "разумного" количества точек брать одну из подходящих функций toStartOfX(dt) и использовать для получения точек ее. тогда сетка будет регулярной, но M будет переменным. если toStartOf функции отличаются гранулярностью не в очень много раз, то колебания у M будут тоже не очень большими. и данные, которые обычно имеют суточную/недельную цикличность, будут нарисованы с объяснимыми диапазонами в каждой точке. функции такого вида достаточно несложно добавлять. если конечно не нужна гранулярность средняя между днем и неделей.

красивое решение

+

http://uwdc.ru/lectures/backend/clickhouse

Подскажите, а сколько нужно места на диске для Zookeera? От чего зависит объем?

от количества серверов/таблиц. Места нужно не много.

Ребят, а какие уровни логирования есть в КХ? Чет не найду нигде

trace, debug, information, warning, error.

Ага, спасибо, Алексей)

Всем привет! Есть ли что-то по типу ассоциативного массива в селекте ?

есть таблица с двумя колонками, есть словарь, а что вы хотите сделать.

SELECT [sumIf(confirmed, {cond}), sumIf(valid, {cond}] FROM tbl SELECT [conf => sumIf(confirmed, {cond}), valid => sumIf(valid, {cond}] FROM tbl

Как сделать, чтобы консольный клиент отрабатывал ^С? А то напрягает )

SELECT [sumIf(confirmed, {cond}), sumIf(valid, {cond}] FROM tbl SELECT [conf => sumIf(confirmed, {cond}), valid => sumIf(valid, {cond}] FROM tbl

можете пояснить? вы хотите, чтобы в зависимости от данных выбирались разные функции?

нет, функция везде одна(суммирование), просто хочу получать ассоциативный массив {confirm: 123, valid: 456}

возможно, стоит создать словарь: https://clickhouse.yandex/reference_ru.html#%D0%A1%D0%BB%D0%BE%D0%B2%D0%B0%D1%80%D0%B8

нет, функция везде одна(суммирование), просто хочу получать ассоциативный массив {confirm: 123, valid: 456}

Прописать FORMAT JSON в запросе.

Как сделать, чтобы консольный клиент отрабатывал ^С? А то напрягает )

Так пойдет? (trap '' INT; clickhouse —client)

Как сделать, чтобы консольный клиент отрабатывал ^С? А то напрягает )

странно) Я бы наоборот хотел отключить выход из клиента по ^C

не выход нужен, а удаление ввода

да, было бы удобнее так

в clickhouse-cli как раз так сделал но там много другого хорошего нету

через кликхаус хочу получить данные из метрики. делаю такой запрос, но почему-то кол-во просмотренных страниц почти в 2 раза выше, чем в интерфейсе метрики:

в чем может быть проблема?

какой урл в интерфейсе метрики?

А нету зеркала на другом домене к репозиториям http://repo.yandex.ru/clickhouse/trusty ?

в яндексе зобанили?)))

К сожалению наоборот :(

как вариант, взять Cloudflare и через свой домен тупо запросксировать

если ребята с Я не ограничивают по host хидеру - отработает

ограничнивают =(

по айпи открывается mirror.yandex.ru

http://213.180.204.183

А если dns поменять на 8.8.8.8?

Не поможет

А если dns поменять на 8.8.8.8?

Пока что только через медленные прокси, иначе: ping yandex.com - ping: cannot resolve yandex.com: Unknown host, и так на все домены.

Пока что только через медленные прокси, иначе: ping yandex.com - ping: cannot resolve yandex.com: Unknown host, и так на все домены.

А если по ip ping?

тоже самое

А, ну тогда да, проксировать

ах, я кажется понял почему у вас не работает=(

вариант за CF - становится очень неплохой идеей

вариант за CF - становится очень неплохой идеей

Отвлечённый вопрос - можно ли на каком-то CDN захостить статический файл (.js код), чтобы он был на общем домене и по https?

https://cdnjs.com

вот тут народ раздает более-менее популярные js либы

Добрый вечер! Подскажите, пожалуйста, как лучше всего произвести конкатенацию двух интовых массивов? Пробовал через перевод их в строковые, split-ы и concat-ы, но split хочет константную строку, может это как-то проще делается?

а просто [1,2,3] + [4,5,6] нельзя?

вроде уже спрашивали, надо смотреть поиском по groupArrayArrayArray

Привет! Следит ли кликхаус за обновлениями источника для таблицы с движком File?

Для таблицы с источником File, ClickHouse выполняет чтение файла заново, при каждом SELECT-е.

Вопрос: keep-alive + чанками нормально обработка работает? Просто с keep-alive+buffer+rowbinary удалось до 21k/sec разогнать, хочется ещё разогнать чуть.

https://coreos.com/blog/introducing-zetcd

с ClickHouse использовать пока рано: https://github.com/coreos/zetcd/issues/38

Привет :) Вопрос про ZooKeeper. Пытаюсь поднять его вместе с Clickhouse с помощью Docker Compose. Прописал три ноды и тому и другому. Если роняю любую из нод ZK кроме первой, то всё работает ок. А вот если роняю первую то Clickhouse теряет соединение и не может его установить. Такое ощущение что он опрашивает исключительно первую по индексу ноду и если она не отвечает, то к другим почему-то не переходит...

Причём когда в одном из конфигов КХ прописал первой по индексу третью ноду, то эта нода КХ не упала, вместе со всеми остальными. Видимо нужно указать какой-то параметр, чтобы КХ проходил по всем нодам кластера ZK...

Нашёл ошибку :) Запутался с пробросом портов. Спасибо)

подскажите как решить проблему с установкой на ubuntu 17 там по умолчанию библиотека libc6 версии 2.24 а clickhouse-server-base : Depends: libc6 (< 2.20)

и в документации кстати неточность, не устанавливается по доке которая в Quick start sudo apt-get install clickhouse-server-common clickhouse-client -y Reading package lists... Done Building dependency tree Reading state information... Done Some packages could not be installed. This may mean that you have requested an impossible situation or if you are using the unstable distribution that some required packages have not yet been created or been moved out of Incoming. The following information may help to resolve the situation: The following packages have unmet dependencies: clickhouse-client : Depends: clickhouse-server-base (= 1.1.54231) but it is not going to be installed clickhouse-server-common : Depends: clickhouse-server-base (= 1.1.54231) but it is not going to be installed E: Unable to correct problems, you have held broken packages.

Можно из исходников собрать пакет. Это очень просто делается: https://github.com/yandex/ClickHouse/blob/master/doc/build.md

как я понял, для 17 надо из исходников.. к

Всем привет. Подскажите, пожалуйста, как правильно построить запрос в кликхаусе. Есть таблица: user_id | date | flag 1 | dt1 | 0 1 | dt2 | 1 2 | dt3 | 0 2 | dt4 | 1 3 | dt5 | 1 нужно для каждого пользователя выбрать дату, в которую flag в первый раз стал 1, и только если до этого хоть раз был ноль. то есть запрос должен вернуть 1|dt2, 2|dt4

Всем привет. Подскажите, пожалуйста, как правильно построить запрос в кликхаусе. Есть таблица: user_id | date | flag 1 | dt1 | 0 1 | dt2 | 1 2 | dt3 | 0 2 | dt4 | 1 3 | dt5 | 1 нужно для каждого пользователя выбрать дату, в которую flag в первый раз стал 1, и только если до этого хоть раз был ноль. то есть запрос должен вернуть 1|dt2, 2|dt4

argMin(arg, val) должен вам помочь

хотя нет - тут проще - отфильтруйте записи по flag=1 и в сгрупированном запросе возьмите min от даты

хотя нет - тут проще - отфильтруйте записи по flag=1 и в сгрупированном запросе возьмите min от даты

Постановка звучит так - если до этого был 0.

Постановка звучит так - если до этого был 0.

Селектите все у кого есть 1. Потом джойните к ним все записи с 0 и датой меньше чем 1

Селектите все у кого есть 1. Потом джойните к ним все записи с 0 и датой меньше чем 1

я тоже про это говорю. Но может @orantius предложит более изящный способ.

Спасибо, буду пробовать :)

первое что в голову пришло SELECT user_id, min(d_1) as md1 FROM ( SELECT user_id, date AS d_1 FROM table WHERE flag = 1 ) ALL INNER JOIN ( SELECT user_id, date AS d_0 FROM table WHERE flag = 0 ) USING (user_id) WHERE d_0 < d_1 GROUP BY user_id SELECT user_id, arraySort(groupArray(date)) AS ds, arraySort((x, y) -> y, groupArray(flag), groupArray(date)) AS flags, arrayMap(i -> ds[i], arrayFilter(i -> ((i > 1) AND ((flags[(i - 1)] = 0) AND (flags[i] = 1))), arrayEnumerate(flags)))[1] AS d_1 FROM table GROUP BY user_id HAVING d_1 != ''

также можно посмотреть на sequenceMatch.