Коллеги, есть ли функция, подобная argMax, но для количества?

Коллеги, есть ли функция, подобная argMax, но для количества?

Добрый день, это же агрегатная функция count и join с исходной таблицей или нужно что-то сложнее числа встречания аргументов в col1?

Добрый день, это же агрегатная функция count и join с исходной таблицей или нужно что-то сложнее числа встречания аргументов в col1?

Ага, но хотелось проще, потому что потом опять надо джойнить, а значит в подзапрос оборачивать

Народ, подскажите требования к системе, на которой clickHouse мог бы спокойно работать с 5 млрд. записей. В день новых прилетать будет около 10 млн.

Ага, но хотелось проще, потому что потом опять надо джойнить, а значит в подзапрос оборачивать

Только что-то такое придумалось, но там тоже нужны подзапросы и мб еще arrayJoin (если хочется разбить к изначальному виду) SELECT col1, groupArray(col2) AS col2s, count() AS argCount FROM ( SELECT col1, col2 FROM system.one ARRAY JOIN ['a', 'a', 'a', 'b', 'b', 'c'] AS col1, ['foo', 'foo', 'bar', 'bar', 'foo', 'foo'] AS col2 ) GROUP BY col1 ┌─col1─┬─col2s───────────────┬─argCount─┐ │ b │ ['bar','foo'] │ 2 │ │ c │ ['foo'] │ 1 │ │ a │ ['foo','foo','bar'] │ 3 │ └──────┴─────────────────────┴──────────┘

Народ, подскажите требования к системе, на которой clickHouse мог бы спокойно работать с 5 млрд. записей. В день новых прилетать будет около 10 млн.

смотря что ты имеешь в виду под "спокойно работать" если просто хранить инфу, то вроде не так требовательно, а если селекты с онлайн пользователями - уже другое дело

Привет! Уважаемый @SomeoneBehindYou, поделитесь пожалуйста информацией как вы делаете транспонирование узкой таблицы в широкую? Спасибо)

Только что-то такое придумалось, но там тоже нужны подзапросы и мб еще arrayJoin (если хочется разбить к изначальному виду) SELECT col1, groupArray(col2) AS col2s, count() AS argCount FROM ( SELECT col1, col2 FROM system.one ARRAY JOIN ['a', 'a', 'a', 'b', 'b', 'c'] AS col1, ['foo', 'foo', 'bar', 'bar', 'foo', 'foo'] AS col2 ) GROUP BY col1 ┌─col1─┬─col2s───────────────┬─argCount─┐ │ b │ ['bar','foo'] │ 2 │ │ c │ ['foo'] │ 1 │ │ a │ ['foo','foo','bar'] │ 3 │ └──────┴─────────────────────┴──────────┘

Это с какой же скоростью пишут зарпосы в Яндексе! Вот это да! Идея хорошая, но действительно нужно будет разворачивать массивы + столбиков типо col2 на самом деле много + может быть много тысяч записей для одного значения col1

Привет! Уважаемый @SomeoneBehindYou, поделитесь пожалуйста информацией как вы делаете транспонирование узкой таблицы в широкую? Спасибо)

Через CASE :)

смотря что ты имеешь в виду под "спокойно работать" если просто хранить инфу, то вроде не так требовательно, а если селекты с онлайн пользователями - уже другое дело

Селекты тоже предусмотрены

Через CASE :)

А почему именно CASE? Это оптимальнее чем простым условием? Например: SELECT if(key = 'col1', value, null_placeholder) as 'col1', if(key = 'col2', value, null_placeholder) as 'col2' FROM ...

приветствую, кто-нибудь может помочь разобраться с schema Kafka(broker_list, topic_list, group_name, format[, schema]) для формата TSV, как определить, куда подставить, может есть примеры?

А это нормально что для select-а содержащего две строки одновременно ,sumIf(fees[1],fees[1]>0 and deleted = 0 ) as fees ,sumIf(fees[1],fees[1]<0 and deleted = 0 ) as corrects я получаю DB::Exception: Aggregate function sumIf(arrayElement(fees, 1), and(greater(arrayElement(fees, 1), 0), equals(deleted, 0))) is found inside another aggregate function in query. ?

с обычными столбцами такое работает нормально

А это нормально что для select-а содержащего две строки одновременно ,sumIf(fees[1],fees[1]>0 and deleted = 0 ) as fees ,sumIf(fees[1],fees[1]<0 and deleted = 0 ) as corrects я получаю DB::Exception: Aggregate function sumIf(arrayElement(fees, 1), and(greater(arrayElement(fees, 1), 0), equals(deleted, 0))) is found inside another aggregate function in query. ?

Да, попробуйте заменить sumIf(fees[1],fees[1]>0 and deleted = 0 ) as fees на sumIf(fees[1],fees[1]>0 and deleted = 0 ) as fees_new

А, все, понял:)

https://github.com/nikepan/clickhouse-bulk пригодно к использованию?

Всем привет, подскажите пожалуйста можно ли подключиться Mac OS Tableau к ClickHouse?

@volshevchenko

Привет всем, А подскажите как подключить ClickHouse к Tableau на MacOS??

Не подключается. Tableau под MacOS не поддерживает ODBC, который используется для подключения к ClickHouse.

https://github.com/nikepan/clickhouse-bulk пригодно к использованию?

а зачем? есть же https://clickhouse.yandex/docs/ru/table_engines/buffer.html

А почему именно CASE? Это оптимальнее чем простым условием? Например: SELECT if(key = 'col1', value, null_placeholder) as 'col1', if(key = 'col2', value, null_placeholder) as 'col2' FROM ...

Пробовали, была какая-то проблема из-за чего от него отказались

А почему именно CASE? Это оптимальнее чем простым условием? Например: SELECT if(key = 'col1', value, null_placeholder) as 'col1', if(key = 'col2', value, null_placeholder) as 'col2' FROM ...

У меня конструкция: sum(case when XX like 'YY' then counter else NULL end) as XX1,

У меня конструкция: sum(case when XX like 'YY' then counter else NULL end) as XX1,

Смотрите как можно sumIf(counter, XX like 'YY')

Пробовали, была какая-то проблема из-за чего от него отказались

Понял, спасибо.

Смотрите как можно sumIf(counter, XX like 'YY')

мне надо еще NULL а там его нет =)

Есть запрос вот такого вида SELECT SUM(Amount) AS Volume, SUM(Amount * Price) AS Vol, argMax(Price, Timestamp) AS P, Max(Price) AS Max, Min(Price) AS Min, Pair1, Pair2, Exchange, toStartOfHour(Time) FROM trade_history GROUP BY Pair1, Pair2, Exchange, toStartOfHour(Time) По суте это агригатор для данных в часовой интервал. Как бы мне это все сделать так чтоб КХ сам создавал такие штуки ? Говорю сразу что данные уже входят в КХ в упорядоченом виде по времени. И записей в Прошлое просто не может даже быть. Есть два пути : 1) Выбирать данные каждые допустим 10 секунд, и ложить их в новую таблицу, типа Pair1_Pair2_Exchange_SHour. Потом делать выборку уже с нее. И при каждом перерасчете удалять ее чрез допустим DROP. Что может привести в момент запроса к отсутствию самой таблицы, к трате кучи лишних ресурсов. Когда по факту надо просто менять последний интервал в зависимости добавления данных. 2) Ну и второй вариант сделать как-то красиво через MaterializedView или просто View движки. Но увы в доках про них написано ровно 3 строчки. А про View вообще 2 строчки.

https://clickhouse.yandex/docs/ru/single/#aggregatingmergetree это не читали?

https://clickhouse.yandex/docs/ru/single/#aggregatingmergetree это не читали?

Спс, сейчас прочитаю.

Привет всем, пытаюсь собрать дебпакет из исходников, использую такой https://gist.github.com/freakst/31bd4350bf337d4333c5c48238f46fb1 докерфайл и для всех тегов више v1.1.54310-stable получаю ошибку автоконфа dh_auto_configure: cmake .. -DCMAKE_INSTALL_PREFIX=/usr -DCMAKE_VERBOSE_MAKEFILE=ON -DCMAKE_BUILD_TYPE=None -DCMAKE_INSTALL_SYSCONFDIR=/etc -DCMAKE_INSTALL_LOCALSTATEDIR=/var -DCMAKE_BUILD_TYPE= -DENABLE_TESTS=0 -DCMAKE_CXX_COMPILER= -DCMAKE_C_COMPILER= -DCMAKE_VERBOSE_MAKEFILE=0 -DENABLE_TESTS=0 -DCMAKE_CXX_COMPILER= -DCMAKE_C_COMPILER= -DCMAKE_VERBOSE_MAKEFILE=0 returned exit code 1 debian/rules:52: recipe for target 'override_dh_auto_configure' failed make[1]: *** [override_dh_auto_configure] Error 255 вроде все как в доке установил, подскажите чего нехватает?

должна быть более подробная ошибка

вот весь выхлоп после ./release https://gist.github.com/freakst/e8d9855fd428c1af8e110a330bc1e7ff

Коллеги, приветствую Вас. Подскажите пожалуйста: Есть 2 таблицы pages 2кк строк links 200кк строк у обоих тип MergeTree таблица links содержит поле String page_hash по которому можно выбрать все links для определенной pages Делаю запрос виде SELECT * FROM pages WHERE page_hash = 'jhfjhdsfsdfkj' Запрос отрабатывает 3 сек и сканит всю таблицу Вопрос - как можно избежать full scan и можно ли Спасибо

индекс какой?

индекс какой?

MergeTree(date, id, (date, id)

индекс какой?

По идее можно добавить сюда page_hash ?

а что такое date для page? бывают ли запросы по id?

Товарищи, можно в сей систему писать свои функции?

Товарищи, можно в сей систему писать свои функции?

конечно, но для этого надо их коммитить на гитхаб.

а что такое date для page? бывают ли запросы по id?

Время добавления записи в таблицу.. Вы извините если это выглядит абсурдно, я пока разбираюсь с тонкостями. Нет запросов по id не бывает

конечно, но для этого надо их коммитить на гитхаб.

ох...спасибо...

А есть где-нибудь хорошая статья с примерами по engines, какой в каком случае лучше всего подходит?

Время добавления записи в таблицу.. Вы извините если это выглядит абсурдно, я пока разбираюсь с тонкостями. Нет запросов по id не бывает

тогда для начала можно переложить все в таблицу с индексом по дате/page_hash. дальше, если у вас нет какого-то разумного окна устаревания, то через год у вас будут сотни партиций и запросы без фильтра по дате, и все это на маленькой таблице. возможно, вам для страниц надо партиционирование по ничему.

Можно и на инглише.

(Костя, извините, создам ишью как только ПМ прекратит меня страпонить)

тогда для начала можно переложить все в таблицу с индексом по дате/page_hash. дальше, если у вас нет какого-то разумного окна устаревания, то через год у вас будут сотни партиций и запросы без фильтра по дате, и все это на маленькой таблице. возможно, вам для страниц надо партиционирование по ничему.

Про "партиционирование по ничему" не понял ((( Вы имеете ввиду - не указывать индекс? чтобы не было партиций

Про "партиционирование по ничему" не понял ((( Вы имеете ввиду - не указывать индекс? чтобы не было партиций

либо использовать в качестве даты константу, либо https://github.com/yandex/ClickHouse/blob/master/docs/ru/table_engines/custom_partitioning_key.md

либо использовать в качестве даты константу, либо https://github.com/yandex/ClickHouse/blob/master/docs/ru/table_engines/custom_partitioning_key.md

Огромное спасибо, в очередной раз выручаете

Коллеги, я так понимаю решардинг не очень работает в КХ. А что можете посоветовать сделать, если, например, место на диске заканчивается и необходимо добавить еще серверов?

Коллеги, я так понимаю решардинг не очень работает в КХ. А что можете посоветовать сделать, если, например, место на диске заканчивается и необходимо добавить еще серверов?

Поставить еще серверов и писать в них, а те где место кончается убрать из distributed

Коллеги, я так понимаю решардинг не очень работает в КХ. А что можете посоветовать сделать, если, например, место на диске заканчивается и необходимо добавить еще серверов?

Я в таком случае переносил старые партиции на новые сервера, удаляя их на забитых. Старые данные запрашиваются менее активно, чем новые. Единственное, в таком подходе идеально будет - удвоение конфигурации.

Коллеги, приветствую Вас. Подскажите пожалуйста: Есть 2 таблицы pages 2кк строк links 200кк строк у обоих тип MergeTree таблица links содержит поле String page_hash по которому можно выбрать все links для определенной pages Делаю запрос виде SELECT * FROM pages WHERE page_hash = 'jhfjhdsfsdfkj' Запрос отрабатывает 3 сек и сканит всю таблицу Вопрос - как можно избежать full scan и можно ли Спасибо

Сколько у вас видов хешей ? если не много можете сделать партицирование по ним. А так вам надо индекс у нас на 167кк записей с нормальными индексами выборка проходит за 0.03 сек

Сколько у вас видов хешей ? если не много можете сделать партицирование по ним. А так вам надо индекс у нас на 167кк записей с нормальными индексами выборка проходит за 0.03 сек

Спасибо. Ещё не совсем понимаю как индексы в кх работают после MySQL немного не в себе. Сделал индекс по дате и хешу выборка ускорилась

Спасибо. Ещё не совсем понимаю как индексы в кх работают после MySQL немного не в себе. Сделал индекс по дате и хешу выборка ускорилась

Я тормознул не индексы а ключи партицирования. Ну если есть возможность добавлять дату то должно ускорить в раз 10

Я тормознул не индексы а ключи партицирования. Ну если есть возможность добавлять дату то должно ускорить в раз 10

ENGINE = MergeTree(date, page_url_hash, (date, page_url_hash), 8192) правильно ж я понимаю? Да дату есть возможность добавить. Я сначала туда ещё и id сувал...

Нам было достаточно просто дату добавить и все пошло шустро

у вас наверно есть фильтры по дате.

Если есть неспящие. Только что установил click из rpm. на старте пишет <Error> Application: Net Exception: Cannot assign requested address: [::1]:8123

порты свободны. Что ему не нравится - не догоняю

Ipv6 работает ?

ping6 ::1

нет

я и не понимаю

нафиг он в ipv6 лезет

2018 надворе

в конфиге вижу только порт

2018 надворе

и кто живет на ipv6 без ipv4?)

не видел таких

Надо править конфиг и ставить 127.0.0.1

grep listen

grep listen

спс. увидел

вроде полетело

А без ipv4 уже много кто живет

А кроме этой ошибки ничего вокруг полезного ?

А без ipv4 уже много кто живет

Люди будущего. Нам пока до них далеко(

А кроме этой ошибки ничего вокруг полезного ?

да уже завел.

Ща гуглю как залить данных из csv

Там задумано что при отсутствии одного протокола запускаемся на втором но это не на всех ос срабатывает

Там задумано что при отсутствии одного протокола запускаемся на втором но это не на всех ос срабатывает

на rhel7 пашет

Други, позволяет ли КХ выполнять операции с метриками в запросе? (metric1/metric2)*8

Други, позволяет ли КХ выполнять операции с метриками в запросе? (metric1/metric2)*8

да.

я вижу гуглах, что вроде табикс умеет пивоты. но не вижу как его сделать в самом табиксе

это выпилили или просто не очень очевидно?

@tkostyan у меня был sqlalchemy 1.1.8. Возможно, дело в этом. Обновить пришлось как раз потому что в другом месте (в постгрешной модели) тоже столкнулся с ошибкой рендеринга, там с подзапросами была проблема. Сейчас обновился до 1.2, попробую снова.

Теперь работает, да. Хмм. И даунгрейднулся, всё равно работает.

Доброе утро! ZooKeeper - продолжает радовать...

только недавно поборол проблему с автоматическое очисткой, так началось другое