вот это запрос

Друзья, кто-нибудь реализовывал на КХ аналог aggregation() over (partition by ...) оракла? Функция runningAccumulate() не спасает :(

я напечатал это в терминале и случайно вызвал Ктулху, не делайте так!

Ктулху это хорошо - много свежей кальмарятины! а проблему воспроизвести всеравно надо

Я бы попробовал поочерёдно изнути наружу избавляться от джоинов и в теории можно будет понять на каком этапе тормозит. А вообще накой вам такая сложная структура? Сделайте одну огромную таблицу и будет счастье

@proller Iä! Ph'nglui mglw'nafh Cthulhu R'lyeh wgah'nagl fhtagn!

Ребят, а что означает ошибка? 2018.04.13 19:30:11.427727 [ 22 ] <Error> HTTPHandler: Cannot send exception to client: Code: 24, e.displayText() = DB::Exception: Cannot write to ostream, e.what() = DB::Exception, Stack trace: убрал трейс для читаемости

У меня такое когда клиент отвалился, по таймауту, например

а что такое CloM8CwMR2

Это локальные файлы

Которые как временные таблицы используются

Ребят, а можно выдать права доступа только на 1 базу?

Но суть не в этом. Суть в том, что почему то на разных версиях этот запрос отрабатывает по разному. На текущей стабильной он работает капец как долго. Причем он примерно 160 секунд валит в логи вот такую строчку, что я скинул и потом за 1мс выполняет запрос.

Есть регрессия производительности при анализе запросов с большим количеством подзапросов в FROM. Я имел её ввиду ещё когда готовил релиз, но решил что это пока не очень важно, так как она начинает иметь значение на цепочках из хотя бы десятков подзапросов. Исправить можно.

Ваш запрос красиво выглядит в клиенте, надеюсь вы писали его не вручную.

Ваш запрос красиво выглядит в клиенте, надеюсь вы писали его не вручную.

Нет конечно :) У нас генератор таких запросов существует )

Ваш запрос красиво выглядит в клиенте, надеюсь вы писали его не вручную.

Это на самом деле маленький запрос. Мы собираем гораздо бОльшие запросы, да такие, что пришлось пилить транспорт через CLI клиент, т.к. использовались временные таблицы из локальных файлов + запрос на столько большой, что в URL не помещается из-за ограничения по длине :(

Будем ждать фикс! :) Надеюсь, что в чейнджлоге появится информация об исправлении!

Это на самом деле маленький запрос. Мы собираем гораздо бОльшие запросы, да такие, что пришлось пилить транспорт через CLI клиент, т.к. использовались временные таблицы из локальных файлов + запрос на столько большой, что в URL не помещается из-за ограничения по длине :(

Но ведь можно отправлять запрос по HTTP POST-ом. Также можно увеличить max_query_size, max_ast_elements, max_ast_depth, max_subqueries_depth,,,

Но ведь можно отправлять запрос по HTTP POST-ом. Также можно увеличить max_query_size, max_ast_elements, max_ast_depth, max_subqueries_depth,,,

Не получается, если мы отправляем запрос постом + multipart шлем

Мы даже хотели напилить фикс под это дело, что бы при отправке файлов на сервер по HTTP для запроса, можно было постом так же и запрос передать, но у нас спецов в плюсах не нашлось ( Просили знакомого сделать, но он предпочел не тратить на это время :(

Не получается, если мы отправляем запрос постом + multipart шлем

Действительно, помню о таком.

Действительно, помню о таком.

Просто CLI не позволяет из PHP делать асинхронные запрос. Точнее это можно сделать, но блин...там будут кейсы когда останутся зомби процессы, а возиться с ними не хочется. Асинхронщина по HTTP давала нам не плохую скорость :) Но это не критично. Мы все тешим себя надеждой, либо дождаться официальной фичи, либо найти все таки разработчика на плюсах, который это поправит

Просто CLI не позволяет из PHP делать асинхронные запрос. Точнее это можно сделать, но блин...там будут кейсы когда останутся зомби процессы, а возиться с ними не хочется. Асинхронщина по HTTP давала нам не плохую скорость :) Но это не критично. Мы все тешим себя надеждой, либо дождаться официальной фичи, либо найти все таки разработчика на плюсах, который это поправит

Мы дали эту задачу незнакомому энтузиасту с улицы.

Мы дали эту задачу незнакомому энтузиасту с улицы.

Даже не знаю как на это реагировать, но я посмеялся от души )))

Надеюсь, что сделает!

Энтузиаст, поди, мелочь просил, а вы с ним так жестоко

Ребят, а можно выдать права доступа только на 1 базу?

Да, можно. Для пользователя указывается список баз в allow_databases, например: <users> <username> <password></password> <allow_databases> <database>test</database> </allow_databases> </username> </users>

Да, можно. Для пользователя указывается список баз в allow_databases, например: <users> <username> <password></password> <allow_databases> <database>test</database> </allow_databases> </username> </users>

Спасибо! А может быть тогда есть возможность пойти дальше и сделать для части баз RO доступ, а для части RW? Может быть есть дока по этому поводу?

Спасибо! А может быть тогда есть возможность пойти дальше и сделать для части баз RO доступ, а для части RW? Может быть есть дока по этому поводу?

Нет, так сделать нельзя. На данный момент в ClickHouse очень упращенный механизм разграничения прав

Телеграмм бот «Telegram Proxy (SOCKS5) Bot» в списке сайта Telegram-store.com https://ru.telegram-store.com/catalog/bots/proxy_socks5_bot/

Народ, кто нить решал подобную проблему? https://github.com/yandex/ClickHouse/issues/2070

господа, нужно мне было сделать cumsum внутри групп, поискал я тут в группе и нашел только такое t.me/clickhouse_ru/2430 по аналогии сделал для своих данных https://gist.github.com/mephistopheies/971769aec94162da9314d86e3cc9bf45 имхо это какой то изврат дичайший, сообщение то на которое я ориентировался слегка старое, может с тех пор появился какой то более кошерный способ считать камсум? upd: ессесно такой изврат вышел за пределы памяти -)

Народ, кто нить решал подобную проблему? https://github.com/yandex/ClickHouse/issues/2070

а можно воспроизведение этой проблемы поместить в скрипт чтоб запустить и упало? тогда было бы легче решить

а можно воспроизведение этой проблемы поместить в скрипт чтоб запустить и упало? тогда было бы легче решить

Могу пошагово описать, с командами. Так норм?

да

парни, привет. поделитесь как можно максимально быстро заджоинить справочник к distibuted таблице, либо нужно эту таблицу-справочник подключать как-то по другому. Ситуация следующая, есть 2 ноды, distributed таблица c ключом rand(), на первой ноде есть справочник, с которым пытаюсь заджоиниться, естественно получается медленно, тк, данным из второй ноды нужно джоиниться с этим справочником по сети

а может его на обоих нодах держать?

а может его на обоих нодах держать?

у меня была такая идея,еще не пробовал, возможно есть более быстрые способы в виде подключения внешних словарей или чего-нибудь похожего

мне недавно подсказали про global join, может, вам тоже подойдет?

https://clickhouse.yandex/docs/ru/query_language/queries/#join

При использовании GLOBAL ... JOIN-а, сначала, на сервере-инициаторе запроса, выполняется подзапрос для вычисления "правой" таблицы, и затем эта временная таблица передаётся на каждый удалённый сервер, и на них выполняются запросы, с использованием этих переданных временных данных. Следует быть аккуратным при использовании GLOBAL JOIN-ов. Подробнее читайте в разделе "Распределённые подзапросы" ниже.

да

Положил ссылку на скрипт в изис https://github.com/yandex/ClickHouse/issues/2070. КХ падает даже без сообщений в топике Кафки. Как только вьюха подключается … сервер КХ умирает.

Спасибо

у меня была такая идея,еще не пробовал, возможно есть более быстрые способы в виде подключения внешних словарей или чего-нибудь похожего

Словари для таблиц-справочников - самое подходящее решение.

Словари для таблиц-справочников - самое подходящее решение.

Спасибо, попробую

Добрый вечер! Подскажите плиз что с этим можно сделать: <Warning> ConnectionPoolWithFailover: Connection failed at try №1, reason: Code: 209, e.displayText() = DB::NetException: Timeout exceeded while reading from socket (...), e.what() = DB::NetException

а с сетью все норм?

Интересно чем это начинание закончится? ? https://github.com/yandex/ClickHouse/issues/2218

Интересно чем это начинание закончится? ? https://github.com/yandex/ClickHouse/issues/2218

а чувак TABIX то смотрел? ;) чем оно ему не угодило?

смотрел, судя по тексту > For the tools of interaction with ClickHouse are very bad and full of bug (like Tabix).

а с сетью все норм?

Да, все норм. 3 реплики, запрос простой ~3/10 раз подвисает с такой на несколько секунд.

Все реплики рядышком физически

Посмотрите логи кх, посмотрите логи syslog посмотрите dmesg

Ощущение что не хватает файлов или сокетов или соединений в фаерволе

Приветствую. Подскажите пожалуйста, обновояю сейчас версию clickhouse и смотрю что раньше использовался метод сжатия данных lz4 а сейчас zstd , вопрос в следующим что бы перейти на новый вид сжатия достаточно указать просто новый метод или же нужно как то переливать данные? Спасибо.

Приветствую. Подскажите пожалуйста, обновояю сейчас версию clickhouse и смотрю что раньше использовался метод сжатия данных lz4 а сейчас zstd , вопрос в следующим что бы перейти на новый вид сжатия достаточно указать просто новый метод или же нужно как то переливать данные? Спасибо.

Данные переливать не нужно, новый метод сжатия будет работать для новых кусков

т.е. достаточно просто в конфиг файле изменить метод сжатия и все?

т.е. достаточно просто в конфиг файле изменить метод сжатия и все?

Да, этого должно хватить, но нужно понимать зачем оно вам

спасибо, для экономии места ?

а с zstd просядет скорость выборки?

Для сжатых данных конечно просядет

Но, у КХ еще есть кэш расжатых блоков, если он у вас неплохо справляется то сильно оно вас не зацепит

просто нашел сравнение lz4 и zstd сжатия и вижу что zstd в плане выборки медленее, я так понимаю за счет того что данные больше сжаты

оставлю я наверное lz4 тогда ? но спасибо за информацию

Ощущение что не хватает файлов или сокетов или соединений в фаерволе

Похоже файервол. Благодарю за помощь ?

Подскажите пожалуйста такой момент, можно ли как то делать подзапрос с другой таблицы? в mysql можно сделать что то типа такого: select t1.id, (select count table2 where event_date = t1.event_date and field2 = t1.field2) as cnt from table1 as t1 where t1.event_date = curdate() and field2 = 5

смотрел что можно через any left join но там идет сравнение по 1 полю, а нужно по двум

смотрел что можно через any left join но там идет сравнение по 1 полю, а нужно по двум

JOIN можно делать через несолько полей: >USING id, user_id

о, спасибо, сейчас попробую

а если название полей разное то уже никак?

в t1 - event_date в t2 - date поля

Подскажите пожалуйста такой момент, можно ли как то делать подзапрос с другой таблицы? в mysql можно сделать что то типа такого: select t1.id, (select count table2 where event_date = t1.event_date and field2 = t1.field2) as cnt from table1 as t1 where t1.event_date = curdate() and field2 = 5

1. коррелированные подзапросы не поддерживаются. 2. конкретно этот запрос можно переписать в виде select t1.id, cnt from table1 join (select field2,event_date,count() as cnt from table2 join ( select field2,event_date from table1 where event_date=curdate()) using field2,event_date group by field2,event_date) using field2 может получиться что-то рабочее.

а если название полей разное то уже никак?

select x as y в подзапросе - будут одинаковые

Интересно чем это начинание закончится? ? https://github.com/yandex/ClickHouse/issues/2218

Спасибо за ссылку, понаблюдаю, интересно что получится )

А это не тот же чувак который metabase драйвер последним обещался разработать?

Вроде он же

подскажите пожалуйста, как правильно посчитать количество уникальных кортежей параметров есть таблица вида create table hits(url String,params Nested (Name String,Value String)) хочется отфильтровать часть параметров по params.Name 1.arrayFilter(x -> x not in ('bad name1','bad name2'),params.Name) 2.из результата сделать тупл my_tuple 3.посчитать количество уникальных туплов на каждый url select my_tuple,url,count from hits group by my_tuple,url group by my_tuple,url

uniqArray(arrayFilter((n, v) -> 1, p.Name, p.Value), arrayFilter((v, n) -> 1, p.Value, p.Name)) group by url

где вместо 1 фильтр по имени или значению.

uniqArray(arrayFilter((n, v) -> 1, p.Name, p.Value), arrayFilter((v, n) -> 1, p.Value, p.Name)) group by url

если не ошибаюсь,это будет количество уникальных элементов в кортеже на каждый url а мне хотелось бы количество уникальных кортежей

ну вы посмотрите, вдруг подойдет.

хотя.. а вы в данном случае что считаете кортежом? пару name-value?

Добрый день, поднял старые бекапы. Но выборки перестали работать. Запрос падает с DB::Exception: Size of filter doesn't match size of column. Версия 1.1.54370. Подскажите, что можно сделать? Кастование полей к их типу поможет? Думается мне что в той партиции были альтеры по ресайзу колонки в большую сторону.. но точно сказать не могу

хотя.. а вы в данном случае что считаете кортежом? пару name-value?

да. и мне хочется результат вида url, (name,value),count()

Добрый день, поднял старые бекапы. Но выборки перестали работать. Запрос падает с DB::Exception: Size of filter doesn't match size of column. Версия 1.1.54370. Подскажите, что можно сделать? Кастование полей к их типу поможет? Думается мне что в той партиции были альтеры по ресайзу колонки в большую сторону.. но точно сказать не могу

Мне помогло добавление полей в where, так что бы они при этом ни на что не влияли

да. и мне хочется результат вида url, (name,value),count()

и count() означает что, количество раз которое была такая комбинация url,name,value?

Мне помогло добавление полей в where, так что бы они при этом ни на что не влияли

пробовал. выбрало чуточку больше, но итог все равно Exception. Позже попробую все поля что есть добавить в Where с условиями...

У меня кстати тоже с 70ой проявилось

Коллеги, привет! Подскажите, пожалуйста, есть ли где -то сравнение кликхауса с BigQuery?

https://clickhouse.yandex/presentations/uwdc/#29