https://img.facedsid.ru/gfsyj.jpg

Это вот данные по одной сущности

И нужно оставить то, что в прямоугольниках, остальное выкинуть, т.к. не соблюдается последовательность

в вашем случае правила несколько более сложные, чем просто выбрасывание подряд идущих дубликатов.

Эх ) Досадный баг с limit n by )

Я Алексею уже писал про него

Придется чуть больше данных джоинить

#faq

force_index_by_date - проверяет, есть ли в запросе условие на ключ даты, которое может использоваться для отсечения партиций. force_primary_key - проверяет, есть ли в запросе условие на первичный ключ, которое может использоваться для отсечения диапазонов первичного ключа. Если соответствующая настройка выставлена в 1, а подходящего условия нет - кидается исключение. При этом не проверяется, действительно ли условие уменьшает объём данных для чтения. Например, условие на дату Date != '2000-01-01' считается подходящим при выставленной настройке force_index_by_date, даже когда в таблице все данные подходят под это условие и для выполнения запроса требуется full scan.

У меня тут такая проблема, помогите понять в чем причина. Права на папку detached 777 рекурсивно. Выполняю такой запрос: ALTER TABLE bd.table ATTACH PARTITION '201709' Received exception from server: Code: 1000. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Access to file denied: insufficient permissions: /var/lib/clickhouse/data/db/table/detached/20170902_20170906_1_154781_12691.

2017.09.09 09:42:48.662898 [ 3 ] <Error> db.table (Data): ~DataPart() should remove part /var/lib/clickhouse/data/db/table/detached/20170902_20170906_1_154781_12691/ but its name doesn't start with tmp. Too suspicious, keeping the part.

Привет, клиент go. В таблице 10м значений. Код то выполняется то нет (будто нет данных). Без ошибок iter := clickhouse.NewQuery( sql, args..., ).Iter(clickHoustClient) for iter.Scan(&ip, &dateAt) { // agg } return iter.Error() Запрос тупо селект по всем данным в таблице Проблема в том что запрос то выполняется, то не выполняется если вызвать его. То есть код отрабатывает мгновенно и без ошибок будто таблица пустая. А бывает что все в порядке возвращает данные и итератор бежит по всем данным. На транспорте стоит timeoyt=60sec В чем может быть проблема?

клиент го это в другую сторону )

я юзаю тот же клиент, в данный момент

Error вернет только ошибку бд, скорее всего проблема где-то в коннекте если код выполняется моментально

Так что я делаю не так, понять не могу Явно что то в клиенте дело или коннекте

Баг даже завести не могу ибо воспроизвести не знаю как

клиент го это в другую сторону )

не понял?

я про то, что здесь не гошный чат ) если запрос выполняется — значит все ок, не к кликхаусу вопрос ?

имхо

как выше верно подметили, это какая-то проблема с транспортом. попробуй спросить у гоферов

А ну это понятно Вопрос с большего аудитории этой группы был адресован

Окей, буду копать

у меня подобных проблем не было, во всяком случае )

?

Блин, так этот клиент через http хреначит. Мда уж

посмотрите в логах сервера запросы, попробуйте воспроизвести без клиента.

Подскажите плиз по дизайну витрин. Что эффективнее — одна мега-широкая таблица в которой вперемешку лежат метрики и атрибуты или же относительно узкая таблица фактов с метриками и ключами, окруженная словарями?

Аналитикам понятное дело удобнее читать данные из одной широкой таблицы.

В словари обычно кладутся то, что может меняться. Например, можно создать широкую таблицу с айдишниками каких-то сущностей, а в словаре хранить мапинг "id -> человеческое имя"

Так и аналитикам будет удобно помнить, что, например, мне нужно id=831, потому что я помню, и форматировать изменяющиеся сущности со словарями будет удобн

посмотрите в логах сервера запросы, попробуйте воспроизвести без клиента.

Да вот именно посмотрел и в ужас пришел Сменил клиента и порядок

Подскажите плиз по дизайну витрин. Что эффективнее — одна мега-широкая таблица в которой вперемешку лежат метрики и атрибуты или же относительно узкая таблица фактов с метриками и ключами, окруженная словарями?

а чем метрики и атрибуты отличаются от метрик и ключей?

а чем метрики и атрибуты отличаются от метрик и ключей?

ключи — маленькие целые, а атрибуты — длинные текстовые

В словари обычно кладутся то, что может меняться. Например, можно создать широкую таблицу с айдишниками каких-то сущностей, а в словаре хранить мапинг "id -> человеческое имя"

согласен, для изменяющихся атрибутов лучше использовать словари, а если атрибуты не меняются?

с ключи обычно занимают меньше места, поэтому запрос работает быстрее, и, как уже сказали, данные в словаре можно апдейтить. но при этом запрос становится а) непонятнее (id=7500) б) длиннее (select id,getDictString(...id)), если писать их руками это менее удобно.

Мне подозревается что тут у каждого второго написан конструктор запросов

Мне подозревается что тут у каждого второго написан конструктор запросов

Это точно. Запросы в 300 строк в высоту руками писать как то тяжеловато

А есть там выбор данных из словаря или нет вообще не усложняет запрос )

Нет никакой проблемы в широкую таблицу положить огромную строку

Но если хочется с ними что-то делать, то рядом со строкой обязательно класть хеш типа cityhash

Это может на порядок ускорить запрос

Но если хочется с ними что-то делать, то рядом со строкой обязательно класть хеш типа cityhash

спасибо

У меня тут такая проблема, помогите понять в чем причина. Права на папку detached 777 рекурсивно. Выполняю такой запрос: ALTER TABLE bd.table ATTACH PARTITION '201709' Received exception from server: Code: 1000. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Access to file denied: insufficient permissions: /var/lib/clickhouse/data/db/table/detached/20170902_20170906_1_154781_12691.

2017.09.09 09:42:48.662898 [ 3 ] <Error> db.table (Data): ~DataPart() should remove part /var/lib/clickhouse/data/db/table/detached/20170902_20170906_1_154781_12691/ but its name doesn't start with tmp. Too suspicious, keeping the part.

У меня тут такая проблема, помогите понять в чем причина. Права на папку detached 777 рекурсивно. Выполняю такой запрос: ALTER TABLE bd.table ATTACH PARTITION '201709' Received exception from server: Code: 1000. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Access to file denied: insufficient permissions: /var/lib/clickhouse/data/db/table/detached/20170902_20170906_1_154781_12691.

Проверте владедьца папок, это должен быть clickhouse

Поставил КХ на виртуалку Ubuntu 16.04 в ажуре, и обнаружил странный эффект: umaxfun@policy:~$ clickhouse-client Illegal instruction (core dumped)

umaxfun@policy:~$ clickhouse-server Illegal instruction (core dumped)

Что бы это могло значить?

Поставил КХ на виртуалку Ubuntu 16.04 в ажуре, и обнаружил странный эффект: umaxfun@policy:~$ clickhouse-client Illegal instruction (core dumped)

Описанный эффект, значит цпу который ажура даёт не поддерживает sse4.2

В рут мне логи, что теперь делать? Один вариант -- не использовать ажуру?

Надо либо пересобирать кх самому без поддержки ссе4, либо бодаться с поддержкой чтобы они у себя это поправили

В рут мне логи, что теперь делать? Один вариант -- не использовать ажуру?

С мелкими хостерами на квмах помогает бодаться с поддержкой.

А с мелкими не было проблем ?

Там такое тоже сплошь и рядом, что наборы поддерживаемых инструкций они зачем то ограничивают

Ну они там тупо кпу тайп делают хост

У того же селектела всегда было ок, и на вискейле даже

Да они там по дефолту юзают какой-то кему виртуальный кпу

Потому такие проблемы

А шо там у ажура хз

Навряд они чёт под одного чела будут менять

Тупо получается

Ну написал в супорт, конечно

А шо там у ажура хз

Хипер-в же

Ну то шо Хайперв то понятно, вопрос как он там настроени

Я просто хайпер 1 раз в жизни трогал

Поставил КХ на виртуалку Ubuntu 16.04 в ажуре, и обнаружил странный эффект: umaxfun@policy:~$ clickhouse-client Illegal instruction (core dumped)

Выберите другую машину. У меня в Azure поднят КХ и все ок.

Хипер-в же

вот интересно, как они пофиксили 10к коннектов на hyper-v для ажура

и почему в обычный вин сервер ещё не завезли

Выберите другую машину. У меня в Azure поднят КХ и все ок.

А какая у тебя модель?

вот интересно, как они пофиксили 10к коннектов на hyper-v для ажура

Спроси у саппорта :)

А какая у тебя модель?

Ща спрошу, сам не знаю точно)

и почему в обычный вин сервер ещё не завезли

Он там изначально как опция

Ща спрошу, сам не знаю точно)

Буду признателен, там их 100500 видов :)

Буду признателен, там их 100500 видов :)

Админ спит, так что сказать не могу точно. По характеристикам это 4 ядра и 8 гигов и Debian.

Буду признателен, там их 100500 видов :)

Более точно :) Standard F4s (4 vcpus, 8 GB memory)

Спасибочки!

Всем привет, а есть в КХ функция, которые объединяет два массива в один? что-то типо union, например для SELECT arrayUnion([1, 2, 3], [4, 5, 6]) AS res вернула бы [1, 2, 3, 4, 5, 6]

в доке тут не нахожу https://clickhouse.yandex/docs/ru/functions/array_functions.html?highlight=массивы#arrayjoin-arr

такого

SELECT arrayReduce('groupArrayArray', [[1, 2, 3], [10, 20, 30]]) сработало вопрос закрыт