arrayMap(x -> x+10, arr) - вот тут вместо arr может вообще любое выражение, главное чтоб массив возвращало

Мне надо чтобы внутри где х+10 было много выпажений

has(arrayMap(x -> toUInt16(replaceRegexpAll(x, '1#', '')), arrayFilter(x -> (x = '1#5'), arr_segments)), 5) as segment5

Это не совсем то. Тк тело функции одна операция

Просто цепочка вызовов куда передается массив и операция и опять массив и операция

Я же хожу операцию как сложную функцию

Мне надо чтобы внутри где х+10 было много выпажений

select arrayMap(x -> indexOf([5,4,3,2,1],x) + 10, [1,2,3,4,5,6,7]) а так

Надо это чтобы как то получить из двух массивов один. Есть [10, 20, 30] и [9,11,12,24,44] хочу их преобразовать чтобы получить пары массив1 + все числа массива 2 больше чем какой то Элемент массив 1 но меньше чем след элемент массив 2. Те результат примера [10,11 ] (10,12) (20,24) (30,44)

Это к примеру в arrayMap(x -> {var y = indexOf(anotherarr, x); var z = x > 10? 5: 9; return x*z-y}, arr)

select arrayMap(x -> x * (if(x > 10, 5,9) - indexOf([5,4,3,2,1],x)), [1,2,3,4,5,6,7])

select arrayMap(x -> indexOf([5,4,3,2,1],x) + 10, [1,2,3,4,5,6,7]) а так

Оно все равно получается что одна операция. Те мне чтобы переменные внутри использовать и сохранять некий результат

Все ваши примеры это грубо говоря одна длинная операция. А можно ли как то чтобы переменные ещё использовать

Все ваши примеры это грубо говоря одна длинная операция. А можно ли как то чтобы переменные ещё использовать

а где так можно делать?

в какой бд

Я не говорю что где то можно. Но если есть high order function я уточнял можно ли

В тарантул на Луа можно что то писать :)

здесь просто SQL

99% есть в доке

99% есть в доке

Да, но насчёт этого вопроса какая то неопределенность. Те можно сделать цепочку вызовов и все ок, а если разбить на куски с сохранением в переменную то уже получается нельзя.

Поэтому и пришел уточнить можно или нет

если вам хочется привычный императивный синтаксис, то его нет, если вам нужно выполнить какое-то выражение с временными результатами, то возможно их можно просто заинлайнить в места использования.

если вам хочется привычный императивный синтаксис, то его нет, если вам нужно выполнить какое-то выражение с временными результатами, то возможно их можно просто заинлайнить в места использования.

Мне день тянуть данные на клиент и там делать мап-редьюс. Хотел все переложить на КХ :)

День - лень

Да и "день" норм был.

Да и "день" норм был.

Это будет мое удивление на следующем шаге :)

А такой вопрос.есть число 15 И массив 5, 6,10,20,30 можно ли получить число 10. Те надо найти наибольший элемент который меньше искомого числа

А такой вопрос.есть число 15 И массив 5, 6,10,20,30 можно ли получить число 10. Те надо найти наибольший элемент который меньше искомого числа

Можно - делаем arrayFilter и берём последний элемент

А такой вопрос.есть число 15 И массив 5, 6,10,20,30 можно ли получить число 10. Те надо найти наибольший элемент который меньше искомого числа

:) select max(arrayJoin(arrayFilter(x -> x < 15, [5, 6,10,20,30]))) as res SELECT max(arrayJoin(arrayFilter(x -> (x < 15), [5, 6, 10, 20, 30]))) AS res ┌─res─┐ │ 10 │ └─────┘

Можно - делаем arrayFilter и берём последний элемент

в таком массиве [10, 6, 1, 20, 30] не прокатит

Можно - делаем arrayFilter и берём последний элемент

с сортировкой прокатит :) select arraySort((arrayFilter(x -> x < 15, [5, 6,10,20,30])))[-1] as res SELECT arraySort(arrayFilter(x -> (x < 15), [5, 6, 10, 20, 30]))[-1] AS res ┌─res─┐ │ 10 │ └─────┘

с сортировкой прокатит :) select arraySort((arrayFilter(x -> x < 15, [5, 6,10,20,30])))[-1] as res SELECT arraySort(arrayFilter(x -> (x < 15), [5, 6, 10, 20, 30]))[-1] AS res ┌─res─┐ │ 10 │ └─────┘

Да у меня массив уже отсортированый

Мне надо чтобы внутри где х+10 было много выпажений

Вместо x+10 можно написать f(x) И цепочку вызовов подставить.

Вместо x+10 можно написать f(x) И цепочку вызовов подставить.

А как кастомную функцию писать?

Кастомная функция -- это не кусок кода, а именно цепочка вызовов встроенных ф-й

Коллеги, доброе утро! Подскажите, как решить такую проблему? <Error> Application: DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/asoup//SPL3314_REP.sql, error: ZooKeeperImpl::Exception: Can't get data for node /clickhouse/tables/01/SPL3314_REP/metadata: node doesn't exist (No node) Кликхаус не стартует

Кастомная функция -- это не кусок кода, а именно цепочка вызовов встроенных ф-й

Aaaa :)

Коллеги, доброе утро! Подскажите, как решить такую проблему? <Error> Application: DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/asoup//SPL3314_REP.sql, error: ZooKeeperImpl::Exception: Can't get data for node /clickhouse/tables/01/SPL3314_REP/metadata: node doesn't exist (No node) Кликхаус не стартует

Перенести метаданные и данные в другое место, стартануть КХ, перенести данные в detached новой таблицы и сделать attach для всех партиций.

Кажется у меня в зукипере все данные потерялись, это очень плохо?

Кажется у меня в зукипере все данные потерялись, это очень плохо?

Нет, данные из-за этого не потеряются, но нужно будет аккуратно их переместить из /var/lib/clickhouse/data, создать таблицы заново, и приатачить партиции

https://clickhouse.yandex/docs/ru/single/#zookeeper

Спасибо, Кирилл, буду пробовать

Раз никто не отвечает, попробую я :) У вас слуйчано место на диске (df) и inode (df -i) не закончились?

Здравствуйте. Подскажи, кто-нибудь имеет опыт миграции с одного кластера ZooKeeper на другой и как это можно сделать, чтобы не потерять данные? Рассматриваю вариант с вводом новых участников кластера и вывода старых после синхронизации.

Нет, данные из-за этого не потеряются, но нужно будет аккуратно их переместить из /var/lib/clickhouse/data, создать таблицы заново, и приатачить партиции

У меня 2 шарда по 2 реплики. Начал с первой ноды кликхауса, переместил данные и метаданные в другой каталог. Создал replicated таблицу, скипировал данные в папку detached этой таблицы. Пытаюсь выполнить ALTER TABLE {table_name} ATTACH PARTITION . Ругается на неверный синтаксис. Если пишу запрос вида ALTER TABLE {table_name} ATTACH PARTITION 201801 то, выполняется, но данные в таблицу не приходят Подскажите, куда посмотреть?

первый синтаксис не верный

данные надо было бы через детач отсоединить

ну и тупо посмотреть переместились ли данные из папки детач

у меня данные в зукипере потерялись, пришлось заново создавать таблицу, не было возможности сделать detach, кликхаус не запускался

У меня 2 шарда по 2 реплики. Начал с первой ноды кликхауса, переместил данные и метаданные в другой каталог. Создал replicated таблицу, скипировал данные в папку detached этой таблицы. Пытаюсь выполнить ALTER TABLE {table_name} ATTACH PARTITION . Ругается на неверный синтаксис. Если пишу запрос вида ALTER TABLE {table_name} ATTACH PARTITION 201801 то, выполняется, но данные в таблицу не приходят Подскажите, куда посмотреть?

А как папки называются? Может нет партиции 201801?

20180129 пробовал

ну видно что аттач не прошел

да, а как можно понять причину? в лог ничего не пишется в момент выполнения аттача

о, вот в таком формате получилось приаттачить данные ALTER TABLE {table_name} ATTACH PART '20180129_0_53_5'

У вас партиционирование по дате, значит названия партиции должно было быть '2018-01-29'

у меня вот так PARTITION BY toMonday(toDateTime(ts))

у меня вот так PARTITION BY toMonday(toDateTime(ts))

Я и говорю, у вас кастомный ключ партиционирования по дате, если сейчас посмотрите в system.parts то увидите как строятся в этом случае имена партиций

ага, понял, спасибо

Может быть кто-то знает как заставить КХ "забыть" о словаре без растарта? Удаление файла с конфигурацией не помогает...

SYSTEM RELOAD DICTIONARIES - тоже.

Может быть кто-то знает как заставить КХ "забыть" о словаре без растарта? Удаление файла с конфигурацией не помогает...

Drop table?

Вот с DROP TABLE все и началось... :) Был нужен временный словарь, быстренько запилил таблицу с данными (внутри КХ) и конфиг словаря. Потом словарь перестал быть нужен, таблицу и конфиг словаря удалил, а КХ теперь каждые пару сек пишет в error_log сообщение мол " Failed reloading '<удаленный словарь>' external dictionary: Code: 47, ". Рестартовать "по пустякам" не хочется т.к. КХ минут 5 стартует.

Доброе утро. Как можно отменить мутацию на удаление? На обычной MergeTree. Допустил ошибку в запросе, она не проходит и не позволяет уже нормальному запросу работать

Доброе утро. Как можно отменить мутацию на удаление? На обычной MergeTree. Допустил ошибку в запросе, она не проходит и не позволяет уже нормальному запросу работать

Мне приходилось руками удалять из Zoo и ребутать (возможно и без ребута сработает, но мне так было спокойней )

Мне приходилось руками удалять из Zoo и ребутать (возможно и без ребута сработает, но мне так было спокойней )

Зукипера там нет. Так и планировал. Удалить файл с мутацией и ребутнуть

Спасибо

Сделайте DETACH TABLE <table>, найдите в data-директории таблицы ( /var/lib/clickhouse/data/<database>/<table>/ ) файл с мутацией ( mutation_*.txt ), удалите его и приаттачте таблицу обратно ATTACH TABLE <table>

Сделайте DETACH TABLE <table>, найдите в data-директории таблицы ( /var/lib/clickhouse/data/<database>/<table>/ ) файл с мутацией ( mutation_*.txt ), удалите его и приаттачте таблицу обратно ATTACH TABLE <table>

Спасибо!

Зукипера там нет. Так и планировал. Удалить файл с мутацией и ребутнуть

У нас ещё версия, которая умеет мутации только для replicated)

Надо будет сделать запрос KILL MUTATION для таких случаев :)

Надо будет сделать запрос KILL MUTATION для таких случаев :)

ALTER MUTATION :D

Надо будет сделать запрос KILL MUTATION для таких случаев :)

Задавал этот вопрос на последней конференции, говорили, что надо бы сделать такой механизм :)

Ага, это я и говорил

Ага, это я и говорил

Я помню :)

Вот с DROP TABLE все и началось... :) Был нужен временный словарь, быстренько запилил таблицу с данными (внутри КХ) и конфиг словаря. Потом словарь перестал быть нужен, таблицу и конфиг словаря удалил, а КХ теперь каждые пару сек пишет в error_log сообщение мол " Failed reloading '<удаленный словарь>' external dictionary: Code: 47, ". Рестартовать "по пустякам" не хочется т.к. КХ минут 5 стартует.

Я в таком случае создаю словарь, который фиксит ошибку, типа смотрит на пустой файл или select where 1=0. Чтобы хотя бы ошибок не было в логах и системах мониторинга.

Clickhouse одну merge_tree таблицу распределил на 548827 файлов. Количество столбцов - 11, строк - 10 000, вес таблицы - 1.26 мб. Merge_tree таблица создавалась с параметрами по умолчанию, описанными в официальной документации. Файловая система дирректории Clickhouse - 'ext4'(LINUX) Насколько нормально такое поведение Clickhouse? Возможно ли ограничить или сократить количество создаваемыех файлов на одну таблицу; если да, то чего это нам будет стоить?

у вас с выбором индекса партиционирования что-то не то. гранулярность большая получилась

Clickhouse одну merge_tree таблицу распределил на 548827 файлов. Количество столбцов - 11, строк - 10 000, вес таблицы - 1.26 мб. Merge_tree таблица создавалась с параметрами по умолчанию, описанными в официальной документации. Файловая система дирректории Clickhouse - 'ext4'(LINUX) Насколько нормально такое поведение Clickhouse? Возможно ли ограничить или сократить количество создаваемыех файлов на одну таблицу; если да, то чего это нам будет стоить?

Может быть вы каждую строку вставляли отдельным инсертом?

Clickhouse одну merge_tree таблицу распределил на 548827 файлов. Количество столбцов - 11, строк - 10 000, вес таблицы - 1.26 мб. Merge_tree таблица создавалась с параметрами по умолчанию, описанными в официальной документации. Файловая система дирректории Clickhouse - 'ext4'(LINUX) Насколько нормально такое поведение Clickhouse? Возможно ли ограничить или сократить количество создаваемыех файлов на одну таблицу; если да, то чего это нам будет стоить?

Это не нормально, скорее всего вы что-то сделали неверно. Если сделать всё верно то все ваши данные должны лежать примерно в 30 файлах.

Может быть вы каждую строку вставляли отдельным инсертом?

Возможно, данные грузятся через ETL инструмет, коннектится он к CH через JDBC драйвер. Количество строк в блоке инсерта, честно говоря, мне неизвестно, нужно будет покопаться, найти. Благодарю за интересное предположение. Возможно ETL и инсертит каждую строку отдельно.

Возможно, данные грузятся через ETL инструмет, коннектится он к CH через JDBC драйвер. Количество строк в блоке инсерта, честно говоря, мне неизвестно, нужно будет покопаться, найти. Благодарю за интересное предположение. Возможно ETL и инсертит каждую строку отдельно.

Ну и второй вопрос какое используется партиционирование данных? Если каждая строка попала в одтельную партицию - то тоже будет очень много файлов.

Это не нормально, скорее всего вы что-то сделали неверно. Если сделать всё верно то все ваши данные должны лежать примерно в 30 файлах.

Пробовали играться с параметрами таблицы(гранулярность, партиции, order by, sample)- не помогло, количество файлов все равно в районе полумиллиона. Та же самая таблица на движке Log занимает 24 файла.

даже если инсёрты отдельные (а что, КХ уже умеет вставку одной строки? раньше вроде нельзя было, только батчи), то мерджи потом объединят их. тут же, видимо, данные распределились и остались. заметьте, что там файлов больше, чем строк*колонок. даже хз, откуда такая амплификация. либо что-то недоговаривают о ситуации

напишите структуру таблицы, запрос создания какой?

Возможно, данные грузятся через ETL инструмет, коннектится он к CH через JDBC драйвер. Количество строк в блоке инсерта, честно говоря, мне неизвестно, нужно будет покопаться, найти. Благодарю за интересное предположение. Возможно ETL и инсертит каждую строку отдельно.

А какой ETL если не секрет? Используем Pentaho, проблема очень просто решается

Pentaho

А какой ETL если не секрет? Используем Pentaho, проблема очень просто решается

Могли бы поделиться решением?

Могли бы поделиться решением?

Лучше в личку ибо не имеет отношения к клику

@blinkovivan а можно вот такое реализовать в ODBC? https://github.com/Microsoft/DataConnectors/blob/master/docs/odbc.md

и еще почемуто шлюз Power BI не видит коннектор

Сообщение о базовой ошибке: ODBC: ERROR [IM002] [Microsoft][ODBC Driver Manager] Data source name not found and no default driver specified DM_ErrorDetailNameCode_UnderlyingHResult: -2147467259 Microsoft.Data.Mashup.ValueError.DataSourceKind: Odbc Microsoft.Data.Mashup.ValueError.DataSourcePath: dsn=clickhouse_ansi Microsoft.Data.Mashup.ValueError.Reason: DataSource.Error

Подскажите пожалуйста alter table для shard таблиц нужно делать для каждой ноды отдельно а потом сделать alter table on cluster для distibuted таблиц?

Если речь про добавить/удалить столбец, то нужно выполнить его для каждой таблицы с данными (или для одной реплики каждого шарда, если используется репликация), а потом выполнить тот же ALTER для каждой Distributed таблицы. Оба шага можно делать либо вручную, либо с помощью ON CLUSTER.

и еще почемуто шлюз Power BI не видит коннектор

насколько я помню кто-то писал, что у него получалось из Power BI подключиться точно всё корректно сконфигурировано и используются самые свежие драйвера и clickhouse-server?