если вставка в distributed была когда был этот хост отключен то да, это "накопилось"

Спасибо.

А есть способ создать массив определенного размера? Например у меня есть значение 42 (Int64) и мне нужно создать массив этих значений размером 10: [42, 42, 42, 42, 42, 42, 42, 42, 42, 42]

SELECT arrayMap(x -> 42, range(10)) AS a ┌─a───────────────────────────────┐ │ [42,42,42,42,42,42,42,42,42,42] │ └─────────────────────────────────┘

SELECT arrayMap(x -> 42, range(10)) AS a ┌─a───────────────────────────────┐ │ [42,42,42,42,42,42,42,42,42,42] │ └─────────────────────────────────┘

Спасибо :)

класс

а как лучше поставить clickhouse-client на macbook?

проще использовать через докер docker run -it --host=net yandex/clickhouse-client

Выше были попытки собрать кликхаус под macOS, возможно у кого-то уже есть и нативный клиент

проще использовать через докер docker run -it --host=net yandex/clickhouse-client

круто, спасибо!

я через DataGrip подключаюсь)

Спасибо :)

еще есть replicate(42, range(10))

а если в какой-нибудь vim-mcedit вставлять то все норм ?

Написал issue: https://github.com/yandex/ClickHouse/issues/2211

а как лучше поставить clickhouse-client на macbook?

в принципе, под macOS сейчас кликхаус собирается нормально

но требуется очень много времени и места

даже просто клиент?

у меня есть только довольно старая сборка под мак, я бы не рекомендовал её использовать

клиент и сервер это один бинарь :)

а как лучше поставить clickhouse-client на macbook?

v1.1.54343 под мак, самая последняя стабильная не собралась https://github.com/arduanov/homebrew-clickhouse

а как лучше поставить clickhouse-client на macbook?

как вариант можно этим клиентом https://github.com/filimonov/chc или этим https://github.com/hatarist/clickhouse-cli

там не все идеально, но в некоторых моментах даже лучше чем оригинальный (например есть autocompletion)

во мощь коммьюнити.

Читаю спеку для Distibuted таблиц https://clickhouse.yandex/docs/ru/table_engines/distributed/ , абзац про весы шардов : Для выбора шарда, на который отправляется строка данных, вычисляется выражение шардирования, и берётся его остаток от деления на суммарный вес шардов. Строка отправляется на шард, соответствующий полуинтервалу остатков от prev_weights до prev_weights + weight, где prev_weights - сумма весов шардов с меньшим номером, а weight - вес этого шарда. Например, если есть два шарда, и у первого выставлен вес 9, а у второго 10, то строка будет отправляться на первый шард для остатков из диапазона [0, 9), а на второй - для остатков из диапазона [10, 19). "а на второй - для остатков из диапазона [10, 19)" - тут разве не дожен быть полуинтервал [9,19 ) ?

даже просто клиент?

сейчас есть возможность собрать именно один клиент но зависимостей у него всеравно большая часть сервера

а можно ли у КХ настроить flush-интервал к диску?

еще есть replicate(42, range(10))

?

какая-то непонятная фигня, все версии КХ свежее чем 1.1.54327 падают на mysql словарях на ядрах 4.9.51-1 Запускаю в lcx контейнере, причем не важно какой контейнер debian8 или 9, попробовал все версии mysql / maria/percona клиентов, упорно получаю Malformed packet <Error> ExternalDictionaries: Cannot create external dictionary 'test_dict' from config path /etc/clickhouse-server/dict/test_dict.xml: Poco::Exception. Code: 1000, e.code() = 2027, e.displayText() = mysqlxx::BadQ uery: Malformed packet (mysqlhosttest:3306), e.what() = mysqlxx::BadQuery https://pastebin.com/rxAUuWdA Проблема только с КХ, из mysql (клиент) теже запросы выполняются без проблем.

а если собрать на тойже системе?

а если собрать на тойже системе?

сейчас попробую. Но проблема что gcc-7 тоже придется собирать.

У Вас Debian?

Сорри

Не видел

Собирать будете на Debian 9?

Собирать будете на Debian 9?

да, а что?

Могу поделиться готовым пакетом gcc-7 под stretch. Но, как говорится, на свой страх и риск :)

Но можете и время сэкономить :)

Или могу поделиться bash, который собирает gcc-7 :)

да, буду благодарен, я готов рискнуть, мне только КХ собрать и проверить поможет или нет.

сколько времени gcc собирается? 12 ядер/32 гига?

Сегодня-завтра выложу пакеты куда-нибудь и напишу Вам в личку

У нас непубличный репозиторий к сожалению

А баш тоже непубличный (pastebin) Ну и спасибо. Буду ждать.

Не - баш пожалуйста :)

Минуту

https://pastebin.com/ZSDAvJH3

Я как тут видно немного считерил - взял dsc из sid Но собирается

OK. спасибо, попробую.

Не за что

Да, ему нужен binutils чуть свежее

https://pastebin.com/XhpqnX3N

Чем сейчас есть или был в stretch

сколько времени gcc собирается? 12 ядер/32 гига?

Вы знаете - не помню

Но точно не дни - часы :D

это тоже "стабильная" система с софтом выпущеным 10 лет назад?

Вы про Debian? :)

вот первый раз за 20 лет с линуксом работаю с дебианом, на текущем месте работы один сплошной дебиан, а шо делать?

снести и поставть freebsd конечно

я думаю примерно в 15 хостингах из 20, будут несколько удивлены идее поставить freebsd и драйвера тупо не найдут для некоторых железок.

Мы - люди подневольные

@den_crane Вы только внимательнее со сборкой - у меня помнится в сборочном скрипте не очень старой версии КХ было написано что-то а-ля "which gcc-6", хотя дока была про 7й уже. Лучше с разработчиками посоветоваться.

@den_crane Вы только внимательнее со сборкой - у меня помнится в сборочном скрипте не очень старой версии КХ было написано что-то а-ля "which gcc-6", хотя дока была про 7й уже. Лучше с разработчиками посоветоваться.

да спасибо, я КХ-то собирал уже несколько раз, но на убунта-сервер, разберусь. по скрипту вот доставил уже (nvptx из sid) wget http://ftp.us.debian.org/debian/pool/main/n/nvptx-tools/nvptx-tools_0.20180301-1_amd64.deb dpkg -i nvptx-tools_0.20180301-1_amd64.deb apt-get install dpkg-dev debhelper patchutils quilt

можете тогда и gcc-7 из сида попробовать наверное...

nvptx это маленький скрипт вроде. попробовать можно gcc-7 из сида, но что-то я сомневаюсь, там поди зависимостей пол сида. в общем начал gcc7 собираться

а binutils новый собрался? без него гцц 7 у меня не собирался...

@milovidov_an, доброй ночи! :) А планируется ли сделать для nested колонок нечто подобное: select visitId, goal.* from visits array join goals as goal ? Т.е. что бы через * можно было селектить все соедржимое nested колонки?

@milovidov_an, доброй ночи! :) А планируется ли сделать для nested колонок нечто подобное: select visitId, goal.* from visits array join goals as goal ? Т.е. что бы через * можно было селектить все соедржимое nested колонки?

Давно хочу сделать. Уже проверял вариант, в котором так сделано, но пока не закончено.

Давно хочу сделать. Уже проверял вариант, в котором так сделано, но пока не закончено.

Это жизнь многим упростит! :)

Будем ждать! Спасибо!

Подскажите, пожалуйста, можно ли обновить список словарей (в моем случае - удалить ненужные) без рестарта инстанса CH? Спасибо

А, нашел > Словари могут обновляться без перезапуска сервера. Но набор доступных словарей не обновляется.

Приветик! разворачиваем кластер. можно ли пилить на виртуалках ? или производительность будет намного хуже?

делайте, только vmware-tools поставьте или open-vm-tools

Спасибо

Приветик! разворачиваем кластер. можно ли пилить на виртуалках ? или производительность будет намного хуже?

да у нас на виртуалках

Подскажите пожалуйста, как лучше хранить параметры http урлов? Может есть какие устоявшиеся паттерны ? Хочется 1. уметь искать самые частые сочетания параметров для конкретного урла 2. использовать значения параметров в условиях выборки урлов 3. минимизировать объем дискового хранилища Я придумал только вложенную таблицу, где на каждый тип параметра отдельное поле

Подскажите пожалуйста, как лучше хранить параметры http урлов? Может есть какие устоявшиеся паттерны ? Хочется 1. уметь искать самые частые сочетания параметров для конкретного урла 2. использовать значения параметров в условиях выборки урлов 3. минимизировать объем дискового хранилища Я придумал только вложенную таблицу, где на каждый тип параметра отдельное поле

мб весь урл стрингом?)

Приветик! разворачиваем кластер. можно ли пилить на виртуалках ? или производительность будет намного хуже?

А почему не контейнеры? Оверхед меньше и все немного проще

мб весь урл стрингом?)

это упадничество)

это упадничество)

ну не знаю, мне норм. все задачи решаются через функции: https://clickhouse.yandex/docs/en/single/#extracturlparameterurl-name

А почему не контейнеры? Оверхед меньше и все немного проще

Я не разбираюсь :) Пришли технари и спросили, вам виртуалки подойдут? да/нет)

ну не знаю, мне норм. все задачи решаются через функции: https://clickhouse.yandex/docs/en/single/#extracturlparameterurl-name

а какие у Вас объемы? очень строчки длинные, боюсь места много надо будет я хотел бы хранить ~50 * 10^9 строчек и при этом влезть в 0,5-0,8TB а параметров бывает до 2KB на 1 запрос,в разжатом виде)

а какие у Вас объемы? очень строчки длинные, боюсь места много надо будет я хотел бы хранить ~50 * 10^9 строчек и при этом влезть в 0,5-0,8TB а параметров бывает до 2KB на 1 запрос,в разжатом виде)

в месяц ~2млрд строк так а если вы эти строчки разложите по полям у вас разве получится сэкономить объем?

в месяц ~2млрд строк так а если вы эти строчки разложите по полям у вас разве получится сэкономить объем?

если очень много одинаковых данных то да

если однотипные то согласен

я только не понимаю, насколько хорошо сжимаются массивы например, что лучше — хранить столбец со строками, или столбец с массивами строк, порезанных по разделителю ?

Подскажите, пожалуйста, как работает ODBC-драйвер сейчас? Кто пользуется. Есть ли проблемы?

zabbix прекрасно селектит из кх через odbc, проблем нет, centos 7

Подскажите, пожалуйста, как работает ODBC-драйвер сейчас? Кто пользуется. Есть ли проблемы?

под винду так и не смог завести, плюнул и использую http, все хорошо

понятно, спасибо). мы сейчас используем компоненты визуализации DevExpress (возможно, кто-то трогал), там очень просто создавать dashboard к любым источникам, вот думаю, нужно ли кардинально менять dashboard, в случае если я захочу делать витрины на clickhouse.

но, видимо, надо методом проб и ошибок.

после включения distributed_ddl перестали создаваться таблицы с произвольным ключом партиционирования: Syntax error: failed at position 338 (line 14, col 1): CREATE TABLE db.table_local ON CLUSTER repl ( date Date, page_id UInt64, project String, account String, tag_id UInt64, revenue UInt64, shows UInt64, clicks UInt64, type String ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/table_local', '{replica}') PARTITION BY date ORDER BY (page_id, account, tag_id, date) SETTINGS index_granularity = 8192 Expected one of: INTO OUTFILE, FORMAT подсвечивает PARTITION версия 1.1.54343