не исключено, что localhost у вас разолвится в ::1

> (localhost:9000, ::1) похоже на ipv6

ping localhost PING localhost (127.0.0.1) 56(84) bytes of data. 64 bytes from localhost (127.0.0.1): icmp_seq=1 ttl=64 time=0.013 ms

в конфигах сервера убрана строчка ipv6

ping почти вcсегда - ipv4 only

ping localhost PING localhost (127.0.0.1) 56(84) bytes of data. 64 bytes from localhost (127.0.0.1): icmp_seq=1 ttl=64 time=0.013 ms

это некорректная проверка резолвинга.

потому что в линуксе он ipv4

а для ipv6 есть ping6

мне нужен сетап без ipv6

в конфигах сервера убрана строчка ipv6

это вывод клиента, который пытается ipv6 использовать, судя по ::1

а для ipv6 есть ping6

getent hosts localhost ?

а зачем убирать ipv6 ? лучше убрать ipv4 и v4 продолжит работать через v6

getent hosts localhost ::1 localhost ip6-localhost ip6-loopback

все понятно

хосты нужно прописать

спс!!

не лучшее решение. ну ладно

хосты были прописаны 127.0.0.1 localhost 127.0.1.1 ubuntu

убрал из хостов ipv6 заработало

подскажите initdb() можно делать несколько раз? это безопасно?

А чем не годится cache?

Да, так возможно лучше чем ничего. Спасибо.

подскажите initdb() можно делать несколько раз? это безопасно?

из инит скрипта убунты? можно, если никаких специальных прав руками не было выставлено

и он при каждом запуске выполнятся

как разложить данные по дневным партициям? данных за день пару лямов полей 4-5 все числа

сейчас он разложил так │ 201705 │ 20170501_20170525_2_12578_11 │ 2017-05-01 │ 2017-05-25 │ │ 201705 │ 20170501_20170525_12582_24358_11 │ 2017-05-01 │ 2017-05-25 │ │ 201705 │ 20170501_20170525_24362_35070_11 │ 2017-05-01 │ 2017-05-25 │ │ 201705 │ 20170501_20170527_35074_40468_11 │ 2017-05-01 │ 2017-05-27 │ │ 201705 │ 20170524_20170527_40470_43970_10 │ 2017-05-24 │ 2017-05-27 │ │ 201705 │ 20170524_20170525_43972_62224_2410 │ 2017-05-24 │ 2017-05-25 │ │ 201705 │ 20170525_20170525_62226_62232_1 │ 2017-05-25 │ 2017-05-25 │

CREATE TABLE IF NOT EXISTS dashboard_widget ( EventDate Date default toDate(ts), ts DateTime, _name String, _value String, _count Int16, _sweight Int16 ) ENGINE = MergeTree(EventDate, (_name, EventDate), 8192)

Сейчас поддерживаются только партиции по месяцу. Можно эмулировать дневные партиции, создавая новую таблицу на каждый день.

тогда будем использовать по месяцу

при данном скрипте создания и запросе select count() as rows, sum(_count) as _count, sum(_sweight) as _sweight from dashboard_widget where _name = 'test103' поле _name будет эффективно использоваться для поиска?

Да

Оно же индексе на первом месте

есть какойто вариант чтобы данные хранились только сутки?

Пока только через отдельную таблицу на каждый день.

Обязательно сделаем произвольное партиционирование, но задача довольно обширная...

А правильно ли я понимаю что distributed таблицы берут данные с других серверов кластера используя юзера default?

По умолчанию пользователь default, но можно указать в настройках кластера

А можно примерчик?

Указывается вот так <replica> <host>HOST</host> <port>9000</port> <user>user</user> <password>passwd</password> </replica>

.

спасибо!

Кликхаус скачивает словари, записи то в словарь нет

Вообще говоря, можно сделать таблицу на Кликхаусе и на нее же сконфигурировать словарь

реплицируется ли запрос DROP TABLE? В старой документации явно сказано, что нет, однако, в новой я такого не нашел.

движок replicated merge tree

Не реплицируется - DROP TABLE удаляет одну реплику.

спасибо

Вообще говоря, можно сделать таблицу на Кликхаусе и на нее же сконфигурировать словарь

О том и речь. Да, если отставать будет - не хорошо, но не смертельно. А вот вставки в 3 присеста хотелось избежать. Но тут либо кастоме функции, либо не кастомные, но тут много вопросов тоже.

Добрый день, скажите пожалуйста сделал бэкапирование данных из КХ. Но заметил что размер бэкапов отличается существенно. Такое чувство что во время процесса не все гладко пошло и в архив вошли не все данные. Копирую в режиме рабочего сервера data данные , перед этим выполнив запрос ALTER TABLE $TABLE FREEZE PARTITION '2'. Может кто что подскажет ?

Как с полной увереностью делать полный бэкап при работающем сервере, к которому идут запросы?

подскажите, нет ли возможности задать кастомный формат даты? например YYYY-MM вариант с toYear(date), toMonth(date) немного не нравится, потому что возвращает месяц без ведущего нуля

Подскажите пожалуйста, как принудительно перезагрузить один (выборочно) внешний словарь?

подскажите, нет ли возможности задать кастомный формат даты? например YYYY-MM вариант с toYear(date), toMonth(date) немного не нравится, потому что возвращает месяц без ведущего нуля

Возможно вам подойдет toStartOfMonth(Date) она конечно добавляет первый день месяца, зато с мсяцами все ок

Возможно вам подойдет toStartOfMonth(Date) она конечно добавляет первый день месяца, зато с мсяцами все ок

спасибо, это вполне подойдет

@milovidov_an Может вы ответите что нибудь на счет бэкапов ?

День добрый, подскажите как правильно в Clickhouse сделать аналог такого запроса: SELECT RecordId, Note, Version FROM ( SELECT RecordId, Note, Version, ROW_NUMBER() OVER (PARTITION BY RecordId ORDER BY Version DESC) AS Rank FROM Objects ) WHERE Rank = 1

Типа получить все последние версии объектов

select recordid, argMax(note, Version), max(Version) from Objects group by recordid;

О! Спасибо большое!

Добрый день! Есть ли возможность выключить проверку дедупликации в replicated таблицах? Т.е. идут строки данных иногда идентичные в ReplicatedSummingMergeTree. Получается часть информации теряется..

а, дедуплицируются блоки, а не единичные строки, сори, вопрос отпал :)

добрый день при запуске запроса OPTIMIZE TABLE table выдает ошибку DB::Exception: File access error: directory not empty: /opt/clickhouse//data/db/table/tmp_20380101_20380101_962147_1027891_1. чтобы это могло означать ?

что с правами на файл?

файла такого там даже нет

директория доступна на запись

А в кликхаусе кажется нету аггрегатной функции для массивов?

Я делаю запрос select пачка_полей group by name

одно из полей - массив чисел

желаемый результат - смержить массивы с удалением дубликатов

А в кликхаусе кажется нету аггрегатной функции для массивов?

> К имени любой агрегатной функции может быть приписан суффикс -Array

> К имени любой агрегатной функции может быть приписан суффикс -Array

да я еще и не могу найти такую агрегатную функцию которая сделает join но удалит повторения

кажется что без этого будет anyArray

SELECT groupUniqArrayArray(x) FROM ( SELECT [1, 2] AS x UNION ALL SELECT [1, 3] UNION ALL SELECT [2, 3] )

о, да, я о таком не подумал

Да, MATERIALIZED для Distributed таблиц плохо работает.

С учетом этого, встал вопрос, какой вариант выбрать: Timestamp DateTime, TruncatedTimestamp DateTime DEFAULT toStartOfFiveMinute(Timestamp) или Timestamp DateTime, TruncatedTimestamp DateTime MATERIALIZED toStartOfFiveMinute(Timestamp) при создании таблицы Кто какие проблемы/преимущества видит?

С учетом этого, встал вопрос, какой вариант выбрать: Timestamp DateTime, TruncatedTimestamp DateTime DEFAULT toStartOfFiveMinute(Timestamp) или Timestamp DateTime, TruncatedTimestamp DateTime MATERIALIZED toStartOfFiveMinute(Timestamp) при создании таблицы Кто какие проблемы/преимущества видит?

у нас в локальных таблицах DEFAULT, в distributed – MATERIALIZED. всё работает хорошо.

а в чем прелесть MATERIALIZED? в том, что не надо перечислять все нужные колонки при инсерте?

в общем нашел комент Алексея по этой теме в гуглгрупс

сейчас решим

еще такой вопрос

вот у нас есть поля Timestamp и TruncatedTimestamp (начало каждой 5-ой минуты)

как я понимаю TruncatedTimestamp в индексе будет очень эффективным селектором?

если нас устраивает такой грубый шаг

верно?

эта колонка принимает меньше значений, лучше сжимается, быстрее читается.

колонка понятно

но как она ведет себя в PK

под индексом я подразумевал праймари кей

даст это ощутимое преимущество?

Если условия всегда будут выровнены на начало пятой минуты, разницы не будет. Если нет - индекс на Timestamp будет лучше.

т.е. получается, что смысла в таком поле TruncatedTimestamp в таблице нет?

Смысл есть, если вы не читаете точный Timestamp в запросе, а используете только обрезанный. Так вы будете читать меньше данных.

Вроде как уловил

А есть какой-то редактор запросов для Clickhouse для конечных пользователей?) Ну там с перетаскиваением плашечек и вообще user-friendly интерфейсом...

tabix.io ?

Ничеси