возможно разумнее положить в fixed string 16 или fixed string + флаг на ipv4/ipv6?

Uint и функции типа IPv4NumToString и обратно

https://clickhouse.yandex/reference_en.html#Functions for working with IP addresses

у нас есть и ipv6

мы раскладываем в отдельные столбцы - в4, в6 и флажок про протокол

разработчики подтверждали, что это ОК

ты хочешь в одном поле и то и то хранить?

у нас тоже uint32+fixedstring(16)

ты хочешь в одном поле и то и то хранить?

я не знаю, как правильнее и благоразумнее, потому что в данный момент я вообще просто складываю. Там можно найти и такой треш, как 10.0.75.15, 195.43.32.10 =)

мы раскладываем в отдельные столбцы - в4, в6 и флажок про протокол

короче, разумнее раскладывать, ок.

я просто планирую очередную миграцию структуры и это слегка беспокоит =)

почему бы не хранить все в ipv6 fixed string 16 а для ipv4 использовать стандартный префикс ::ffff:

есть IPv4 mapped on IPv6

и тогда невозможно отличить, го этой проблемой страдает, что хранит все в слайсе битово и хрен отличишь :/

На тему PREWHERE. Не может быть такого, что при наличии достаточного большого числа записей удовлетворяющих выражению в PREWHERE, Clickhouse просто обходит все данные?

Нашёл кажется ответ — проблема была в index_granularity. PREWHERE, насколько я понимаю, грузит куски содержащие true не менее чем по index_granularity строчек (поправьте, если ошибаюсь). В случае, если записей много и они распределены равномерно по порядку сортировки первичного ключа, WHERE действительно не будет отличаться от PREWHERE. Если уменьшить index_granularity — различие появляется. :)

/stat@combot

combot.org/chat/-1001080295593

А чего твиттер неживой?;(

потому что русскоязычная аудитория не очень к твиттору?

но я пинал как мог, ты видел)

> А чего твиттер неживой?;( Его завели на всякий случай, без конкретных планов по использованию. Сейчас мы ещё не начали его использовать.

Добро пожаловать, 666 участник)

раз уж моё появление привлекло внимание... с точки зрения админа, есть ли какие-то интересные моменты в кликхаусе? или docker run и забыл?

https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt

Коллеги, а есть в кликхаусе арифметическая (именно арифметическая, а не агрегатная функция), которая возвращает максимум двух значений типо greatest в Oracle http://oracleplsql.ru/greatest-function.html

https://clickhouse.yandex/reference_ru.html#greatest(a,%20b)

большое спасибо

кто Superset пробовал. чем там все закончилось?

кто Superset пробовал. чем там все закончилось?

там вроде пул-реквест до сих пор не приняли

а, ошибся. приняли уже

не могу найти, какой?

https://github.com/airbnb/superset/pull/1844

Господа, такой вопрос - где кликхаус сервер хранит информацию о имеющихся базах и таблицах? Настроил в докер контейнере подключение папки /opt/clickhouse/data снаружи, создаю бд, создаю таблицы, они появляются в папке - но при пересоздании контейнера кликхаус перестаёт видеть эти папки, и ругается что базы данных нет, да и таблиц в ней тоже.

/var/lib?

недавно поменяли дефалтное место хранения на /var/lib.

в конфиге должно быть указано

<!— Path to data directory, with trailing slash. —> <path>/opt/clickhouse/</path>

Он создаёт по этому адресу папку с названием бд, и в ней папки с названиями таблиц, но при перезапуске контейнера не видит их

примонтируйте как volume

иначе содержимое контейнера сбрасывается

Они так и примонтированы

Лежат на хост машине физически

Причём, если создать бд и таблицу заново, в ней видны старые значения

Нашёл, надо после старта сервера выполнить команду attach

причём, для каждой таблицы. С её полным описанием. Жесть.

че-т это странно

как создаете/поднимаете контейнер?

Господа, такой вопрос - где кликхаус сервер хранит информацию о имеющихся базах и таблицах? Настроил в докер контейнере подключение папки /opt/clickhouse/data снаружи, создаю бд, создаю таблицы, они появляются в папке - но при пересоздании контейнера кликхаус перестаёт видеть эти папки, и ругается что базы данных нет, да и таблиц в ней тоже.

монтировать надо не /opt/clickhouse/data, а /opt/clickhouse

в противном случае нету папки metadata, в которой как раз и есть все create db, attach table

О, то есть, мне нужно только изменить монтирование папки?

Сейчас попробую, спасибо, а то я уже печалиться начал из за аттача

Контейнер перестал подниматься))

Если в volumes - ./clickhouse/data:/opt/clickhouse/data - всё работает. Если добавляю - ./clickhouse/metadata:/opt/clickhouse/metadata или заменяю на - ./clickhouse:/opt/clickhouse - exit 70

Нужно монтировать именно /opt/clickhouse

А есть права на запись в директорию на хосте?

И ещё tmp_path в конфиге проверьте (должно быть /opt/clickhouse/tmp/).

добрый день вопрос по JOIN я правильно понимаю что он не работает по имени таблицы а только по подзапросу?

в смысле? имя таблицы указывать в родительском запросе бесполезно, да. можно столбцы переименовывать в правой таблице через подзапрос

у меня просто при попытке приджойнить distributed таблицу ругается что такой нет в БД default при этом при создании таблицы БД указана верно например select ... from ... any inner join events using .... не работает. пишет нет таблицы default.events select ... from ... any inner join stats.events using .... не работает. пишет нет таблицы stats.stats.events но select ... from ... any inner join (select * from stats.events) using .... работает

а если сделать GLOBAL JOIN?

да, так работает. спасибо )

как выбрать одно из ненулевый значений из двух колонок?

Попробуйте использовать функцию if

Разобрался с контейнером. Если в папке metadata нет дефолтных папок - сервер умирает.

а почему там нет дефолтных папок? о_О

я заносил на это баг когда-то. вроде чинили

Там их не было, потому что я линковал внутрь пустую папку metadata, при первом создании контейнера

Добрый вечер, коллеги.

Там их не было, потому что я линковал внутрь пустую папку metadata, при первом создании контейнера

а отдельную папку лучше не линковать. лучше только config & data директории

а отдельную папку лучше не линковать. лучше только config & data директории

Вы имеете в виду папку с метаданными? Но если её не линковать, кх в контейнере после перезапуска контейнера не видит бд и таблицы

вы сейчас говорите что пытаетесь монтировать отдельно /opt/clickhouse/data/ & /opt/clickhouse/metadata, а не целиком /opt/clickhouse, или в новых сборках /var/lib/clickhouse ?

Я и так и так пытался)

https://hub.docker.com/r/yandex/clickhouse-server/~/dockerfile/

т.е. у меня это выглядит docker run -d —name=clickhouse —net=host —restart=always -v /data/clickhouse/data:/opt/clickhouse -v /data/clickhouse/config:/etc/clickhouse-server yandex/clickhouse-server:1.1.54198

https://hub.docker.com/r/roistat/clickhouse/

Last pushed: a year ago

используйте официальный image. он хороший

и новый)

Я вот этот образ брал, ну и конфиг компостера оттуда. Уже не помню, чём мне официальный не подошёл

Надо будет попробовать поднять официальный

ну или свой собирайте на основе официального как тут https://github.com/crobox/docker-clickhouse

https://blog.cloudflare.com/how-cloudflare-analyzes-1m-dns-queries-per-second/

> it wasn’t possible to hot-swap just the faulty disks, and second the array rebuild took tens of hours which degraded I/O performance.

золотые слова

когда уже прекратят эти тормозные рейды пихать куда ни попадя

в этом плане важный момент, чтобы база сама корректно хендлила данный кейс

часто при сбое диска линукс встает колом и увы, продолжить работу корректно уже никак не выходит

Могут быть проблемы, в том числе и с рейдами тоже. Например, было пара случаев, когда файловая система повреждается, и в случайном месте readdir превращается в бесконечный цикл. Как правило, clickhouse-server всё-таки быстро перестаёт принимать запросы и запросы перестают идти на конкретный сервер. Также в последних ревизиях была добавлена функциональность отключения отстающих реплик при распределённых запросах, что позволяет быстрее убирать из нагрузки проблемные серверы.

ребят, доброе утро. только начал экспериментировать с ch, прошу терпеливо направить: Нужно настроить перекладку записей из имеющейся продуктивной MS SQL базы в таблицу CH. На данный момент хочу делать это раз в минуту (за 60 секунд в источнике генерируется ~19к строк). После некоторого тюнинга запроса на MSSQL инстансе он выполняется за 15-30 секунд (приходится джойнить две толстые таблицы), в зависимости от загрузки сервера. 1 секунда уходит на складывание PIVOT-ом пары строк в одну вида [date],[timestamp_utc],[metric.1],[metric.2] всё это генерируется на стороне MSSQL сервера - windows server. Какие есть годные варианты, чтобы максимально быстро сложить результирующий CSV в таблицу CH? Пока успел попробовать только передавать через web-морду по 1000 строк curl-ом - ооочень медленно. Поглядел на Go либу - она вроде только через web работает.. Может, я невнимательно читал документацию и задачу записи через web-interface я мог бы распараллелить? Engine = MergeTree