а можете подсказать как можно в условии использовать arrayFilter ?

как можно использовать arrayFilter чтобы что

приветствую, подскажите пожалуйста, как делать поиск в массиве Array(Int64) ? Или нужно делать только arrayJoin и тогда искать?

https://clickhouse.yandex/docs/ru/single/#hasarr-elem

уже нашел эту функцию, получилось как то так: select event_date, …., has(arr, 1) as exist from table where exist = 1

или есть более корректный способ?

да, нашел ? where has(arr, 1) = 1 ?

спасибо

Подскажите, а есть способ одной ф-цией проверить число на nan и заменить на 0? Сейчас получаются длинные выражения в селект ах вроде isNan(формула)?0:(опять таже формула)

в главе про ReplicatedMergeTree написано про идемпотентность INSERT. я правильно понял, что для обычного MergeTree это тоже справедливо?

нет, только для replicated.

спасибо

тем, что у буфера есть счетчики байт и строк, можно было бы туда и напрямую смотреть

что-то вроде SHOW TABLE STATUS ?

На версии 1.1.54337 никак нельзя перечитать макросы из конфига кроме как перезапуск серверов? автоматом только с версии 1.1.54370?

что-то вроде SHOW TABLE STATUS ?

My thanks

Господа, можно как-то у кликхаус-клиента установить временную зону?

TZ=UTC clickhouse-client --use_client_time_zone=1 как-то так

/stat

combot.org/chat/-1001080295593

Надеюсь не нарушу правила чатика, но, у нас вакансия админа: нужен админ (не шурум-бурум в кубернетис завернул), из задач: оптимизация по железу (привет sysctl) и пинание нас разработчиков чтоб мы не выпускали абы-что, а хоть чутка думали, и автоматизация (тут тоже больше пинание нас чтоб сами делали правильные плейбуки). Локация на Кипре: перевозим, кормим и визы делаем.

что-то не могу установить CH на ubuntu 18.. кто-то знает что с этим можно сделать? sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 Executing: /tmp/apt-key-gpghome.X2HkPT79Cm/gpg.1.sh --keyserver keyserver.ubuntu.com --recv E0C56BD4 gpg: keyserver receive failed: Server indicated a failure

Мне тут стрельнула задача... Нада бы как-то хранить dict с возможностю выборок по ключу/значению...

что-то не могу установить CH на ubuntu 18.. кто-то знает что с этим можно сделать? sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 Executing: /tmp/apt-key-gpghome.X2HkPT79Cm/gpg.1.sh --keyserver keyserver.ubuntu.com --recv E0C56BD4 gpg: keyserver receive failed: Server indicated a failure

не пользуюсь убунтой 18... Но в качестве запасного варианта можешь рассмотреть сборку из исходников или запуск в докере.

что-то не могу установить CH на ubuntu 18.. кто-то знает что с этим можно сделать? sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 Executing: /tmp/apt-key-gpghome.X2HkPT79Cm/gpg.1.sh --keyserver keyserver.ubuntu.com --recv E0C56BD4 gpg: keyserver receive failed: Server indicated a failure

Вот недавно мучался, там надо явно указать протокол и порт. Сейчас скину как

что-то не могу установить CH на ubuntu 18.. кто-то знает что с этим можно сделать? sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 Executing: /tmp/apt-key-gpghome.X2HkPT79Cm/gpg.1.sh --keyserver keyserver.ubuntu.com --recv E0C56BD4 gpg: keyserver receive failed: Server indicated a failure

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4

огонь! спасибо)

огонь! спасибо)

Пожалуйста!

друзья, а есть ли возможность настроить работу КХ через сокеты?

А чем грозит такое? Couldn't start replication: DB::Exception, DB::Exception: Replica /clickhouse/tables/1/tbl_replicated/replicas/node0 appears to be already active. If you're sure it's not, try again in a minute or remove znode /clickhouse/tables/1/tbl_replicated/replicas/node0/is_active manually, stack trace:

А чем грозит такое? Couldn't start replication: DB::Exception, DB::Exception: Replica /clickhouse/tables/1/tbl_replicated/replicas/node0 appears to be already active. If you're sure it's not, try again in a minute or remove znode /clickhouse/tables/1/tbl_replicated/replicas/node0/is_active manually, stack trace:

Я так понял, что было аварийное отключение сервера

Нужно ручками шлепнуть в зукипере указанный путь

Сейчас для нескольких таблиц в зк такие исключения стабильно пишутся, погуглил - говорят, пока INFO, не стоит волновться. КХ такое обрабатывает на своей стороне, я так понимаю? То есть имеет смысл просто очистить эти пути и посмотреть, наладится ли?

друзья, а есть ли возможность настроить работу КХ через сокеты?

Через unix socket - нет.

Насколько опасно такое в логах? 2018.06.06 15:38:02.863325 [ 108495 ] <Error> carrierAppFirstStarted.Distributed.DirectoryMonitor: Code: 225, e.displayText() = DB::Exception: Received from 10.253.248.105:9000. DB::Exception: ZooKeeper session has been expired..

Это штатная работа, не опасно.

Сейчас для нескольких таблиц в зк такие исключения стабильно пишутся, погуглил - говорят, пока INFO, не стоит волновться. КХ такое обрабатывает на своей стороне, я так понимаю? То есть имеет смысл просто очистить эти пути и посмотреть, наладится ли?

Это значит, что не более 30 секунд назад (более точно - таймаута сессии с zk) реплика была активна и сервер не был остановлен штатным образом; или активна и работает сейчас. Ничего делать не надо. Либо через 30 секунд проблема исчезнет. А если нет - значит реплика с таким же идентификатором уже запущена где-то ещё, и вам придётся с этим разобраться.

Понял, спасибо, буду разбираться. Реплика запущена - в смысле нода КХ? То есть если конфигурация нод не менялась, то либо сообщения пропадут сами собой, либо нужно смотреть дальше?

Да.

Понял, спасибо, буду разбираться. Реплика запущена - в смысле нода КХ? То есть если конфигурация нод не менялась, то либо сообщения пропадут сами собой, либо нужно смотреть дальше?

Есть два примера, когда возникает такое сообщение. 1. Сервер нештатно остановлен (например, kill -9) и затем сразу же запущен заново. В этом случае всё Ок, и через 30 секунд сообщение исчезнет. 2. По ошибке, у вас где-то образовалось две реплицированных таблицы с одинаковым идентификатором реплики. Идентификатор реплики - это второй параметр у ReplicatedMergeTree, он должен быть разным у разных реплик одного шарда. Как такое может быть, ведь просто создать с помощью CREATE TABLE реплику с дублирующимся идентификатором сервер не позволит? Например, такое может получиться, если скопировать все метаданные на другой сервер и попытаться запустить его. В этом случае сообщение не исчезнет, и надо будет исправлять ошибку.

Такого тоже вроде не было, но что в этом случае значит исправлять ошибку? Искать источник дублирования? У меня фиксированные 3 машины, я даже не представляю, как такое может произойти. Единственное нештатное, что приходит на ум - что-то с самим зк, потому что на днях в докерхаб зк перепушили тег (3.4) с изменённым образом. Ошибки не пропадают, попробую искать дублирующиеся данные и их источник

Посмотрите в ZK ноду path/replica/is_active

Первые два элемента пути - из параметров таблицы.

При попытке создания MATERIALIZED VIEW ... TO ... (без POPULATE) ловлю DB::Exception: Allocator: Cannot mremap memory chunk from 4.00 GiB to 8.00 GiB., errno: 14, strerror: Bad address. Никаких операций при этом с таблицей, на которой основана вьюха, не идет. В чем может быть дело? Мне казалось, что создание матвьюхи - не затратная с точки зрения памяти операция.

При этом на сервере около 4Gb свободной оперативки, Clickhouse съедает всю, некоторое время крутится при свободных 100-200 MB, потом кидает исключение. А в логах пусто.

Всем привет! Версия КХ: 1.1.54370. При запуске: optimize table graphite.data_local partition 20180512 final получаю: DB::Exception: Block 17015 in gap between merging parts 20180512_16620_17014_4 and 20180512_17017_19167_5 is not abandoned. Куда начать копать и можно ли починить эту партицию в принципе?

Товарищи, а какой паттерн лучше? писать в 1 базу, а если умрет в другую. Или лучше по очереди писать (то в одну до в другую)?

Всем привет! Столкнулся с проблемой - создаю MATERIALIZED VIEW с движком AggregatingMergeTree и POPULATE - после выполнения запроса вьюха не заполняется полностью. Процентов 5 максимум. При этом если скопировать данные во временную таблицу, очистить основную и заново залить данные - то все ок.

Может кто сталкивался.. куда копать.. данных около миллиарда строк.

Товарищи, а какой паттерн лучше? писать в 1 базу, а если умрет в другую. Или лучше по очереди писать (то в одну до в другую)?

Иметь несколько реплик. Писать в любую живую

Товарищи, а какой паттерн лучше? писать в 1 базу, а если умрет в другую. Или лучше по очереди писать (то в одну до в другую)?

У нас - реплика 3x + балансировщик нагрузки из 2-х nginx перед ними. Уже помогало, однако...

Всем привет! При вставке в шардированную таблицу возникает исключение 2018.06.08 10:47:43.894864 [ 5 ] <Error> HTTPHandler: Code: 225, e.displayText() = DB::Exception: ZooKeeper session has been expired., e.what() = DB::Exception, Stack trace: и потом какое-то время 2018.06.08 10:47:46.775675 [ 151 ] <Error> executeQuery: Code: 242, e.displayText() = DB::Exception: Table is in readonly mode, e.what() = DB::Exception с чем может быть связано, как бороться?

Зукипер может не доступен

А что говорит зукипер?

Ну или что то сломалось

Нет смысла наверно гадать когда можно причину точно посмотреть в логах

зукипер живой, на той же машине

в его логах не вижу подозрительного

Тогда стоит в нём включить дебаг

Всем привет! При вставке в шардированную таблицу возникает исключение 2018.06.08 10:47:43.894864 [ 5 ] <Error> HTTPHandler: Code: 225, e.displayText() = DB::Exception: ZooKeeper session has been expired., e.what() = DB::Exception, Stack trace: и потом какое-то время 2018.06.08 10:47:46.775675 [ 151 ] <Error> executeQuery: Code: 242, e.displayText() = DB::Exception: Table is in readonly mode, e.what() = DB::Exception с чем может быть связано, как бороться?

Проблема никак не коллерирует с аптаймом?

Проблема никак не коллерирует с аптаймом?

ни зукиперы, ни кликхаусы не падали, все запущено

У меня было что-то похожее в логах, со временем в кх подвисло по 100 запросов и исчерпались пулы, после рестарта кх не повторялось

К сожалению не скажу на какой версии

ну у меня через несколько минут само восстановилось

в его логах не вижу подозрительного

Надо смотреть логи кх все таки

ну в них до записи про DB::Exception: ZooKeeper session has been expired долго ничего нет и всё работало

TZ=UTC clickhouse-client --use_client_time_zone=1 как-то так

А если запрос идет по http, то как в таком случае указать timezone?

А если запрос идет по http, то как в таком случае указать timezone?

вроде можно передавать в агрументах, не помню точно

Добрый день! Подскажите, есть какая-то возможность ограничить кол-во потребляемой памяти при создании TEMPORARY TABLE? Столкнулись с тем, что КХ позволяет создать временные таблицы превышающие кол-во доступной памяти и лочит систему.

Версия - 1.1.54343

Народ, как вы делаете риалтайм-аналитику по сегментам юзеров, когда показов сотни мильонов, а у каждого показа сегментов до тысячи?

@milovidov_an , расскажите в общих чертах, как у вас сделано, если не секрет

Народ, как вы делаете риалтайм-аналитику по сегментам юзеров, когда показов сотни мильонов, а у каждого показа сегментов до тысячи?

Широкая таблица с линейной историей, собственно как обычно

Широкая таблица с линейной историей, собственно как обычно

а как в широкую таблицу запихнуть до тысячи сегментов? чтобы селектировать онлайн, быстро. Если под каждый сегмент делать отдельную колонку, то их может быть до 10к, сегменты постоянно создаются удаляются...

а что такое сегменты в данном случае?

а что такое сегменты в данном случае?

+

Что подразумевается под сегментами?

колонки мб?)

мужчины, женщины, до 20, после 20, ...

алкоголик, трудяга, ...

combot.org/chat/-1001080295593

Добрый день. Подскажите, пожалуйста, при операции rename table как работает блокировка? Произошел таймаут при следующем переименовывании: rename table data to old_data; rename table import_data to data; В это время клиенты только читают данные.

видимо, пока селекты и инсерты в data не закончатся

Натолкнулся на такое поведение (на скрине). Таблица такая CREATE MATERIALIZED VIEW rawdata_keys2 ( id FixedString(24)) ENGINE = MergeTree PARTITION BY tuple() ORDER BY id SETTINGS index_granularity = 8192 AS SELECT DISTINCT _id FROM rawdata По исходной таблице оба варианта записи запроса в WHERE находят

В чате что-то такое проскальзывало, но что делать-то?

Заметил странную вещь: опечатался и сделал SELECT count() вместо SELECT version() и он мне вернул 1 вместо ошибки... Версия ClickHouse 1.1.54385

Заметил странную вещь: опечатался и сделал SELECT count() вместо SELECT version() и он мне вернул 1 вместо ошибки... Версия ClickHouse 1.1.54385

в скобках пустая строчка, но она есть :)

Неплохо, что просто select * тоже работает и выдает такое ^

count() - это ж фича, она и в документации есть https://clickhouse.yandex/docs/ru/agg_functions/reference/#count