подскажите почему может появляться ошибка Code: 23, e.displayText() = DB::Exception: Cannot read from istream, e.what() = DB::Exception? Есть шард с двумя репликами. На одной реплике где то 1.5Т данных. На другой реплике данных нет. То есть организовали репликацию. Канал между репликами 10Гбит/с. Я почти уверен, что проблем с железом нет (не наблюдаю не ошибок, ничего). Данные начинают перетикать. В какой то момент трафик вырастает до 8Гбит/с и так это работать может дня два.. толку нуль. На дисках наблюдаю работу как при репликации на других шардах (на двух шардах репликация завершилась успешно в пределах полудня, данных так же 1.5Т). В system.replication_queue вижу очередь с типом GET_PART. Получается данные идут, но крайне мелкими порциями… Есть идеи?

Добрый день. Клик 1.1.54394. Делаю insert select без группировок, сортировки. только выборка по условию день + поле в ключе. Выборка и вставка в distributed таблицу. Лимит по памяти стоит 40 гб ( настройки max_memory_usage / max_memory_usage_for_all_queries) На сервере 52 гб Наблюдаю картину - запрос на протяжении выполнения потребляет примерно 4 гб в пике. Смотрю в htop и контролирую free -m (данные совпадают) смотрю в system.processes наблюдаю что peak_memory_usage / memory_usage для процесса вставки ВСЕ ВРЕМЯ растет вверх. и по факту, через некоторое время, запрос падает с ошибкой DB::Exception: Memory limit (for query) exceeded, хотя памяти завалом. Других запросов на сервере не выполняется. distributed_aggregation_memory_efficient выставлен в 0 Подскажите, это в текущей версии неверный подсчет памяти идет? Или потребление памяти считается по другому?

подскажите, не совсем понял, как работает подстановка в конфигах. например, я хочу вынести настройку zookeeper в отдельный файл. 1. если я в /etc/clickhouse-server создам папку conf.d и положу туда файл zookeeper.xml, кликхаус при загрузке конфигов будет грузить этот файл, правильно? 2. в этом файле zookeeper.xml верхний тэг должен быть <yandex> потом <zookeeper> ? 3. в основном конфиге нужно при этом оставить <zookeeper incl="zookeeper-servers" optional="true" /> или нужно эту строку убрать?

1. Верно. Правда я рекомендую называть директорию не conf.d, а config.d. (или users.d, если надо изменить users.xml) 2. Да. В этом файле структура повторяет структуру конфига. 3. Нет, incl писать не нужно. (Это используется для другого способа подстановок - из файла /etc/metrika.xml)

вродь на старых версиях клика такого не наблюдал...

Суть проблемы: Вычисляемое ClickHouse потребление памяти при INSERT SELECT больше, чем на самом деле. Мы наблюдали такое поведение в разных версиях ClickHouse. Это объясняется тем, что иногда выделение памяти делается в контексте запроса, а освобождение памяти - в другом контексте. При INSERT SELECT выделяется память для индексов новых вставляемых кусков, а освобождается эта память во время фоновых слияний - вне контекста запроса. Конечно подсчёт памяти на запрос при этом получается ошибочным, и если запрос INSERT SELECT выполняется долго, то накапливается большая разница. В этом случае нормально просто увеличить лимит для одного запроса.

Суть проблемы: Вычисляемое ClickHouse потребление памяти при INSERT SELECT больше, чем на самом деле. Мы наблюдали такое поведение в разных версиях ClickHouse. Это объясняется тем, что иногда выделение памяти делается в контексте запроса, а освобождение памяти - в другом контексте. При INSERT SELECT выделяется память для индексов новых вставляемых кусков, а освобождается эта память во время фоновых слияний - вне контекста запроса. Конечно подсчёт памяти на запрос при этом получается ошибочным, и если запрос INSERT SELECT выполняется долго, то накапливается большая разница. В этом случае нормально просто увеличить лимит для одного запроса.

Тогда верно ли утверждение что если выделить отдельный сервер, на котором будут только дистрибьютед таблицы и запустить на нем запрос то на нем не будет такой ошибки? Так как на нем не будет мерджей

Ошибки будут на удалённых серверах, куда будет производить вставку Distributed таблица.

Добрый день. Настройки из users.xml считываются на лету. А настройки серверные из config.xml ? тоже на лету?

Большинство настроек из config.xml не применяется налету. Исключение - параметры логгирования и конфигурация кластеров.

Не понимаю почему. Если вставка в дистрибьютед идет локально. В папке с data будут уже кусочки на отправку. Конечный сервер будет только получать данные которые принадлежат ему. И на этом же сервере мерджи будут идти по плану. То есть там не будет запроса. Почему там могут быть ошибки?

спасибо! а когда можно ждать новый релиз?

Посмотрите https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md#%D0%98%D1%81%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5-%D0%BE%D1%88%D0%B8%D0%B1%D0%BE%D0%BA - первая ошибка - наверное как раз этот случай.

Задам овертупой вопрос, а в этом году следует ожидать привычной для обывателей вроде меня реализации Delete, Update. Никто не владеет подобной информацией ?

А есть такие, кто пробовал на основе клика реализовать мессенджер ? =)

Непосредственно реализовать мессенджер - вряд ли. Анализ данных мессенджера (базы сообщений) - хороший вариант.

ALTER TABLE [Distributed table] on cluster [name] ADD COLUMN xx_ms UInt32 DEFAULT 0 AFTER x;

есть бот терминатор, даёт вопрос и если за Х мин не ответишь, то банит

бота бы который таких бани

А какую цель они преследуют, но добавились в чат, а дальше

тут в некоторых чатах эта херня уже по несколько раз в день идёт. а последние два дня во все чатах прям наплыв ботов

подскажите как ускорить пагинацию, запросы такие select * from log where client_id_ = 11 order by time_ desc limit 100000, 10 CREATE TABLE IF NOT EXISTS log ( EventDate Date default toDate(time_), ...... client_id_ UInt32, ...... time_ DateTime ) ENGINE = MergeTree(EventDate, (client_id_), 8192) колинки все числовые, строк нет

А в чем проблема с составным PK? На эффективность выборки по client_id это никак не влияет, но гарантирует сортировку по второму полю, что все сильно упрощает. Если нет возможности менять основную таблицу, то можно materialized view

Здравствуйте. Подскажите пожалуйста можно ли как то сделать поиск по Array(String) like без arrayJoin?

has(Array, value) ?

Можно arraFilter применить и сделать что-то типа length(arrayFilter(x -> x LIKE '%search query%'), arrayColum) = 1