Спасибо!

С криками, что колонка не существует

У меня всё работает на 123 столбцах из mysql, если в where присутствует только фильтрация по id, но ограничения полностью обесценивают(

У меня всё работает на 123 столбцах из mysql, если в where присутствует только фильтрация по id, но ограничения полностью обесценивают(

Странно. Может у меня версия старая. Я давно не обновлялся.

Я поднимаю в compose последний релиз

У нас нестандартный для кх кейс использования. А в последних версиях регрессия обработки вложенных подзапросов...причем ооооочень серьезная. Поэтому не обновляемся пока.

Есть ли способ сделать так, чтобы distributed queries не передавались на определенный сервер вообще? Нужно для того, чтобы рестарт данного сервера проходил гладко и без exception при запросах, и после рестарта включить distributed queries обратно.

Есть ли способ сделать так, чтобы distributed queries не передавались на определенный сервер вообще? Нужно для того, чтобы рестарт данного сервера проходил гладко и без exception при запросах, и после рестарта включить distributed queries обратно.

Мы убирали этот сервер из списка шард в xml-конфиге кластера. Кликхаус автоматом подхватывает и применяет такие изменения.

После проведения maintenance на отключенной шарде возвращали ее на место в конфиг

привет всем а clickhouse-server который крутится на 8123 можно вытащить в инет в плане повесить его на конкретный интерфейс?

tcp 0 0 127.0.0.1:8123 0.0.0.0:* LISTEN 12049/clickhouse-se

сейчас

Прописать listen_host нужного интерфейса

да

нашел

listen_host Ограничение по хостам, с которых может прийти запрос. Если необходимо, чтобы сервер отвечал всем, то надо указать ::.

странное описание в общем

то есть типа сюда хосты которые будут отправлять запросы

а по факту выходит - хосты которые будут слушать запросы

=)

listen_host Ограничение по хостам, с которых может прийти запрос. Если необходимо, чтобы сервер отвечал всем, то надо указать ::.

Это довольно стандартная вещь для Линукса, так почти во всех софта

Это довольно стандартная вещь для Линукса, так почти во всех софта

разница то есть огромная:

Ограничение по хостам, с которых может прийти запрос.

«с которых» а не на которые

и это не стандартная

все равно что написать что iptables ключ -s отвечает за назначение а не источник

подскажите почему запрос с агрегацией данных и с условием having и ограничением limit 1 вылетает с нехваткой оперативной памяти(результат же будет 1 строка, которая точно помещается в памяти)? Received exception from server (version 1.1.54370): Code: 173. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Allocator: Cannot mmap 512.00 MiB., errno: 12, strerror: Cannot allocate memory.

Потому что по пути вычислений ему нехватило, видимо

Ведь одна строка из чего-то считается - он не может ее посчитать

SELECT TransactionID, Event, Metadata, count() AS cnt FROM Table WHERE TransactionID != '' GROUP BY TransactionID, Event, Metadata HAVING cnt > 1 LIMIT 1 примерно такой запрос. А как с этим бороться?

Я же не знаю, что там за данные, сколько их

Может семплировать?

Я же не знаю, что там за данные, сколько их

записей в таблице - 97М, размер - 10Gb. Как понять семплировать? в мануале есть описание?

Семплирование - приблизительные вычисления. В доке есть, да

кликхаус крутится на виртуальной машине, у которой выделено 2Gb оперативки и 1 ядро. Т.е. далеко от параметров, которые описаны в справке, но до этого проблем не возникало с памятью. И вопрос возникает, а сколько нужно чтобы работало без проблем

Вы конечно извините, но 2 Гб для аналитики это.... У меня на телефоне больше.

С учётом того что часть отъест ос.

Я начинаю с 64 Гб на ноду

Далее буду смотреть

Вы конечно извините, но 2 Гб для аналитики это.... У меня на телефоне больше.

ну уж извините, сколько есть)

Д понимаю :) сам работал в таких условиях

можно увеличить до 8-16, не более. Но есть ли смысл?

Имхо все зависит от нагрузки и дангых

Я не спец, только учусь.

Считаю что смысл есть, в доках написано про память

у меня кх крутится на 8 гигах оперативы , в целом хватает, но несколько шардов конечно

обьем оперативы собственно зависит от ваших хотелок к запросам

ставить 64 гига на простые запросы выборки по дате с легкой агрегацией смысла нет

Что значит лёгкая агрегация? Звучит как лёгкая наркомания :) у всех разные данные и их количество...

хочется строить несложную аналитику с несколькими полями в group by и простым and отбором по нескольким полям(не индексированным в том числе)

ну по количеству пол триллиона ,

проще всего подобрать оперативу опытным путем

увеличьте с 2 гигов до 4

Я в процессе etl сейчас, много это или мало для меня пока непонятно

ладно, попробую поднять память, спасибо

SELECT TransactionID, Event, Metadata, count() AS cnt FROM Table WHERE TransactionID != '' GROUP BY TransactionID, Event, Metadata HAVING cnt > 1 LIMIT 1 примерно такой запрос. А как с этим бороться?

Попробуйте включить агрегацию с использованием файлов. Сейчас попробую найти ключ в конфиге

max_bytes_before_external_group_by - во, что-то похожее и искал. Сейчас решал вопрос через where =)

Вот этот параметр в конфиге

Вот этот параметр в конфиге

о, вот это интересней, спасибо

а можно как-то колонку переименовать?

Неа

ага, создал такую же таблицу с другим именем колонки и INSERT INTO new SELECT * FROM old

а вот у меня есть MATERIALIZED VIEW, где есть конструкция типа AS SELECT ID, GenID as GeneratedID FROM (SELECT IP, UA, URLHash(Referer) as URL, max(GeneratedID) as GenID, max(cityHash64(IP,UA,GeneratedID)) as ID FROM pix GROUP BY IP, UA, URL) он создается с POPULATE все ок, но при вставке новых данных выпадает с ошибкой Unknown identifier: GenID: while pushing to view default.ViewUniqHits почему такое происходит?

а вот у меня есть MATERIALIZED VIEW, где есть конструкция типа AS SELECT ID, GenID as GeneratedID FROM (SELECT IP, UA, URLHash(Referer) as URL, max(GeneratedID) as GenID, max(cityHash64(IP,UA,GeneratedID)) as ID FROM pix GROUP BY IP, UA, URL) он создается с POPULATE все ок, но при вставке новых данных выпадает с ошибкой Unknown identifier: GenID: while pushing to view default.ViewUniqHits почему такое происходит?

а движок какой, партиционировано как? MV - же не перестраивается полностью, мне тяжело представить что посчитает max в MV. Есть AggregatingMergeTree и стейты (maxState) https://gist.github.com/den-crane/6eff375752a236a456e1b3dc2ca7db62

движок вообще Memory )

движок вообще Memory )

понятно. в любом случае, MV выполняют запрос на блок вставляемых данных, а не на всю таблицу, поэтому в общем случае max вообще не будет ничего хорошего считать.

ага, понял, спасибо

А кто как бэкапит? Ставите партишены по неделе или что-то хитрее?

А кто как бэкапит? Ставите партишены по неделе или что-то хитрее?

Когда инсталяция на одной машине - FREEZE PARTITION + rsync

Волнует вопрос места, скорее. Как решается отсутствие поддержки инкрементальных бекапов

Когда инсталяция на одной машине - FREEZE PARTITION + rsync

А при distributed схеме?

А при distributed схеме?

Мы бекапим сейчас все реплики каждого шарда из расчёта на вероятную неконсистентность. Тот же фриз

Мне кажется штатная реализация если и будет, то а ля hp vertica. Python, ssh и rsync с жёсткой привязкой к текущему состоянию инфраструктуры и узлам

Да по другому и не получится

Приветствую!

Не подскажете, что означает вот этот параметр select value from metrics where metric = 'ZooKeeperWatch'

к вопросу о нехватке памяти при выполнении агрегирования, нашел слайды с митапа 5, где разбирается как выполнять запрос, если он не пролезает по оперативной памяти. Вдруг кому понадобится: https://clickhouse.yandex/presentations/meetup5

доброе утро! В чем может заключаться проблема: КХ тупит нещадно, http залипает. Иногда все падает без объективной причины и следов в логах В перфтопе 35,85% clickhouse [.] SpinLock::SlowLock 11,66% [kernel] [k] enqueue_entity 7,30% [kernel] [k] __d_lookup_rcu 6,79% [kernel] [k] pageblock_pfn_to_page 6,11% clickhouse [.] std::_Hashtable<std::__cxx11::basic_string<char, st 5,78% clickhouse [.] LZ4_decompress_fast

добрый день поиск по каналу ответов не дал ? периодически возникает ошибка >DB::Exception: Attempt to read after eof, e.what() = DB::Exception (from один из шардов) если это важно - в запросе используется внешний словарь из mysql с чем может быть связана такая ошибка?

Не подскажете, что означает вот этот параметр select value from metrics where metric = 'ZooKeeperWatch'

Как ни странно это количество поставленных watch в зукипере :) https://zookeeper.apache.org/doc/r3.4.1/zookeeperProgrammers.html#ch_zkWatches

доброе утро! В чем может заключаться проблема: КХ тупит нещадно, http залипает. Иногда все падает без объективной причины и следов в логах В перфтопе 35,85% clickhouse [.] SpinLock::SlowLock 11,66% [kernel] [k] enqueue_entity 7,30% [kernel] [k] __d_lookup_rcu 6,79% [kernel] [k] pageblock_pfn_to_page 6,11% clickhouse [.] std::_Hashtable<std::__cxx11::basic_string<char, st 5,78% clickhouse [.] LZ4_decompress_fast

при этом отожрал всю память, а в virt означил почти 600 Гб

добрый день поиск по каналу ответов не дал ? периодически возникает ошибка >DB::Exception: Attempt to read after eof, e.what() = DB::Exception (from один из шардов) если это важно - в запросе используется внешний словарь из mysql с чем может быть связана такая ошибка?

В логе должен быть stacktrace ниже. Можете показать?

при этом отожрал всю память, а в virt означил почти 600 Гб

Возможно, память мержи кусков отбирают? Можно посмотреть system.merges .

Да, я посмотрел. Есть мердж на 100 Гб

progress - это 1/n ?

progress - это 1/n ?

progress - число от 0 до 1, доля смерженных данных

progress - число от 0 до 1, доля смерженных данных

Судя по тому, что я вижу в merges, оно для каждой колонки должно пройти ?

У меня увеличивается число в columns written