Добрый день, есть таблица с событиями, есть поле datetime, есть ли возможность посчитать rate ( событие в секунду/минуту) из CH? Так же есть другой кейс: есть startdatetime, duration. Нужно посчитать сколько МАКСИМАЛЬНО активных (ПИКИ) событий было в момент времени с группировокой по минуте/часу.

Добрый день, есть таблица с событиями, есть поле datetime, есть ли возможность посчитать rate ( событие в секунду/минуту) из CH? Так же есть другой кейс: есть startdatetime, duration. Нужно посчитать сколько МАКСИМАЛЬНО активных (ПИКИ) событий было в момент времени с группировокой по минуте/часу.

https://gist.github.com/alexey-milovidov/2f2739347818013216139548ec989b20

Вдруг кому понадобится

У Алексея в Gist'ах много полезного ;)

Это было добавлено в 1.1.54378

А почему он при запуске может начать ругаться на то, что порт уже открыт, но на самом деле порт не открыт?

Все, разобрался. Спасибо!

Привет! Коллеги, не подскажите, яндекс осуществляет платную поддержку КХ ?

Яндекс - нет, а вот altinity - да. Можете у @alexanderzaitsev поспрашивать

Рулон чатика стало нехватать?

Рулон чатика стало нехватать?

Хочется более серьезных отношений )

Если я в локах инстанса с репликой получаю: 2018.05.28 15:02:18.417061 [ 17 ] <Error> test.test_logs (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception, Stack trace: чяднт?

А есть где-нибудь подробный мануал для даунов, как КХ заставить работать в реплике? По оф докам чет не собирается(

Хочется более серьезных отношений )

Обращайтесь, отнесемся со всей серьезностью :)

А есть где-нибудь подробный мануал для даунов, как КХ заставить работать в реплике? По оф докам чет не собирается(

По ошибке не понятно. Нужны конфиги, схемы таблиц, рассказ, как пытаетесь грузить данные

Кто-нибудь пробовал хранить в кх числа с хотя бы двумя знаками после запятой (рубли-копейки)? Если да - насколько все плохо с погрешностями?

Кто-нибудь пробовал хранить в кх числа с хотя бы двумя знаками после запятой (рубли-копейки)? Если да - насколько все плохо с погрешностями?

почему не считать в целых а при выводе делить на 100?

Кто-нибудь пробовал хранить в кх числа с хотя бы двумя знаками после запятой (рубли-копейки)? Если да - насколько все плохо с погрешностями?

Храните в bigint (рубли * 1000000)

Храните в bigint (рубли * 1000000)

Что такое he и kb?

Если мне нужно будет это все добро просуммировать, то, полагаю, результат будет примерно такой же как и при хранении флоата

Или если только делить после аггрегации?

К тому же непонятно как быть, если вдруг захотим повысить точность

К тому же непонятно как быть, если вдруг захотим повысить точность

Насколько я знаю, достаточно хранить 1 цифру после копейки, разве нет?

После копейки да, а сатоши? :)

Пока что самое оптимальное что придумал - хранить отдельно цифры после запятой. С последующими извращениями с округлением при суммировании

Привет всем! Это чудо можно запустить в докеркомпоуз на вин7?

Если докер композ в виртуалке да, в нативной Винде вроде как то особо не получалось у людей запускать

коллеги, подскажите пожалуйста как определить что Replicated таблица скачала все данные ? и полностью наполнена. или хотя бы где посмотреть очередь на скачивание блоков

коллеги, подскажите пожалуйста как определить что Replicated таблица скачала все данные ? и полностью наполнена. или хотя бы где посмотреть очередь на скачивание блоков

:) select * from system.replicas where table = '<your_table_name_here>' format Vertical;

возможно ли без рестарта сервера сделать load external dictionary?замена конфига не помогает, в config-preprocessed.xml всё правильно показывает, но при запросе выдаёт

No such external dictionary:

No such external dictionary:

Может, ошибка?

Может, ошибка?

рестарт помогает, не хочется делать это на проде

SYSTEM RELOAD DICTIONARIES

Если сделать select * from system.dictionaries where name = ...

:) select * from system.replicas where table = '<your_table_name_here>' format Vertical;

такс, вроде вижу статусы очередей, думаю должно подойти, спасибо

Если сделать select * from system.dictionaries where name = ...

пусто

SYSTEM RELOAD DICTIONARIES

не помогло

словарь - файл tab separated

Если докер композ в виртуалке да, в нативной Винде вроде как то особо не получалось у людей запускать

да, а что прокинуть надо?

Ну порт кх только

возможно ли без рестарта сервера сделать load external dictionary?замена конфига не помогает, в config-preprocessed.xml всё правильно показывает, но при запросе выдаёт

проблема оказалась в директиве dictionaries_config, она, по всей видимости в рантайме не меняется, нужен рестарт

Привет всем! Это чудо можно запустить в докеркомпоуз на вин7?

Не совсем в тему но в вин10 нормально запускается в убунте из стора

Всем привет! Есть ли способ выполнить select только по данным из Buffer таблицы?

Привет Друзья! У меня есть 2 шарды, я делаю запрос и 1 сервак падает. Запрос я получу?

не факт

Надо протестить...

Мне кажется нет. т.к нужная часть данных будет недоступна

поэтому нужно делать связку реплика шард

Есть вероятность, что всё зависит от того, на какой стадии сложного запроса упадёт.

Даже в случае реплики - тоже упасть может, по-моему...

насколько помню при пропаже шарда запросы проходят ок

давно тестил еще при установке, возможно как то и могло поменяться поведение в новых версиях но я думаю все по старому работает .

Шарда или реплики?

шарда

ну имею ввиду один из шардов

Если шард полностью недоступен то и запросы выполнятся небудут

ну точно не имею ввиду случай когда один шард и этот один шард не доступен

Кирилл, а как насчёт ситуации падения одной из реплик в процессе выполнения запроса? Будет ли запрос выполнен или таки обломается?

Если нужна доступность - делайте реплики, КХ сам разрулит выпадение сервера

КХ ретраит запросы, если есть кто-то живой он его найдет

Ok, реплика решает, если что... Лишь бы при повторном запросе не упала следующая...

Ok, реплика решает, если что... Лишь бы при повторном запросе не упала следующая...

Боюсь спросить, а что нужно делать, что бы вот такой кейс сработал? Делаешь запрос, выпала реплика, делается ретрай и тут вторая реплика отлетела.

Три реплики, наверное :)

Параллельно несколько запросов, жрущих много памяти.

Ну и, конечно, ограниченное её количество

хотим бинлог мускуля в КХ складывать, не создается таблица: CREATE TABLE BinLog.BinLog_local ON CLUSTER repl ( day Date DEFAULT toDate(created), time DateTime DEFAULT toDateTime(created), created UInt64, position UInt64, file String, db String, query String, type String DEFAULT lower(replaceRegexpOne(query, '^(\\S+)\\s.*', '\\1')), exectime UInt32 ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/BinLog_local', '{replica}', day, (day, type), 8192) e.displayText() = DB::Exception: Table structure in ZooKeeper is too different from local table structure, e.what() = DB::Exception. Проблема вся в type String DEFAULT lower(replaceRegexpOne(query, '^(\\S+)\\s.*', '\\1')) , не пойму как ее экранировать надо

никто с таким не встречался?

вот так создалось type String DEFAULT splitByChar(' ', query)[1],

Друзья, никто не знает ответа на этот вопрос? https://github.com/yandex/ClickHouse/issues/2399

Друзья, никто не знает ответа на этот вопрос? https://github.com/yandex/ClickHouse/issues/2399

Привет! Проблема в том, что в pattern есть .* и matching получается тяжелым. У меня был доклад в Берлине про похожую проблему с sequenceMatch для воронок и идеи, как обойти. https://events.yandex.com/lib/talks/247/ На YouTube и видео можно найти.

Спасибо

в идеале, конечно, хотелось бы именно sequenceMatch, который можно более гибко настривать, т.е. увеличивать лимит на то, что считать "тяжелым". В общем, будем следить за релизами :)

Всем привет, подскажите пожалуйста мне нужно перезалить данные моего кликхауса на новый серв с их модификацией. Каким методом это лучше сделать? Я попробовал в лоб: php скрипт модифицирует данные сохраняет в csv, его загружаю в новый кликхаус. Но есть проблемка, запрос ORDER BY event_time asc LIMIT any, any. выдает мне вот это: "Memory limit (for query) exceeded: would use 9.31 GiB".

Всем привет, подскажите пожалуйста мне нужно перезалить данные моего кликхауса на новый серв с их модификацией. Каким методом это лучше сделать? Я попробовал в лоб: php скрипт модифицирует данные сохраняет в csv, его загружаю в новый кликхаус. Но есть проблемка, запрос ORDER BY event_time asc LIMIT any, any. выдает мне вот это: "Memory limit (for query) exceeded: would use 9.31 GiB".

https://www.youtube.com/watch?v=F-o-a00R4fc

если памяти хватает реально, то самый быстрый хак – повысить лимиты

если памяти хватает реально, то самый быстрый хак – повысить лимиты

Благодарю за ответ.

вывели несколько реплик из кластера, как из зукипера удалить инфу об этом? конфиги zookeeper.xml и zoo.cfg поправлены, зукиперы отрестарчены

но в system.zookeeper присутствуют старые реплики для таблиц

ну если удалять обычным drop table

то ничего не надо делать больше

причем здесь drop table? убирали реплики из кластера, сами таблицы трогать не надо

ну стандартный и правильный способ убрать реплики это дроп тейбл оно автоматом почистит пути в зукипере

и не удалит таблицы с других реплик

а то что вы сделали это в корне не верный способ готовить кх

теперь вам надо в зукли руками удалить пути удаленных реплик

но это геморой каждый раз так делать

то есть надо было подропать таблицы на тех репликах, которые отцепляем...

А не отреплицируется?

да

нет

дроп тейбл не реплицируется, дроп партишен реплицируется

то есть надо было подропать таблицы на тех репликах, которые отцепляем...

Это, на данный момент, лучшый способ. DROP DATABASE иногда что-то оставляет в Zookeeper и все равно нужно чистить руками

Всем привет. Узнал что в тестировании находится Яндекс.Облако и в нем развернут кликхаус. Это что-то наподобие бигквери от гугла будет?

Это, на данный момент, лучшый способ. DROP DATABASE иногда что-то оставляет в Zookeeper и все равно нужно чистить руками

просто нацелили старые реплики на новые зукиперы с помощью zookeeper.xml, и сейчас дропнем :) спс