не надо апдейтить в бигдате записи

это здесь к чему

это здесь к чему

> дописывать туда всякие счетчики (время сессии например) я так понял, что ты хочешь в КХ менять значения полей в записи, нет?

23 бита, для меридиана до пяти метров точность должны давать

спасибо

> дописывать туда всякие счетчики (время сессии например) я так понял, что ты хочешь в КХ менять значения полей в записи, нет?

не совсем так, я бы хотел чтобы в итоге данные схлопывались в одну запись чтобы считать статистику по пользователям не по большой таблице хитов, а по маленькой с сессиями

не совсем так, я бы хотел чтобы в итоге данные схлопывались в одну запись чтобы считать статистику по пользователям не по большой таблице хитов, а по маленькой с сессиями

ну то есть максимально убрать оверхед, потому что будет много мелких сессий, поправьте меня если я не прав

не совсем так, я бы хотел чтобы в итоге данные схлопывались в одну запись чтобы считать статистику по пользователям не по большой таблице хитов, а по маленькой с сессиями

а, то есть тот движок, что схлопывать умеет, и туда добавлять записи и потом смотреть на результат. по-моему хорошая идея, только обрати внимание на особенности этого схлапывания. оно, если я не ошибаюсь, схлапывает в неопределенный момент времени

Подскажите, пожалуйста, кто как хранит ip адреса?

Подскажите, пожалуйста, кто как хранит ip адреса?

UInt32

Не сразу. А копит у себя до каких-то попугаев макс блок сайз.

А вы уверены? https://gist.github.com/filimonov/40c987677122e173b5c4f6a6906a03d0

UInt32

А если IPv6 тоже бывает иногда?

А вы уверены? https://gist.github.com/filimonov/40c987677122e173b5c4f6a6906a03d0

Да, когда она была по дефолту на 65к, то кидал данные раз в 10-15 минут (рпс мелкий), но когда сделал 512 то данные кидаются почти каждую секунду.

UInt32

а под ipv6 строка?

Да, когда она была по дефолту на 65к, то кидал данные раз в 10-15 минут (рпс мелкий), но когда сделал 512 то данные кидаются почти каждую секунду.

Ну я в том примере увеличил max_block_size и даже при вставке 1 строки матвью обновляется немедленно.

Ну я в том примере увеличил max_block_size и даже при вставке 1 строки матвью обновляется немедленно.

А данные в мерджтри таблицу сразу скидывает?

Все хранить как fixedstring 16, ipv4 как ::ffff:1.2.3.4

у нас нет IPv6 но в доке кликхауса неявно предлагают FixedString(16). т,к. есть функция: IPv6NumToString(x) Accepts a FixedString(16) value containing the IPv6 address in binary format

Ну я в том примере увеличил max_block_size и даже при вставке 1 строки матвью обновляется немедленно.

У меня цепочка кафка-кафка энжайн-мвью-мерджтри

Данные в кафкк энжайн падают 100%

у нас нет IPv6 но в доке кликхауса неявно предлагают FixedString(16). т,к. есть функция: IPv6NumToString(x) Accepts a FixedString(16) value containing the IPv6 address in binary format

спасибо

А данные в мерджтри таблицу сразу скидывает?

А почему бы он делал иначе? См. https://gist.github.com/filimonov/40c987677122e173b5c4f6a6906a03d0

У меня цепочка кафка-кафка энжайн-мвью-мерджтри

Ну там это специфика движка Kafka, а не специфика MATERIALIZED VIEW.

Ну там это специфика движка Kafka, а не специфика MATERIALIZED VIEW.

Ну, может на кафку тогда влияет этот параметр?

Т.е. матвью сразу пишет данные в финальную таблицу. Ещё во время инсерта в исходную. А вот движок Кафки "изображает" эти вставки в соотвествии со всякими настройками блоков.

Т.е. матвью сразу пишет данные в финальную таблицу. Ещё во время инсерта в исходную. А вот движок Кафки "изображает" эти вставки в соотвествии со всякими настройками блоков.

Хотите сказать, что данные матвью не получает а кафка отдает матвью данные?

Мне казалось что матвью подписывается к кафке и сам селектии

Селектит*

Матвью в КХ правильнее было бы называть BEFORE INSERT триггерами.

Матвью в КХ правильнее было бы называть BEFORE INSERT триггерами.

Хм, т.е. кафка энжайн говорит матвью - вот данные?

А не матвью лезет к нему?

неожиданно, я думал что используется какая-то очередь. у нас появились проблемы с масштабированием, было год назад 6М запросов в секунду, а сейчас 9-10М мы недавно увеличили количество нод в кластере 36 -> 75 и началось много приключений связанных с записью данных в ClickHouse Например, количество ошибок ClickHouse связанных с Zookeeper выросло на порядок "Zookeeper session expired" В Яндекс.Метрике сколько нод Zookeeper используется и SSD ли? Читал какая сама конфигурация Zookeeper https://clickhouse.yandex/docs/en/operations/tips/ но не нашел деталей про setup

Если кластер вырастает до более 20 нод, то лучше шардировать его на подкластеры с < 20 нод в каждом, чтобы не упереться в сетевые ограничения / таймауты / ошибки. Например, если вероятность сетевой ошибки за определенный интервал времени для подключения к одной ноде составляет 1%, то вероятность сетевой ошибки для 75 одновременных подключений составит 1-(1-0.01)^75=53% . Вместо вероятности сетевой ошибки аналогично "масштабируется" вероятность ошибки одной ноды кластера на весь кластер. Поэтому лучше делать, как в яндексе - шардировать данные по айди клиента на небольшие подкластеры - в каждом подкластере будет своя distributed таблица поверх данных подкластера. Для one-off аналитических запросов создать в сторонке дополнительную distributed таблицу поверх всех нод всех подкластеров.

а через консоль как проще всего скопировать таблицу в другую базу?

insert into dst select * from src

а можно ли поставить на cron удаление партиций?

Всем привет. Никто не сталкивался с тем, что при больших выборках в syslog от clickhouse прилетает за 1 секунду примерно 10 миилионов строк вида: > ../contrib/re2/re2/re2.cc:650: DFA out of memory: size 18912, bytemap range 41, list count 18369

Привет, я немного в замешательстве. Хочу добавить колонку: ALTER TABLE default.asks ON CLUSTER 'asg' ADD COLUMN WinNotifyUrl String; Получаю: An error occured before execution: Code: 48, e.displayText() = DB::Exception: Distributed DDL alters for replicated tables don\'t work properly yet, e.what() = DB::Exception Подскажите куда копать, плз.

Всем привет. Никто не сталкивался с тем, что при больших выборках в syslog от clickhouse прилетает за 1 секунду примерно 10 миилионов строк вида: > ../contrib/re2/re2/re2.cc:650: DFA out of memory: size 18912, bytemap range 41, list count 18369

кто-то использует тяжелые регэкспы в запросах

кто-то использует тяжелые регэкспы в запросах

Это понятно, не понятно зачем столько писать в syslog

Привет. Расскажите пожалуйста, как матчить версию, указанную в документации, и версию, показываемую функцией version(). В моем случае в доке сказано Функциональность находится в состоянии beta и доступна начиная с версии 1.1.54388. Делаю SELECT version() => 18.10.3

это нужно спросить у разработчиков re2

подскажите, где можно почитать про тип данных StringWithDictionary?

Хм, т.е. кафка энжайн говорит матвью - вот данные?

ну типа того. https://github.com/yandex/ClickHouse/blob/ded83c215c4d5fdeb89d7623e6257b8fcf56866e/dbms/src/Storages/Kafka/StorageKafka.cpp#L450

Привет. Расскажите пожалуйста, как матчить версию, указанную в документации, и версию, показываемую функцией version(). В моем случае в доке сказано Функциональность находится в состоянии beta и доступна начиная с версии 1.1.54388. Делаю SELECT version() => 18.10.3

18.x > 1.1.x

Это понятно, не понятно зачем столько писать в syslog

Возможно эта излишняя разговорчивость - баг.

18.x > 1.1.x

То есть версий 1.2.x нет, а вместо них перешли на именования 18.х?

да.

Привет. Расскажите пожалуйста, как матчить версию, указанную в документации, и версию, показываемую функцией version(). В моем случае в доке сказано Функциональность находится в состоянии beta и доступна начиная с версии 1.1.54388. Делаю SELECT version() => 18.10.3

недавно сменили версионирование в погоне за мировой модой большой цифры

Спасибо!

Коллеги, а есть что-то по сравнению кх и Elasticsearch? Удалось найти только https://github.com/yandex/ClickHouse/issues/14.

Специально не сравнивали, но у нас на ELK ещё до КХ был сделан сбор и анализ логов. Субъективно выскажусь так: elasticsearch нервно курит в сторонке. :)

Возможно эта излишняя разговорчивость - баг.

Можно отключить логирование в re2 , если передать log_errors=false в Options. Но тогда в лог никогда не попадут сообщения об ошибках в re2, что не есть хорошо. Можно добавить в кликхаус опцию hide_re2_errors, выключенную по умолчанию. Тогда бы те, кому мешают сообщения об ошибках re2, могли бы включить эту опцию и жить спокойно

Можно отключить логирование в re2 , если передать log_errors=false в Options. Но тогда в лог никогда не попадут сообщения об ошибках в re2, что не есть хорошо. Можно добавить в кликхаус опцию hide_re2_errors, выключенную по умолчанию. Тогда бы те, кому мешают сообщения об ошибках re2, могли бы включить эту опцию и жить спокойно

ну я так понимаю там проблема в том что для каждой строки данных тоже самое сообщение вываливается. В случае если проблема с самим регэкспом - можно было бы ограничиться однократным.

ну я так понимаю там проблема в том что для каждой строки данных тоже самое сообщение вываливается. В случае если проблема с самим регэкспом - можно было бы ограничиться однократным.

Бинго

Специально не сравнивали, но у нас на ELK ещё до КХ был сделан сбор и анализ логов. Субъективно выскажусь так: elasticsearch нервно курит в сторонке. :)

Хотелось бы что-то услышать/узнать о недостатках ELK. Какие с ним были проблемы, почему вообще встал вопрос о его замене? Медленно, недостаточно гибко?

подскажите, где можно почитать про тип данных StringWithDictionary?

StringWithDictionary скорее всего будет заменен на LowCardinality(String). Есть такой доклад: https://www.youtube.com/watch?v=rqf-ILRgBdY

StringWithDictionary скорее всего будет заменен на LowCardinality(String). Есть такой доклад: https://www.youtube.com/watch?v=rqf-ILRgBdY

тык собственно оттуда и вопрос возник :) в доке нашёл только https://clickhouse.yandex/docs/ru/changelog/#_5

ну я так понимаю там проблема в том что для каждой строки данных тоже самое сообщение вываливается. В случае если проблема с самим регэкспом - можно было бы ограничиться однократным.

вряд ли. Надеюсь, что кликаус кэширует скомпилированные регэкспы. В этом случае ошибка бы вылезла только один раз при компиляции. В следующий раз она бы появилась после вытеснения скомпилированного регэкспа из кэша. Поэтому, скорее всего, в каждом запросе используются разные регэкспы. Вот сюда можно по-быстрому добавить опцию hide_re2_errors - https://github.com/yandex/ClickHouse/blob/ea3953018cd6408e808c62295841cf3e3a8d6909/dbms/src/Common/OptimizedRegularExpression.inl.h#L269 , прописав regexp_options.set_log_errors(!hide_re2_errors)

Хотелось бы что-то услышать/узнать о недостатках ELK. Какие с ним были проблемы, почему вообще встал вопрос о его замене? Медленно, недостаточно гибко?

ELK? Да вопрос о замене не стоял, по-прежнему жив-здоров курилка :) Kibana красивая, много чего выкликать можно. Но если данных много то просто не долдешься результата. Скажем ещё 1/2-х дневные графики он в состоянии нарисовать, то для нескольких дней - отваливается по таймауту. При том что данных вроде бы не так чтоб страшно много, а серверов три. Из минусов ELK - если захотите чуть-чуть больше фичеров чем даёт бесплатная версия, и поинтересуетесь во сколько обойдется плагин с экстеншенами (не помню как называется - там всякие уведомления, мейлы, мониторинги, аутентификация пользователей), то будете сильно неприятно удивлены. Т.к. сумма будет с 4 нулями в баксах в год.

Привет всем, кто-нибудь сталкивался с тем, что КХ даже ненагруженный не успевает присылать собственные метрики, в настройках: <timeout>30</timeout> в логах - тишина ?

Хотелось бы что-то услышать/узнать о недостатках ELK. Какие с ним были проблемы, почему вообще встал вопрос о его замене? Медленно, недостаточно гибко?

ну по сравнению с кх почти все медленно

ну типа того. https://github.com/yandex/ClickHouse/blob/ded83c215c4d5fdeb89d7623e6257b8fcf56866e/dbms/src/Storages/Kafka/StorageKafka.cpp#L450

Какая печалька

Какая печалька

Почему печалька?

Почему печалька?

Мне чет казалось, что матвью данные забирает и инсертит

тык собственно оттуда и вопрос возник :) в доке нашёл только https://clickhouse.yandex/docs/ru/changelog/#_5

https://groups.google.com/forum/#!topic/clickhouse/izXdc52aF0k

Мне чет казалось, что матвью данные забирает и инсертит

Ну главное чтоб они там в конце концов оказались, верно? :)

Ну главное чтоб они там в конце концов оказались, верно? :)

Ага, спасибо что открыл глаза мне ;))

вряд ли. Надеюсь, что кликаус кэширует скомпилированные регэкспы. В этом случае ошибка бы вылезла только один раз при компиляции. В следующий раз она бы появилась после вытеснения скомпилированного регэкспа из кэша. Поэтому, скорее всего, в каждом запросе используются разные регэкспы. Вот сюда можно по-быстрому добавить опцию hide_re2_errors - https://github.com/yandex/ClickHouse/blob/ea3953018cd6408e808c62295841cf3e3a8d6909/dbms/src/Common/OptimizedRegularExpression.inl.h#L269 , прописав regexp_options.set_log_errors(!hide_re2_errors)

Я так понял что регэксп там вполне себе правильный, но большой. Просто re2 пробует сначала его смачовать с помощью DFA, отваливается по памяти и переключается на NFA. И так для каждой строки... https://github.com/google/re2/blob/e6acac839be126c8a20a20183f20a23fa9f4895e/re2/re2.cc#L670 По идее лучше всего было бы как-то сообщить движку re2 после неудачного использования DFA, чтоб уже этим не пробовал заниматься.

Привет всем. Я нигде не могу найти, можно ли как-либо запретить DROP для некоторых пользователей БД. Кроме того, выдвигаю еще вопрос о методе создания бэкапов в КХ. Скриптами создавать дампы точно не вариант в больших базах. Логично ли использовать ФС с поддержкой снапшотов, такие как BTRFS?

Привет всем. Я нигде не могу найти, можно ли как-либо запретить DROP для некоторых пользователей БД. Кроме того, выдвигаю еще вопрос о методе создания бэкапов в КХ. Скриптами создавать дампы точно не вариант в больших базах. Логично ли использовать ФС с поддержкой снапшотов, такие как BTRFS?

Есть 2 настройки для пользователя: readonly и (совсем недавно добавили) allow_ddl

Привет всем. Я нигде не могу найти, можно ли как-либо запретить DROP для некоторых пользователей БД. Кроме того, выдвигаю еще вопрос о методе создания бэкапов в КХ. Скриптами создавать дампы точно не вариант в больших базах. Логично ли использовать ФС с поддержкой снапшотов, такие как BTRFS?

https://clickhouse.yandex/docs/en/query_language/alter/#backups-and-replication

Есть 2 настройки для пользователя: readonly и (совсем недавно добавили) allow_ddl

в идеале мне надо запретить только DROP, но разрешить читать и писать новое

ELK? Да вопрос о замене не стоял, по-прежнему жив-здоров курилка :) Kibana красивая, много чего выкликать можно. Но если данных много то просто не долдешься результата. Скажем ещё 1/2-х дневные графики он в состоянии нарисовать, то для нескольких дней - отваливается по таймауту. При том что данных вроде бы не так чтоб страшно много, а серверов три. Из минусов ELK - если захотите чуть-чуть больше фичеров чем даёт бесплатная версия, и поинтересуетесь во сколько обойдется плагин с экстеншенами (не помню как называется - там всякие уведомления, мейлы, мониторинги, аутентификация пользователей), то будете сильно неприятно удивлены. Т.к. сумма будет с 4 нулями в баксах в год.

Спасибо!

ну по сравнению с кх почти все медленно

почему-то люди же и ELK используют. Что у ELK, по-вашему, быстрее?

почему-то люди же и ELK используют. Что у ELK, по-вашему, быстрее?

Кому то не нужны скорости кх, у кого то данных не много

У нас у самих есть елк для других данных, да и у елка немного другие задачи.

Пробую создать табличку с ON CLUSTER но получаю ошибку о том, что кластер не найден. Подскажите где это имя кластера взять, смотрю в конфиге в секции remote-servers, но похоже это не то

Пробую создать табличку с ON CLUSTER но получаю ошибку о том, что кластер не найден. Подскажите где это имя кластера взять, смотрю в конфиге в секции remote-servers, но похоже это не то

Ну кластер нужно сначале в конфиге добавить.

в идеале мне надо запретить только DROP, но разрешить читать и писать новое

Увы, сейчас все возможности ограничены тем что писал выше.

У нас у самих есть елк для других данных, да и у елка немного другие задачи.

Можете пояснить, в чём принципиальное отличие от кх? Основная задача елк всё-таки завязана на поиске?

Ну а кх не завязан на поиск, основное отличие в скорости на мой взгляд, если не вдаваться в какие то дебри

Ну кластер нужно сначале в конфиге добавить.

Ну у меня в секции <yandex> <remote-servers> есть какой-то кластер.

Там где у вас в других системах запросы идут минуты тут они проходят за секунды если ваши данные и запросы подходят парадигме кх

почему-то люди же и ELK используют. Что у ELK, по-вашему, быстрее?

ELK по своему неплох. Тексты любит сильно (в отличае от КХ). КХ сильно лучше в сранировании по простым типам и группировках. С эластиксерчем нужно разговаривать какими-то странными JSON-ами, c КХ - на почти полноценном нормальном SQL (иногда значительно более удобном чем нормальный).

select a,b from (select a from tableA where foo=bar all inner join (select b from tableB_replicated where x = y) using id)

Можете объяснить, за счет чего это должно работать? У меня все равно ошибка типа table default.tableB_replicated does not exist

почему-то люди же и ELK используют. Что у ELK, по-вашему, быстрее?

Логи часто имеют произвольные поля, сидеть и по куче логов пытаться придумать схему для КХ то ещё удовольствие. С эластиком в этом плане нет проблем.

Ну и очевидный плюс ELK - это целостная структура объединяющая несколько продуктов, написанных и поддерживаемых одной конторой, для решения конкретных задач. С использованием этих инструментов можно довольно быстро поднять сбор логов. С КХ - нужно некоторое терпение и звание магистра в велосипедостроении чтоб добиться такого же (или лучшего) результата :)

Т.е. кликхаус это только E из ELK. :)

этот Е ещё весьма специфичный

Где кластер в конфиге настроить? Что-бы CLUSTER ON работало

Можете объяснить, за счет чего это должно работать? У меня все равно ошибка типа table default.tableB_replicated does not exist

предположим у вас два шарда, с таблицами tableX_ и tableY_, они шардированы вместе как вы уже сказали и вам надо сджойнить локально shard1: tableX_, tableY_ shard2: tableX_, tableY_ на обоих шардах создаете дистрибьютид tableX, tableY которые смотрят на tableX_, tableY_ запускаете запрос на любом шарде select a,b from (select a from tableX where foo=bar all inner join (select b from tableY_ where x = y) using id) он будет инициатором и пошлет сам себе и второму шарды запрос select a,b from (select a from tableX_ where foo=bar all inner join (select b from tableY_ where x = y) using id)

Где кластер в конфиге настроить? Что-бы CLUSTER ON работало

это ветка remote_servers в config.xml (в конфиге по умолчанию есть пример с настроенным кластером "test_shard_localhost" ). Плюс должен быть настроен zookeeper.

У меня в конфиге есть кластер https://pastebin.com/RtQTSHnq и зукипер настроен

Но когда я пробую создать табличку он пишет `Received exception from server (version 18.12.14): Code: 170. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Requested cluster 'safe_cluster' not found.`

У меня в конфиге есть кластер https://pastebin.com/RtQTSHnq и зукипер настроен

SELECT * FROM system.clusters ?

SELECT * FROM system.clusters ?

пусто

У меня в конфиге есть кластер https://pastebin.com/RtQTSHnq и зукипер настроен

В error_log clickhouse есть что-то про remote_servers ?