А там точно такие же ошибки, вплоть до имен смерженных кусков

А там точно такие же ошибки, вплоть до имен смерженных кусков

Посмотрите ещё стек трейс для Transaction failed (No node): Op #4. Также проверьте, что существует нода /clickhouse/tables/1/table_replicated/replicas/node2/parts Вы удаляли какие-нибудь данные из ZK вручную?

мы видим точно такую же проблему с отрицательной памятью SELECT * FROM system.metrics WHERE metric = 'MemoryTracking' ┌─metric─────────┬──────────value─┬─description──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐ │ MemoryTracking │ -3341363201101 │ Total amount of memory (bytes) allocated in currently executing queries. Note that some memory allocations may not be accounted. │ └────────────────┴────────────────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘ 1 rows in set. Elapsed: 0.002 sec.

мы видим точно такую же проблему с отрицательной памятью SELECT * FROM system.metrics WHERE metric = 'MemoryTracking' ┌─metric─────────┬──────────value─┬─description──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐ │ MemoryTracking │ -3341363201101 │ Total amount of memory (bytes) allocated in currently executing queries. Note that some memory allocations may not be accounted. │ └────────────────┴────────────────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘ 1 rows in set. Elapsed: 0.002 sec.

Это значит, что вы не можете сейчас использовать ограничение max_memory_usage_for_all_queries.

почему?

если я правильно понял - скоро должно быть ) https://github.com/yandex/ClickHouse/pull/2770#issuecomment-422466974

Не то… мне нужен аналог sec_to_time в MySQL . запилю в клиенете

примерно вот так

def sec2time(secs): m, s = divmod(secs, 60) h, m = divmod(m, 60) pattern = r'%02d:%02d:%02d' return pattern % (h,m,s)

почему?

Если счётчик общего потребления оперативки показывает некорректные данные, то эти данные используются в качестве ограничения тоже некорректно. И вы получаете ошибку "Memory limit (total) exceeded" просто так.

понятно, спасибо, печально (

есть ли где-то презентация или описание того, как Яндекс Метрика вставляет данные в ClickHouse? Например, что за клиент использует, что за буфер, размер пачки, и т.д.? Не нашел в https://github.com/yandex/clickhouse-presentations

есть ли где-то презентация или описание того, как Яндекс Метрика вставляет данные в ClickHouse? Например, что за клиент использует, что за буфер, размер пачки, и т.д.? Не нашел в https://github.com/yandex/clickhouse-presentations

В clickhouse-presentations нет. Могу порекомендовать доклад, который возможно будет на HighLoad++ 2018 в Москве. Будет рассказывать разработчик из Метрики. Правда там ещё не начали голосование за доклады, непонятно выберут ли его. http://www.highload.ru/moscow/2018/abstracts

Вот этот доклад http://www.highload.ru/moscow/2018/abstracts/4160 ? А есть где-то видео или презентация?

Также есть интересный доклад - как VK вставляют данные в ClickHouse. Там нестандартный подход, потому что вставлять надо с десятков тысяч серверов, и требуются промежуточные слои буферизации. Полная версия: https://www.youtube.com/watch?v=oUzBF299iUo Короткая версия доклада: https://www.youtube.com/watch?v=C7JY8xyzpj8

Вот этот доклад http://www.highload.ru/moscow/2018/abstracts/4160 ? А есть где-то видео или презентация?

Ничего нет. Если доклад примут на Highload++, то может быть появится в ноябре.

да, тот доклад видел, но не думаю что вставлять over http самый эффективный способ Можете в кратце рассказать, что за клиент используется для вставки, что за буфер перед вставкой в clickhouse

да, тот доклад видел, но не думаю что вставлять over http самый эффективный способ Можете в кратце рассказать, что за клиент используется для вставки, что за буфер перед вставкой в clickhouse

Программы подключают код ClickHouse напрямую, как библиотеку (это похоже например на то, как работает clickhouse-client). Поверх неё есть простая обёртка, которая позволяет добавлять данные построчно. Она формирует блоки в оперативке и отправляет их по достижении нужного размера.

неожиданно, я думал что используется какая-то очередь. у нас появились проблемы с масштабированием, было год назад 6М запросов в секунду, а сейчас 9-10М мы недавно увеличили количество нод в кластере 36 -> 75 и началось много приключений связанных с записью данных в ClickHouse Например, количество ошибок ClickHouse связанных с Zookeeper выросло на порядок "Zookeeper session expired" В Яндекс.Метрике сколько нод Zookeeper используется и SSD ли? Читал какая сама конфигурация Zookeeper https://clickhouse.yandex/docs/en/operations/tips/ но не нашел деталей про setup

неожиданно, я думал что используется какая-то очередь. у нас появились проблемы с масштабированием, было год назад 6М запросов в секунду, а сейчас 9-10М мы недавно увеличили количество нод в кластере 36 -> 75 и началось много приключений связанных с записью данных в ClickHouse Например, количество ошибок ClickHouse связанных с Zookeeper выросло на порядок "Zookeeper session expired" В Яндекс.Метрике сколько нод Zookeeper используется и SSD ли? Читал какая сама конфигурация Zookeeper https://clickhouse.yandex/docs/en/operations/tips/ но не нашел деталей про setup

В Метрике тоже используется очередь - для получения данных, для промежуточных данных. Кластер ZooKeeper состоит из трёх серверов с SSD. В основной кластер ClickHouse идёт вставка с порядка нескольких десятков серверов, при этом каждый сервер вставляет не на все шарды, а на подмножество, и с каждого сервера идёт около десятка-сотни вставок в минуту. А всего на один кластер где-то несколько тысяч вставок в минуту, а на другой - около десятка тысяч вставок в минуту. Один ZooKeeper кластер обслуживает много кластеров ClickHouse.

В Метрике тоже используется очередь - для получения данных, для промежуточных данных. Кластер ZooKeeper состоит из трёх серверов с SSD. В основной кластер ClickHouse идёт вставка с порядка нескольких десятков серверов, при этом каждый сервер вставляет не на все шарды, а на подмножество, и с каждого сервера идёт около десятка-сотни вставок в минуту. А всего на один кластер где-то несколько тысяч вставок в минуту, а на другой - около десятка тысяч вставок в минуту. Один ZooKeeper кластер обслуживает много кластеров ClickHouse.

Давно хотел спросить. А раз реплики в разных ДЦ, то у Zoo тоже кросс-датацентровая инсталляция?

Давно хотел спросить. А раз реплики в разных ДЦ, то у Zoo тоже кросс-датацентровая инсталляция?

Да. Больше 1000 км.

Спасибо за инфо по Zookeeper. А какая версия Zookeeper и насколько мощное железо на тех 3 серверах ZK?

Да. Больше 1000 км.

а в конфигах СH в пределах одного ДЦ указываются адреса Zoo только машин из того-же ДЦ?

а в конфигах СH в пределах одного ДЦ указываются адреса Zoo только машин из того-же ДЦ?

Нет, указываются все три.

Спасибо за инфо по Zookeeper. А какая версия Zookeeper и насколько мощное железо на тех 3 серверах ZK?

По железу ничего необычного.

Посмотрите ещё стек трейс для Transaction failed (No node): Op #4. Также проверьте, что существует нода /clickhouse/tables/1/table_replicated/replicas/node2/parts Вы удаляли какие-нибудь данные из ZK вручную?

Все, я разобрался, была комплексная проблема, эти исключения (нет ноды / неудачная запись) между собой не связаны и вызваны были внутренними проблемами моей инсталляции, все прошло после устранения причин. Видимо, если в один день сразу столько проблем, то причину нужно было сразу искать у себя)

Все, я разобрался, была комплексная проблема, эти исключения (нет ноды / неудачная запись) между собой не связаны и вызваны были внутренними проблемами моей инсталляции, все прошло после устранения причин. Видимо, если в один день сразу столько проблем, то причину нужно было сразу искать у себя)

Конечно, было бы интересно узнать подробности внутренних проблем.

@milovidov_an какой у вас размер ZK snaptshot, и средняя latency? Видете ли вы часто такие ошибки? fsync-ing the write ahead log in SyncThread:3 took 8773ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide

@milovidov_an какой у вас размер ZK snaptshot, и средняя latency? Видете ли вы часто такие ошибки? fsync-ing the write ahead log in SyncThread:3 took 8773ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide

Посмотрю завтра. Snapshot по памяти что-то между 10GB и 20 GB.

Ничего интересного, к сожалению: 1. Может, вы помните, я раньше спрашивал про пассивные реплики - в итоге ее подняли, а я про нее забыл. И вообще все забыли, в итоге на ней кончилось место и отсюда периодические одни и те же ошибки про оффсет (в исключениях не видно, куда происходила запись, поэтому я про нее не сразу вспомнил, а когда вспомнил и отключил, все прошло). Конечно, странно, что процесс кх не упал и даже продолжал принимать. 2. Ошибка с ZNONODE была вызвана тем, что я писал скрипт для создания force_restore_data, чтобы избежать ручной работы и добавил в итоге /…/$SHARD/$TABLE/replicas/$REPLICA/flags для каждого шарда одинаково, то есть для схема 3 шарда / 2 реплики вышло по одному лишнему пути реплики, которой нет

Alexandr а у вас конфиг зк дефолтный или тот, который в документации приводится?

не дефолтный, но очень похож на тот что в документации

Я заметил, что у нас такое случается (сообщения про fsync), когда растет очередь репликации, тогда и latency подскакивает

но у нас и числа поменьше, и данных на порядок меньше (снапшот около 2гб)

@milovidov_an а что хранится в snaptshot? в нашем случае размер огромный 4.0K acceptedEpoch 4.0K currentEpoch 3.5G log.36a246ad69 1.9G log.36a29bdf68 3.7G log.36a2cbb2ab 3.2G log.36a3254c04 3.6G log.36a3732266 2.6G log.36a3c98737 2.8G log.36a4086eb7 2.0G log.36a44e53fb 2.4G log.36a47dc1ae 2.8G snapshot.36a29bdf60 3.0G snapshot.36a2cbb2a2 3.1G snapshot.36a3254acc 3.0G snapshot.36a373225e 2.8G snapshot.36a3c98735 2.9G snapshot.36a4086eb1 3.0G snapshot.36a44e53f9 2.9G snapshot.36a47dc1a4 49G total

Да. Больше 1000 км.

А если между разными ДЦ возникают проблемы с сетью и зукипер теряет кворум? У нас бывают моменты когда из-за каких-то проблем с рутингом aws Tokyo пропадает для ДЦ во Франкфурте на минуты / десятки минут, при этом сам сервер в Токио вполне благополучно обсуживает "свой" трафик.

неожиданно, я думал что используется какая-то очередь. у нас появились проблемы с масштабированием, было год назад 6М запросов в секунду, а сейчас 9-10М мы недавно увеличили количество нод в кластере 36 -> 75 и началось много приключений связанных с записью данных в ClickHouse Например, количество ошибок ClickHouse связанных с Zookeeper выросло на порядок "Zookeeper session expired" В Яндекс.Метрике сколько нод Zookeeper используется и SSD ли? Читал какая сама конфигурация Zookeeper https://clickhouse.yandex/docs/en/operations/tips/ но не нашел деталей про setup

А у вас все 75 серверов "слушают" очередь Кафки из одного consumer group и каждый пишет в ReplicatedMergeTree своим матвью? А зукипер для Кафки и для КХ - один и тот же?

А кто может ответить на вопрос: если запрос содержит несколько джоинов, вложенных естественно и в каждом джоине делается фильтрация по результату подзапроса, который везде одинаковый - он один раз выполнится или в каждом позапросе будет разный результат? Например: select ... from (select ... from table all left join (select ... from table2 where column in (select coulmn from users where active=1))) all left join (select ... from table3 where column in (select coulmn from users where active=1)) select coulmn from users where active=1 - это не продакшен :) это что первое в голову пришло для примера

Насколько я помню, всё-таки будут выполнены несколько раз.

А кто может ответить на вопрос: если запрос содержит несколько джоинов, вложенных естественно и в каждом джоине делается фильтрация по результату подзапроса, который везде одинаковый - он один раз выполнится или в каждом позапросе будет разный результат? Например: select ... from (select ... from table all left join (select ... from table2 where column in (select coulmn from users where active=1))) all left join (select ... from table3 where column in (select coulmn from users where active=1)) select coulmn from users where active=1 - это не продакшен :) это что первое в голову пришло для примера

Вообще довольно просто можно проверить. Добавьте sleep в селекты и посмотрите сколько времени будет спать.

Кажется я однажды уже проверял, и у меня получалось что несколько раз выполнялось.

Там вроде бы как можно это как-то выбросить в таблицу с движком SET, и потом её многократно использовать. Но я не пробовал :) https://clickhouse.yandex/docs/en/operations/table_engines/set/

Привет, подскажите, хорошая идея хранить сессии в SummingMergeTree для того чтобы считать время сессии? Или может есть какие-то бестпрактис для этого.

Привет, подскажите, хорошая идея хранить сессии в SummingMergeTree для того чтобы считать время сессии? Или может есть какие-то бестпрактис для этого.

Бестпрактис для времени сессий - считать на стороне приложения и в логи писать уже готовое. Иначе достаточно дорого считать

Там вроде бы как можно это как-то выбросить в таблицу с движком SET, и потом её многократно использовать. Но я не пробовал :) https://clickhouse.yandex/docs/en/operations/table_engines/set/

Спасибо! Сегодня попробуем сделать через set. Просто сложно отслеживать такие таблицы и потом чистить их ( Хотя там вроде create temporary table можно использовать

Добрый день. Вопрос про распределенный ReplacingMergeTree и ключ шардирования. Чтобы все работало верно приходится ключ шардирования указывать равным ключу replacing. Это as designed или баг и в новых версиях может быть даже уже пофикшено?

Ок, тогда такой вопрос. Использую табличную функцию mysql и получаю SELECT * FROM mysql('url:port', 'dbname', 'tablename', 'user', 'password') Received exception from server (version 18.10.54405): Code: 90. DB::Exception: Received from URL, IP DB::Exception: Empty list of columns passed. 0 rows in set. Elapsed: 0.080 sec. Что за лист колонок? В доках https://clickhouse.yandex/docs/ru/single/#mysql_1 про это ничего не сказано.

кто-нибудь может помочь с этим?

Спасибо! Сегодня попробуем сделать через set. Просто сложно отслеживать такие таблицы и потом чистить их ( Хотя там вроде create temporary table можно использовать

temporary к сожалению использует только engine = memory :(

Есть ли поддержка модификаторов в функциях использующих регулярные выражения - match, например? Пробовал паттерны вида abc(?i), (?i)(abc) abc\i - не работают.

Добрый день. Вопрос про распределенный ReplacingMergeTree и ключ шардирования. Чтобы все работало верно приходится ключ шардирования указывать равным ключу replacing. Это as designed или баг и в новых версиях может быть даже уже пофикшено?

Не понимаю проблему. Важно чтобы записи с одинаковым ключом шардирования всегда попадали на тот же самый сервер/группу серверов. Обычно ключ шардирования - это какой-то фрагмент первичного ключа.

Т.е. если у вас например PK: (userid, timestamp), то ключ шардирования может быть просто userid.

Есть ли поддержка модификаторов в функциях использующих регулярные выражения - match, например? Пробовал паттерны вида abc(?i), (?i)(abc) abc\i - не работают.

тут описан синтаксис https://github.com/google/re2/wiki/Syntax флаг (?i) внутри регэкспа должен работать.

Хм. Возможно мне нужно обновить локальную версию ch

Может быть это тайм-аут сети/http клиента? Не самого кликхауса?

http-клиента нет как такового, осуществляется вызова из python clickhouse_dirver

Хм. Возможно мне нужно обновить локальную версию ch

Вряд ли в этом дело. Проверьте синтаксис. SELECT match('Hello', 'E') AS r ┌─r─┐ │ 0 │ └───┘ SELECT match('Hello', '(?i)E') AS r ┌─r─┐ │ 1 │ └───┘

Очень странно ведет себя движок Set. create table lSet (learnerId UInt64) engine = Set select * from numbers(1000000000) where number in lSet - работает А вот select hash, version from versions_local where learnerId in lSet уже не работает... Method read is not supported by storage Set

Кто-то вообще пользуется этим движком?

http-клиента нет как такового, осуществляется вызова из python clickhouse_dirver

Смотрите на таймауты клиента: https://github.com/mymarilyn/clickhouse-driver#client-parameters

Привет, Возможно ли сделать drop/detach partition по name? Т.е. есть, например, такие записи в system.parts, у которых значения в partition и partition_id одинаковые, но я хочу дропнуть только одну из них. Как я понял из доков нужно указывать именно значение из колонки partition, но мб можно как-то дропнуть по name?

Вряд ли в этом дело. Проверьте синтаксис. SELECT match('Hello', 'E') AS r ┌─r─┐ │ 0 │ └───┘ SELECT match('Hello', '(?i)E') AS r ┌─r─┐ │ 1 │ └───┘

Проверял по разному, не работает. Подозреваю, что все же дело в версии - я довольно давно не обновлял локальный сервер

Не понимаю проблему. Важно чтобы записи с одинаковым ключом шардирования всегда попадали на тот же самый сервер/группу серверов. Обычно ключ шардирования - это какой-то фрагмент первичного ключа.

Да проблемы особой нет. Просто не учли этого. Сделали ключ шардирования rand() и надеялись, что должно схлопываться.

Привет, Возможно ли сделать drop/detach partition по name? Т.е. есть, например, такие записи в system.parts, у которых значения в partition и partition_id одинаковые, но я хочу дропнуть только одну из них. Как я понял из доков нужно указывать именно значение из колонки partition, но мб можно как-то дропнуть по name?

Нельзя. Можете пробовать вручную (но за результат я вам не ручачюсь): https://groups.google.com/d/msg/clickhouse/ZABNyXsiIWI/LZDHg5naAQAJ

Да проблемы особой нет. Просто не учли этого. Сделали ключ шардирования rand() и надеялись, что должно схлопываться.

Ну rand() не дает гарантии что две версии той же строки всегда будут попадать на ту же группу серверов. Поэтому схлопываться не будут.

Очень странно ведет себя движок Set. create table lSet (learnerId UInt64) engine = Set select * from numbers(1000000000) where number in lSet - работает А вот select hash, version from versions_local where learnerId in lSet уже не работает... Method read is not supported by storage Set

Хм. Любопытно. Попробуйте выключить use_index_for_in_with_subqueries=0 ?

Хм. Любопытно. Попробуйте выключить use_index_for_in_with_subqueries=0 ?

Заработало! Спасибо!

Но это не вариант, т.к. у нас куча вложенных подзапросов которым индекс потребуется (

Думаю, что стоит завести issue

Заработало! Спасибо!

угу, стоит ишью завести, чтоб эта оптимизация игнорировала таблицы с движком Set.

Но это не вариант, т.к. у нас куча вложенных подзапросов которым индекс потребуется (

Задумался - интересно если жонглировать настройками SETTINGS для конкретных подзапросов внутри одного запроса - кликхаус поймет что от него хотели? :)

Думаю, что поймет )

Смотрите на таймауты клиента: https://github.com/mymarilyn/clickhouse-driver#client-parameters

большое спасибо, Михаил. Были выставлены не те таймаунты на клиенте. помогло

привет всем не могу вьехать как удалить партицию?

всё понял какое то время должно пройти просто:)

Бестпрактис для времени сессий - считать на стороне приложения и в логи писать уже готовое. Иначе достаточно дорого считать

А summing merge tree чем плох?

А summing merge tree чем плох?

тем, что не дает 100% гарантий схлопывания

Кто подскажет такую вещь: у материальной вьюшки есть свой кэш? т.е. он сразу сбрасывает в таблицу или копит определенное количество?

Кто подскажет такую вещь: у материальной вьюшки есть свой кэш? т.е. он сразу сбрасывает в таблицу или копит определенное количество?

Сразу. Воспронимайте эти матвью как before insert trigger.

Коллеги, а есть что-то по сравнению кх и Elasticsearch? Удалось найти только https://github.com/yandex/ClickHouse/issues/14.

А summing merge tree чем плох?

Если у вас есть какой-то sessionid то на самом деле можно. Можно Summing, можно Aggregating или даже Collapsing (для Collapsing нужно предыдущее состояние знать). Если вы хотите по пользователю и временному окну "нарезать" данные - то внутри КХ это довольно сложно.

Сразу. Воспронимайте эти матвью как before insert trigger.

Не сразу. А копит у себя до каких-то попугаев макс блок сайз.

И я не ожидал что это значение в юзерс надо пихать а не в конфиг -_-

А я правильно понимаю, что если мне надо добавить колонку и заполнить её из данными из select запроса, то default expression при alter - add column в этом не поможет? И в таком случае решение только в: If the ALTER query is not sufficient for making the table changes you need, you can create a new table, copy the data to it using the INSERT SELECT query, then switch the tables using the RENAME query and delete the old table. ?

Привет! А mySQL движок пока что не умеет WHERE ... IN () на стороне mySQL? А то встала задача сделать WHERE по очень большому списку, и трансформировать всё в список равенств - тяжко.

Привет! А mySQL движок пока что не умеет WHERE ... IN () на стороне mySQL? А то встала задача сделать WHERE по очень большому списку, и трансформировать всё в список равенств - тяжко.

давай в этой чати поговорим еще за dBaseIV и FoxPro ? :)

давай в этой чати поговорим еще за dBaseIV и FoxPro ? :)

Кмк, вопрос нормальный, и часто возникает в чате. Вероятно, для этой задачи должна быть табличная функция: SELECT * FROM odbc_query("DSN=XXXXX", "SELECT avg(age), country_id FROM users.user where country_id in (1,2,3,4,5) GROUP BY country_id")

Привет. Подскажите, пожалуйста, под широту и долготу закладывать Float64 или можно обойтись Float32 ?

давай в этой чати поговорим еще за dBaseIV и FoxPro ? :)

Несколько дней назад один человек уже на эти грабли наступал (и не он один), так что актуально.

Несколько дней назад один человек уже на эти грабли наступал (и не он один), так что актуально.

я только рад, что тут могут помочь. Мне казалось, что про mysql все уже забыли и он остался на свалке истории. Прости, бро

Если у вас есть какой-то sessionid то на самом деле можно. Можно Summing, можно Aggregating или даже Collapsing (для Collapsing нужно предыдущее состояние знать). Если вы хотите по пользователю и временному окну "нарезать" данные - то внутри КХ это довольно сложно.

я хочу хранить данные сессии одной записью, и дописывать туда всякие счетчики (время сессии например)

я хочу хранить данные сессии одной записью, и дописывать туда всякие счетчики (время сессии например)

не надо апдейтить в бигдате записи