Привет. Что лучше использовать для обновления данных: ReplacingMergeTree или ALTER TABLE UPDATE?

Постгрес

Постгрес уже использовали

Вариант, что половина времени проводится в функции toDate() не рассматривается?

Нет, там просто сильно меньше с диска читать

В 2 раза для фичи "по другому поясу" менеджеры не поймут) будем подумать

У вас данных мало, сделайте таблицу сгруппированную по часам и с ней работайте

я слабо представляю, как можно узнать потребление памяти запросом, не выполняя его

Более того, выполняя запрос КХ может некоректно отписывать потребление в меморитрекер и поэтому не работает вытеснение запросов группировки на диск при работе с массивами, например sumMap.

Дорогие коллеги по чату! Внимательный читатель diff'ов заметил, что в CH появился намёк на внешние интеграции через JDBC (sick!). Функционал аналогичен текущей odbc-интеграции, только черезе JAVA (sick!). Как инициатор и автор сего продукта, я предлагаю branstorm, как мы могли мы сделать этот функционал доступным к использованию всем заинтересованным. Current state: в CH есть функция, аналогичная odbc, которая умеет ходить вовне в "мост", который передаёт обратно данные. P.s. если есть явасеки со стажем, бомбаните пожалуйста лучами критики https://github.com/alex-krash/clickhouse-jdbc-bridge P.p.s. @Alesapin , простите если я своим PR принёс unexpected behavior в работоспосбоность системы

Добрый вечер ! Я правильно понимаю что jdbc можно начинать использовать только с версии 18.14.8 и новее ? Просто на этой версии jdbс работает без проблем, а в версии 18.10.3 пишет: DB::Exception: Unknown table function jdbc.

но, если эксплейн пока в планах, то увы

В новых версиях можно делать SET send_logs_level='debug'

В новых версиях можно делать SET send_logs_level='debug'

спасибо, посмотрю

спасибо, посмотрю

Пример с включенным дебагом kshvakov :) select count() from clickhouse_test_array SELECT count() FROM clickhouse_test_array [kshvakov] 2018.10.25 22:43:18.546621 {4f70282d-7a1e-4944-9f97-2fa99ce32afb} [ 41 ] <Debug> executeQuery: (from 127.0.0.1:59044) select count() from clickhouse_test_array [kshvakov] 2018.10.25 22:43:18.555822 {4f70282d-7a1e-4944-9f97-2fa99ce32afb} [ 41 ] <Debug> executeQuery: Query pipeline: Expression Expression Aggregating Concat Expression Null ┌─count()─┐ │ 0 │ └─────────┘ [kshvakov] 2018.10.25 22:43:18.557312 {4f70282d-7a1e-4944-9f97-2fa99ce32afb} [ 41 ] <Debug> MemoryTracker: Peak memory usage (for query): 1.04 MiB. 1 rows in set. Elapsed: 0.011 sec. kshvakov :)

Пример с включенным дебагом kshvakov :) select count() from clickhouse_test_array SELECT count() FROM clickhouse_test_array [kshvakov] 2018.10.25 22:43:18.546621 {4f70282d-7a1e-4944-9f97-2fa99ce32afb} [ 41 ] <Debug> executeQuery: (from 127.0.0.1:59044) select count() from clickhouse_test_array [kshvakov] 2018.10.25 22:43:18.555822 {4f70282d-7a1e-4944-9f97-2fa99ce32afb} [ 41 ] <Debug> executeQuery: Query pipeline: Expression Expression Aggregating Concat Expression Null ┌─count()─┐ │ 0 │ └─────────┘ [kshvakov] 2018.10.25 22:43:18.557312 {4f70282d-7a1e-4944-9f97-2fa99ce32afb} [ 41 ] <Debug> MemoryTracker: Peak memory usage (for query): 1.04 MiB. 1 rows in set. Elapsed: 0.011 sec. kshvakov :)

ооо, это как раз что нужно было. еще раз спасибо

@kshvakov добрый вечер

скажите пожалуйста

вам это что-нибудь говорит ?

message: Memory limit (for query) exceeded: would use 9.32 GiB (attempt to allocate chunk of 4194304 bytes), maximum: 9.31 GiB)

вам это что-нибудь говорит ?

Да, вы уперлись в дефолтовый max_memory_usage

Да, вы уперлись в дефолтовый max_memory_usage

Я что то не могу найти где указывается значение для этого параметра в config.xml. Его там же нужно указывать да ?

дефолтовое значение равно количеству оперативной памяти ?

max_memory_usage The maximum amount of RAM to use for running a query on a single server. In the default configuration file, the maximum is 10 GB. https://clickhouse.yandex/docs/en/operations/settings/query_complexity/

max_memory_usage The maximum amount of RAM to use for running a query on a single server. In the default configuration file, the maximum is 10 GB. https://clickhouse.yandex/docs/en/operations/settings/query_complexity/

Спасибо !

cat /etc/clickhouse-server/conf.d/memory_usage.xml <?xml version="1.0" ?> <yandex> <profiles> <default> <max_bytes_before_external_group_by>25323460608</max_bytes_before_external_group_by> <max_memory_usage>70646921216</max_memory_usage> </default> </profiles> </yandex>

увидел в users.xml указывается

Добрый вечер ! Я правильно понимаю что jdbc можно начинать использовать только с версии 18.14.8 и новее ? Просто на этой версии jdbс работает без проблем, а в версии 18.10.3 пишет: DB::Exception: Unknown table function jdbc.

Судя по release notes - 18.4.9

cat /etc/clickhouse-server/conf.d/memory_usage.xml <?xml version="1.0" ?> <yandex> <profiles> <default> <max_bytes_before_external_group_by>25323460608</max_bytes_before_external_group_by> <max_memory_usage>70646921216</max_memory_usage> </default> </profiles> </yandex>

Я могу указать больше памяти чем есть на самом деле ?

да, если своп есть

иначе oom придет

а если своп всего на 1 гб + RAM на 16 можно указать 30 Гб ?

то есть будет хотя бы медленно но работать ?

а если своп всего на 1 гб + RAM на 16 можно указать 30 Гб ?

не будет работать. В чем вообще проблема? Расход памяти на запрос можно уменьшить.

не будет работать. В чем вообще проблема? Расход памяти на запрос можно уменьшить.

Расход памяти на запрос не меняя запрос ?

Расход памяти на запрос не меняя запрос ?

да

да

а каким образом ?

а каким образом ?

все 459 способов перечислить? Могу лекцию провести 6 часов, $400 /час.

Не, я имею ввиду можно в config.xml или users.xml что то поменять получается ?

запрос покажите, хватит играть в партизанов.

или сразу читайте https://clickhouse.yandex/docs/en/query_language/select/

max_bytes_in_join, max_bytes_before_external_sort, max_bytes_before_external_group_by

или сразу читайте https://clickhouse.yandex/docs/en/query_language/select/

Спасибо большое ! Доброй ночи ?

все 459 способов перечислить? Могу лекцию провести 6 часов, $400 /час.

уже 460 https://github.com/yandex/ClickHouse/pull/3205 ;)

И этот результат точно не нужен в проде.

Если нужна "песочница", которая будет видеть данные из продукции, то на стейджинге сконфигурируйте кластер, который будет "смотреть" на продукцию пользователем r/o. Ну а потом просто на стейджинге создаёте в нужном месте distributed таблицу. И вуаля - все данные видны, можно насоздавать кучу таблиц вокруг, которые никак продукцию не портят. Если любите острые ощущения, то можно сделать и так чтоб в ту таблицу еще можно было писать "понарошку" так, чтоб записанные данные были видны только на стейджинге, а продукция об этом не знала. В этом случае в конфигурацию продукцийного кластера на стейджинге добавьте ещё один шард, который будет "смотреть" на стейджинг сервер. При создании Distributed таблицы подкрутите sharding key так, чтоб инсерты всегда попадали на этот шард.

Добрый день. Есть висящие запросы на всем кластере для distributed таблицы, они и не выполняются и после kill query снова появляются. Рестарт серверов не помогает

подскажите плиз, где искать эти 'scheduled' таски на запросы ? а то я в самом КХ и зуукипере не нашел

Доброе утро Прикрутил к ДЕМО аккаунту КХ мониторинг Кто хочет поиграться идем сюда https://apps.sematext.com/demo потом кликаем на *Test.CH*

Доброе утро Прикрутил к ДЕМО аккаунту КХ мониторинг Кто хочет поиграться идем сюда https://apps.sematext.com/demo потом кликаем на *Test.CH*

А что за апа ?

Я боюсь меня забанят за рекламу, я вам в личку пришлю, впринципе по ссылке все видно.

да уже посмотрел , мне кажется чат должен приветствовать рекламу хороших продуктов связанных с кх это сделает его еще более популярным.

да уже посмотрел , мне кажется чат должен приветствовать рекламу хороших продуктов связанных с кх это сделает его еще более популярным.

+

Доброе утро Прикрутил к ДЕМО аккаунту КХ мониторинг Кто хочет поиграться идем сюда https://apps.sematext.com/demo потом кликаем на *Test.CH*

Очень интересно выглядит, я так понимаю, система платная?

Первые 2 недели триал Потом бесплатно будет показывать только последние 30 мин данных К сожалению так.

https://grafana.com/dashboards/2515 https://grafana.com/dashboards/869 Юзаем эти две штуки, функционала даже поболее + бесплатно

Бывает есть не только КХ, но и кафка, зукипер, эластиксерч например + куча логов раскиданных по 50 тачкам Удобно когда это все в одном месте (UI) и не надо думать где и как хранить, поставил агента и погнали Каждый подход имеет право на жизнью. Бесплатная альтернатива это ?

в графане можно визуализировать вообще все. У нас например в одной графане кафка, эластик, постгрес, касандра и овер 100500 еще всего, включая метрики с наших собственных апликух

https://grafana.com/dashboards/2515 https://grafana.com/dashboards/869 Юзаем эти две штуки, функционала даже поболее + бесплатно

Спасибо) Как раз хотел спросить про дашборды для графаны) Датасорс напрямую КХ?

да

?

только надо окуратно сделать distributed таблицу для system.query_log

в графане можно визуализировать вообще все. У нас например в одной графане кафка, эластик, постгрес, касандра и овер 100500 еще всего, включая метрики с наших собственных апликух

Звучит хорошо. А храните метрики где? Долго по времени все пилили и настраивали?

я не дэвопс, поэтому где хранится не знаю. Но настраивали относительно быстро т.к. для всего почти есть готовые плагины

только надо окуратно сделать distributed таблицу для system.query_log

какой-нибудь мануал есть на эту тему? или там просто все? сейчас у нас в графит, мне кажется метрики КХ пишет и несколько рукотворных дажшбордов, которые меня слабо устраивают

какой-нибудь мануал есть на эту тему? или там просто все? сейчас у нас в графит, мне кажется метрики КХ пишет и несколько рукотворных дажшбордов, которые меня слабо устраивают

в README дашборда написано как включить логирование

спасибо

господа, а поясните плиз про optimize deduplicate на ReplacingMergeTree: 1. оно гарантирует отсутствие дупов после выполнения OPTIMIZE DEDUPLICATE? 2. может тогда OPTIMIZE FINAL DEDUPLICATE гарантирует, если 1 нет? 3. судя по быстрым повторным вызовам OPTIMIZE DEDUPLICATE где-то хранит состояние, что дупы удалены? 4. чем чреваты частые вызовы (например, раз в минуту, если что-то поменялось в БД)?

Добрый день ! Подскажите пожалуйта значение max_memory_usage = 10000000000 Можно ли этот параметр указывать в более удобных значениях ? типа Мб, или Гб ?

типа 10Gb

а есть тут кто из фланта?

Добрый день ! Подскажите пожалуйта значение max_memory_usage = 10000000000 Можно ли этот параметр указывать в более удобных значениях ? типа Мб, или Гб ?

Нет, надо сделать

Нет, надо сделать

Спасибо за ответ !

Всем привет! А подскажите, как сделать такую штуку. Есть колонка с массивами строк. Каждый массив было бы хорошо транспонировать по строкам, а потом посчитать сумму по всем одинаковым строкам в массивах. Исходные данные такие:

А в итоге надо получить такое: Sunmar 666 Anex 7777 Biblio 111

в постгресе есть вроде такие функции. а в кликхаусе?

@kshvakov Кирилл подскажите пожалуйста каким образом можно посмотреть данные из конкретной партиции ?

в постгресе есть вроде такие функции. а в кликхаусе?

https://clickhouse.yandex/docs/en/query_language/functions/splitting_merging_functions/

сплит просто разбивает строку на подстроки и обращает в массив. мне нужен аналог unnest array

@kshvakov SELECT distinct partition_id FROM system.parts WHERE table = 'my_table_1'; Так верно ?

я бы один проход сделал, чтобы уникальные значения найти в массивах, а потом по этим значениям суммировал бы вхождения

сплит просто разбивает строку на подстроки и обращает в массив. мне нужен аналог unnest array

https://clickhouse.yandex/docs/ru/query_language/select/#array-join Есля я правильно понял, Вам нужно это.

https://clickhouse.yandex/docs/ru/query_language/select/#array-join Есля я правильно понял, Вам нужно это.

да, array join примерно оно. спасибо!

оу. странное название выбрали для функции

Тоже удивился, когда понадобилось. Искал unnest, explode и тд, а нашел join)

самое забавное, что я её видел, но думал, что она именно джойнит, а джойнит на самом деле arrayConcat

но если читать не по-английски, а по-SQLски, то всё логично

всем привет! хочу подключить postgre в КХ как ext dict для быстрых селектов надо ли как-то настраивать типы колонок или выбирать какой-то специальный движок, и есть ли вообще подводные камни?

всем привет! хочу подключить postgre в КХ как ext dict для быстрых селектов надо ли как-то настраивать типы колонок или выбирать какой-то специальный движок, и есть ли вообще подводные камни?

postgre через odbc-словарь только, специализированного нет.

через odbc словари из PG гоняем. Как таблицы их обернули и в join-ах используем. каких-то проблем не замечено

а по производительности на сколько порядков быстрее?)

кто кого быстрее?

селекты из pg по сравнению с селктами из КХ

мы в словари загоняем именно словари (небольшого размера, до нескольких десятков тыс. значений), основные даныые всегда в кх. раньше основные данные в вертике держали - вот во сравнению с ней прирост по скорости измеряется порядками

всем привет! нужна помощь Дано: docker from ubuntu:xenial и установка по инструкции https://clickhouse.yandex/docs/en/getting_started/ Когда: запускаю команду sudo service clickhouse-server status Тогда: получаю clickhouse-server service is stopped Когда: запускаю команду sudo service clickhouse-server start Тогда: получаю сообщение Start clickhouse-server service: bash: /usr/bin/clickhouse-extract-from-config: Operation not permitted Cannot obtain value of path from config file: /etc/clickhouse-server/config.xml Когда: запускаю команду clickhouse-server —config-file=/etc/clickhouse-server/config.xml Тогда: получаю clickhouse-server: Operation not permitted При этом: лог /var/log/clickhouse-server - пуст Заранее спасибо за содействие!!!

всем привет! нужна помощь Дано: docker from ubuntu:xenial и установка по инструкции https://clickhouse.yandex/docs/en/getting_started/ Когда: запускаю команду sudo service clickhouse-server status Тогда: получаю clickhouse-server service is stopped Когда: запускаю команду sudo service clickhouse-server start Тогда: получаю сообщение Start clickhouse-server service: bash: /usr/bin/clickhouse-extract-from-config: Operation not permitted Cannot obtain value of path from config file: /etc/clickhouse-server/config.xml Когда: запускаю команду clickhouse-server —config-file=/etc/clickhouse-server/config.xml Тогда: получаю clickhouse-server: Operation not permitted При этом: лог /var/log/clickhouse-server - пуст Заранее спасибо за содействие!!!

а вы docker run --privileged ... попробуйте