спасибо, буду смотреть

подскажите, кто что использует для построения разных чартов с CH. интерактивные приложения какие то подключаются? или опенсорс может какой есть. интересует что-то вроде дешбордов и тп

мы используем большое количество дашбордов в графане ч-з https://github.com/Vertamedia/clickhouse-grafana

вот это https://github.com/Vertamedia/clickhouse-grafana кажется интересным. спасибо

@maksim_melnichuk ес-но. мне казалось что я тут об этом каждый второй день пишу: про словари, про нормализацию строк и тд и тп. собственно у меня выборка по строкам ~2с, по UInt64 - ~0.1с

а как практически словарь взаимодействует с основной таблицей. это что-то типа Join ? или просто функция какая-то, которая по id возвращает строку? и быстро ли это работает

а как практически словарь взаимодействует с основной таблицей. это что-то типа Join ? или просто функция какая-то, которая по id возвращает строку? и быстро ли это работает

https://clickhouse.yandex/docs/ru/dicts/external_dicts.html

По словарям еще нескромно порекомендую https://www.altinity.com/blog/2017/4/12/dictionaries-explained и https://www.altinity.com/blog/2017/4/20/clickhouse-dictionaries-benchmarking и видео с хайлоада, где я этому вопросу уделил едва ли не четверть времени https://habrahabr.ru/post/322620/ Словари работают быстро, особенно небольшого размера (до 500К). Это рекомендованный способ делать джойны в ClickHouse -- причем по целому ряду причин, в частности внешние словари легко обновляются, чего не скажешь о таблицах. В некоторых случаях словари могут быть медленнее аналогичного запроса с джойнами, например, когда требуется фильтр по значению из словаря. Но это "медленнее" понятие относительное, и при желании можно слегка оптимизировать схему для получения оптимального результата.

Evgeny для ad-hoc репортов (пивот таблицы - чарты) можете попробовать seektable.com есть рабочий коннектор к CH. Будет желание попробовать стучитесь в личку помогу настроить.

Evgeny для ad-hoc репортов (пивот таблицы - чарты) можете попробовать seektable.com есть рабочий коннектор к CH. Будет желание попробовать стучитесь в личку помогу настроить.

а seektable только облачный?

есть варианты для on-premise но увы не бесплатные, я думаю с этим лучше тоже в личку

/stat@combot

combot.org/chat/-1001080295593

если кто вдруг пишет тесты на запросы в кликхаус, на настоящих данных, как вы решаете словари? раньше я запускал clickhouse через докер с дефаулт параметрами, импортнуть нужные данные и сделать тесты на запросы. при добавлении словарей надо добавлять конфиг, делать как-то словарь.

$ service clickhouse-server status clickhouse-server: process unexpectedly terminated

как бы понять, почему

перезапускается, и по прежднему срет всякими эксепшенами в лог

а в сислоге нет ничего?

а в сислоге нет ничего?

пока не нашел, но возможно не там ищу

пока не нашел, но возможно не там ищу

какая ось?

Парни, а может кто-то стакивался. Пытаюсь со спарка через jdbc коннектор получить данные из КХ. Ругается постоянно на форматы java.lang.Throwable: Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position. ,, expected not empty list of expressions

какая ось?

все, вижу, засралось Jun 20 12:03:04 ad196 kernel: Out of memory: Kill process 15600 (clickhouse) score 835 or sacrifice child Jun 20 12:03:04 ad196 kernel: Killed process 15600 (clickhouse) total-vm:154497092kB, anon-rss:126689436kB, file-rss:20kB Jun 20 15:19:52 ad196 kernel: Out of memory: Kill process 3239 (clickhouse) score 810 or sacrifice child Jun 20 15:19:52 ad196 kernel: Killed process 3239 (clickhouse) total-vm:141219100kB, anon-rss:124798688kB, file-rss:0kB

Парни, а может кто-то стакивался. Пытаюсь со спарка через jdbc коннектор получить данные из КХ. Ругается постоянно на форматы java.lang.Throwable: Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position. ,, expected not empty list of expressions

а запрос какой

Да хотя бы обычный select from table

все, вижу, засралось Jun 20 12:03:04 ad196 kernel: Out of memory: Kill process 15600 (clickhouse) score 835 or sacrifice child Jun 20 12:03:04 ad196 kernel: Killed process 15600 (clickhouse) total-vm:154497092kB, anon-rss:126689436kB, file-rss:20kB Jun 20 15:19:52 ad196 kernel: Out of memory: Kill process 3239 (clickhouse) score 810 or sacrifice child Jun 20 15:19:52 ad196 kernel: Killed process 3239 (clickhouse) total-vm:141219100kB, anon-rss:124798688kB, file-rss:0kB

он видать при подьеме начинает мержи гонять, и вылетает по памяти. Вариантов несколько. Либо увеличить память на сервере, либо попробовать ограничить память КХ.

Парни, а может кто-то стакивался. Пытаюсь со спарка через jdbc коннектор получить данные из КХ. Ругается постоянно на форматы java.lang.Throwable: Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position. ,, expected not empty list of expressions

думаю, знаю, что может быть, ща попробую поискать

ни один не работает

Да хотя бы обычный select from table

Nulls поля есть?

думаю, знаю, что может быть, ща попробую поискать

это было бы оч круто

Nulls поля есть?

nulls нету

читаю df таким образом sqlContext.read.format("jdbc").option("url", "jdbc:clickhouse://dsn").option("dbtable", "tableName").load()

это было бы оч круто

object ClickhouseDialect extends org.apache.spark.sql.jdbc.JdbcDialect { override def canHandle(url: String): Boolean = url.startsWith("jdbc:clickhouse") override def quoteIdentifier(colName: String): String = s"""$colName""" } org.apache.spark.sql.jdbc.JdbcDialects.registerDialect(ClickhouseDialect)

Доброго времени суток, подскажите о чем говорит исключение (Too much parts. Merges are processing significantly slower than insert ....) и какие действия надо сделать что бы оно не возникало или возникало реже. Заранее признателен

Сейчас есть проблема, что при объёме данных больше 10 ТБ в месяц, куски плохо мержатся, из-за выставленных настроек по-умолчанию. Если это ваш случай, то можно прописать в config.xml в секции merge_tree, max_bytes_to_merge_at_max_space_in_pool побольше (по-умолчанию - 100 ГБ, можно увеличить до 500 ГБ, например).

Andrey у меня весь гемор со спарком и jdbc был из-за того, что спарк в потрохах своих при составлении запросов использует закавыченные имена столбцов, двойные кавычки

Вопрос по внутренностям: а читает с диска КХ в несколько потоков? Или, например, одним потоком отдельный блок данных.

Читает в несколько потоков - столько же, сколько выставлено max_threads.

Alexander ты знаешь - помогло!!! Спасибо тебе большое! ?

Andrey у меня весь гемор со спарком и jdbc был из-за того, что спарк в потрохах своих при составлении запросов использует закавыченные имена столбцов, двойные кавычки

Нужно взять на заметку. До сих пор работал только с cassandra/hdfs

Нужно взять на заметку. До сих пор работал только с cassandra/hdfs

мне пришлось сначала tcpdump'ом посмотреть, что на КХ прилетает, а потом исходники спарка покурить, прежде чем я понял, что происходит, и как починить ?

в логах сервера запросы должны быть,

он видать при подьеме начинает мержи гонять, и вылетает по памяти. Вариантов несколько. Либо увеличить память на сервере, либо попробовать ограничить память КХ.

Можно уменьшить максимальное количество потоков для мержей. В users.xml, для профиля default, настройка background_pool_size. По-умолчанию - 16. Для слабых серверов это слишком много. Можно уменьшить. Только не выставляйте меньше 2.

он видать при подьеме начинает мержи гонять, и вылетает по памяти. Вариантов несколько. Либо увеличить память на сервере, либо попробовать ограничить память КХ.

ограничить - это вертеть различные вариации max_memory_usage? тут где-то проскакивала настройка для тотального ограничения

ограничить - это вертеть различные вариации max_memory_usage? тут где-то проскакивала настройка для тотального ограничения

Для мержей ограничивать с помощью max_memory_usage, max_memory_usage_for_all_queries, не имеет смысла.

Для мержей ограничивать с помощью max_memory_usage, max_memory_usage_for_all_queries, не имеет смысла.

комбинируя с max_bytes_before_external_group_by, я полагаю? при дефолтовом ограничении 10Gb регулярно вижу memory limit exceed

в логах сервера запросы должны быть,

jdbc-spark-connector срет 100500 запросов, включая запрос структуры таблиц, и мне нужно было точно видеть, на что мне странные ошибки прилетают. в дампе я однозначно это увидел

да, так наверно удобнее.

Alexander А может ты еще знаешь как execute функции CH в spark. Нужно какой-то впил в spark.udf?

Например: toMonth(date)

Alexander А может ты еще знаешь как execute функции CH в spark. Нужно какой-то впил в spark.udf?

не, настолько я решил не упарываться, ограничился вьюхами

Какой предел по количеству записей/размеру есть у dictionaries?

Какой предел по количеству записей/размеру есть у dictionaries?

память, + еще от типа зависит. https://clickhouse.yandex/docs/ru/single/index.html#document-dicts/external_dicts

вопрос, а насколько эффективно хранение в типе таблицы ReplicatedMergeTree поля array<FixedString(16)> в котором может быть от нуля до десятка таких фиксированных строк? Причем, ожидается большое число одинаковых массивов (одинаковой длины и одинакового содержимого)

Вполне эффективно.

супер, спасибо :)

ip для доменов?

Только что ответил внутри, из-за чего может быть ошибка Too much parts. Скопирую сюда: Может быть несколько причин, почему такое происходит: 1. Данные не успевают мержатся, но всё-таки мержатся. Это будет видно по наличию большого количества одновременных мержей. Запрос SELECT * FROM system.merges, метрика ClickHouse.Metrics.Merge в Графите. В этом случае может помочь увеличение размера пачки. 2. Данные не мержатся из-за того, что превышено некоторое ограничение. В последней версии ограничение на суммарный размер кусков, которые можно мержить - 100 GB. На практике мы убедились, что это плохо - если за месяц больше 10 ТБ данных, то это приводит к тому, что есть несколько сотен кусков, которые не мержатся. Скоро увеличим по-умолчанию, а пока можно увеличить вручную - я скажу, как. Чтобы проверить - нужно посмотреть на размеры кусков: SELECT * FROM system.parts WHERE active 3. Данные не мержатся из-за бага. Суть в том, что среди реплик выбирается одна реплика-лидер, и именно она решает, какие мержи нужно делать. Раньше было много проблем - например, реплика-лидер могла отставать и не видеть куски для мержей. Или одна реплика могла уступить лидерство, а другая долго не брать его, из-за того, что это требует захвата некоторых блокировок. Все эти проблемы мы исправили и больше не наблюдали :) Но похожие вещи всё-равно могут быть. Чтобы проверить - надо посмотреть на число одновременных мержей, так же, как написано выше. Если мержей нет - значит подозрение на такую проблему.

Ога

''' Cannot parse JSON string: expected opening quote: (at row 1) "" Господа, подскажите, как расширить эту квоту?

Судя по тексту ошибки у вас невалидный json

''' Cannot parse JSON string: expected opening quote: (at row 1) "" Господа, подскажите, как расширить эту квоту?

quote не только квота, но и "кавычка"

Точняк. Нашёл ошибку. Спасибо.

quote не только квота, но и "кавычка"

и квота пишется с "a" на конце :)

Господа, а есть ли какой-то query builder для CH. Желательно такой который интегрируется с ларавел?

Есть

Сейчас дам ссылку

Сегодня выкачу там пару фиксов

https://github.com/the-tinderbox/ClickhouseBuilder

не этот?)

Он самый

супер)

Там пара косяков есть, мы правки собирали

Ладно, попробуем ?

Можете пока с ветки 101_add_where_in_file

Использовать

Чуть позже тег накачу

Ладно, попробуем ?

Зарелизил версию 1.0.1. Там исправлены ошибки интеграции с Laravel / Lumen и добавлена возможность использовать локальные файлы как временные таблицы в запросах.

заимплементили у себя прогресс в процентах во всех отображениях выборок для пользователей. Поскольку найти как в яваскрипте получить прогрессом заголовки я не нашел, то сделал в итоге так: у нас есть демон через который делаются все запросы и в этом демоне каждый запрос получает свой идентификатор (uuid). Вот по нему начинаем раз в 100-300 мс запрашивать прогресс, а от кликхауса этот демон получает заголовки которыми менят статус этого запроса

> Поскольку найти как в яваскрипте получить прогрессом заголовки я не нашел Когда делал фичу, меня убеждали, что в JavaScript это возможно. Какой-то колбэк для XMLHTTPRequest.

Возможно

Там весь стейт xhr можно контролировать

И он readyStateChange ловить заголовки

И отрисовывать прогресс

Либо можно еще круче сделать. Если кх не буферизует вывод, а чанками кидает ответ (как nginx, например) можно прям по чанкам склеивать ответ налету и в том числе парсить заголовки

оо, я не туда и не так смотрел значит

надо меньше пользоваться fetch

:)

Народ отвык от ванильного xhr

не-не, дело не в скачивании ответа, а в получении от кликхауса информации о том, сколько времени ему ещё ковыряться по диску

Он вроде как такой инфы не предоставляет

предоставляет через хедеры

Получения заголовков и колбэк на каждый новый заголовок?

Он вроде показывает прогресс выполнения запроса, который может меняться при выполнении подзапросов

примерное количество строк в результате и сколько уже набрано строк: готово вполне приличное решение для прогресс бара

да ладно, это уже вполне неплохо: ждать ещё 10 секунд или 3 минуты

Там не совсем колбэк на заголовки, там скорее аля сик по стриму

Там при получении каждого нового чанка с ним можно что-то делать

Я так в свое время делал прогресс выполнения каких то операций в фоне

Просто на каждую строку прилетал актуальный прогресс. Каждая строка получалась отдельным "чанком", т.к. буфер вывода опустошался после каждой итерации например или после каждой блокирующей операции

Работало :)