Товарищи, кто-нибудь проверял, поддерживает ли официальный JDBC драйвер батч инсерты и дружат ли эти батч инсерты с spring jdbc template? (полагаю, что драйвер батчи поддерживает, но вопрос с совместимостью с spring jdbc template все равно открытый)

Батч инсерты работают

через preparestatement + addBatch

Батч инсерты работают

еще глянул по коду - поидее spring jdbc template должен нормально с этим работать, спасибо.

господа согласно perf top кх замучил ядро. куда бы посмотреть что с ним не так ?

rhel 7.4 c дефолтным ядром. под vmware 6.5

господа согласно perf top кх замучил ядро. куда бы посмотреть что с ним не так ?

а в процессах у КХ все чисто?

нет там есть 5 запросов

ага. total_rows_approx: 553615360 это не очень да ?

ага. total_rows_approx: 553615360 это не очень да ?

500млн, ну все зависит =)

Всем привет. Столкнулись с проблемой подвисших на сервере запросов. Проявляется когда накидываем кучу запросов на одну машину в кластере - в какой-то момент достигаем лимита на количество одновременно выполняющихся запросов, часть из них начинает отваливаться И вот часть из отвалившихся запросов остаётся висеть в system.processes. gdb и код кликхауза помогли найти место, где происходит что-то плохое: #0 pthread_cond_wait@@GLIBC_2.3.2 () at ../sysdeps/unix/sysv/linux/x86_64/pthread_cond_wait.S:185 #1 0x0000000003f6363b in Poco::SemaphoreImpl::waitImpl() () #2 0x00000000034896e2 in DB::UnionBlockInputStream<(DB::StreamUnionMode)0>::finalize() () #3 0x000000000348a68a in DB::UnionBlockInputStream<(DB::StreamUnionMode)0>::~UnionBlockInputStream() () ... Судя по тому, что в коде UnionBlockInputStream перед вечным локом есть намёк на print-debugging //std::cerr « "popping\n"; output_queue.pop(res); , проблема известная. Можете посоветовать как избавиться от подобного?

Коллеги, помогите разобраться с optimize table partition final в ReplacingMergeTree. Почему после оптимайза остаются дубликаты по первичному ключу?

Коллеги, помогите разобраться с optimize table partition final в ReplacingMergeTree. Почему после оптимайза остаются дубликаты по первичному ключу?

А там соблюдаются условия для реплейсинга?

Вроде должны, потому что count() » uniq(primary key), а ver = now()

Вроде должны, потому что count() » uniq(primary key), а ver = now()

а у меня наоборот, uniq > count(). возможнр из-за того что uniq не точная функция?

Да, у меня тоже так было, проверял с uniqExect()

но у меня count() сильно больше uniq() раза в 2, т.е. на несколько десятков миллионов больше

а с unicExact какой разброс?

у меня разница между count() и uniq(key) 12млн в партиции с 1.3млрд записей

кстати, может кто подскажет, не могу посчитать uniqExact за всю партицию получаю Memory limit (for query) =( max_memory_usage │ 20000000000 max_bytes_before_external_sort │ 15000000000 max_bytes_before_external_group_by │ 15000000000

ну так просто не влезает значет, мемори лимиты в байтах, а не строках, так что ещё зависит от типа вашего key

т.е. на диск запрос никак не выпихнуть?

Я вам боюсь наврать, по этому не отвечу, но скину ссылку на доклад по этой теме

https://events.yandex.ru/lib/talks/4556/

Привет, а какая таблица подходит для мултипаточной записи

https://events.yandex.ru/lib/talks/4556/

спасибо, уже смотрел.

Привет, а какая таблица подходит для мултипаточной записи

мы в 10 потоков делали инсерты в ReplacingMergeTree, но зачем сами не поняли)

Ожидается что будет как минимум 20 приложух которые будут писать большими пачками каждую секунду

Ожидается что будет как минимум 20 приложух которые будут писать большими пачками каждую секунду

Какого размера пачки?

Какого размера пачки?

Пока тысяч по 5

Ожидается что будет как минимум 20 приложух которые будут писать большими пачками каждую секунду

Я и в 100 потоков писал данные в merge tree

Все ок

А никто не сталкивался с неуникальностью watch_id в hits из яндекс метрики?

два раза одна и та же строка?

Да

Одинаковые watch_id

Остальные поля не проверял

Все поля, которые у меня в выгрузке идентичные

значит watch_id скорее всего уникальный, но выгрузился два раза.

Проблема в том, что веб-интерфейс показыват за этот день ровно столько хитов, сколько выгрузилось (больше чем уникальных watch_if)

Пока тысяч по 5

Собирать куски побольше и писать реже, имхо

Собирать куски побольше и писать реже, имхо

Нельзя реже

Нельзя реже

Почему?

Почему?

Нужно максимально ближе к реальном времени отображать обработанные данные

Нужно максимально ближе к реальном времени отображать обработанные данные

Уточните "максимально ближе", может быть задержка в 10 сек не будет критичной.

Ожидается что будет как минимум 20 приложух которые будут писать большими пачками каждую секунду

Или мб кидать данные с приложений в очередь, а 1-2 демона будут сбрасывать в КХ

Или мб кидать данные с приложений в очередь, а 1-2 демона будут сбрасывать в КХ

Наверно наилучший вариант

а если использовать движок Buffer ? Можно и писать, и сразу читать в реальном времени

а если использовать движок Buffer ? Можно и писать, и сразу читать в реальном времени

Да пишешь в буффер,читаешь из него и получаешь данные из таблицы другой, но его стоит использовать, если есть реальная необходимость

Нужно максимально ближе к реальном времени отображать обработанные данные

это тот необходимый случай?

Tabix.Beta Собрал новую тестовую ветку beta http://beta.tabix.io/ Из основных фич: -- Устранена большая утечка памяти -- Добавлено кэширование структуры базы -- Мелкие ускорения -- +100500 новых багов)) Changelog: https://github.com/smi2/tabix.ui/blob/beta/manual/docs/Changelog.md#2017-10-06-beta-1

Tabix.Beta Собрал новую тестовую ветку beta http://beta.tabix.io/ Из основных фич: -- Устранена большая утечка памяти -- Добавлено кэширование структуры базы -- Мелкие ускорения -- +100500 новых багов)) Changelog: https://github.com/smi2/tabix.ui/blob/beta/manual/docs/Changelog.md#2017-10-06-beta-1

Почему требуется readonly=2? Что там планируется изменять в настройках? :)

Только после появления tabix.server - это прокси сервер для запросов

Можно поставить nginx - и прокисорать запросы в CH, в beta появились режимы ROuser+BaseAuth, но нужен слой между

@not_logan привет! А тебе удалось попробовать https://github.com/VerizonDigital/vflow/tree/master/consumers/clickhouse для импорта из кафки в деле?

Ещё нет, на этой неделе времени не было совсем, постараюсь выкроить на следующей

Привет! Не подскажите, можно ли как то отсротировать массив? Или сделать join массива, отсортировать и как то пронумеровать его уже отсортированным?

Коллеги, а кликхаус умеет limit offset?

Да, LIMIT n, m позволяет выбрать из результата первые m строк после пропуска первых n строк.

Привет! Не подскажите, можно ли как то отсротировать массив? Или сделать join массива, отсортировать и как то пронумеровать его уже отсортированным?

Вопрос снят… функции arraySort(arr), arrayReverseSort(arr).

господа, а какой драйвер можете порекдомендовать для работы с кликхаузом из питона?

Коллеги, а пользуясь лимит/оффсет можно как-нибудь не задавать лимит? что-то вроде limit 100, 0 (не катит) или limit 100, all

Коллеги, а пользуясь лимит/оффсет можно как-нибудь не задавать лимит? что-то вроде limit 100, 0 (не катит) или limit 100, all

Думаю как вариант возможно использовать функцию: rowNumberInAllBlocks() Возвращает порядковый номер строки в блоке данных. Функция учитывает только задействованные блоки данных. И в условие добавить > XXXX

Коллеги, а пользуясь лимит/оффсет можно как-нибудь не задавать лимит? что-то вроде limit 100, 0 (не катит) или limit 100, all

limit 100, 999999999999999999

limit 100, 999999999999999999

Не, ну эт дичь)

работает жеж)

Думаю как вариант возможно использовать функцию: rowNumberInAllBlocks() Возвращает порядковый номер строки в блоке данных. Функция учитывает только задействованные блоки данных. И в условие добавить > XXXX

Вот пример select rowNumberInAllBlocks( ) as rnb,* from (select * from system.numbers limit 10) where rnb > 4;

Вот пример select rowNumberInAllBlocks( ) as rnb,* from (select * from system.numbers limit 10) where rnb > 4;

select watch_id from hits where rowNumberInAllBlocks() >= 100 и выводить не обязательно

а подскажите, а как заставить функцию today() выводить дату в формате DateTime (дописывая нули в минуты и часы)

SELECT toDateTime(today()) ┌─toDateTime(today())─┐ │ 2017-10-06 00:00:00 │ └─────────────────────┘

спасибо!

rowNumberInAllBlocks() - запрос продолжает выполнятся пока не пройдет всю таблицу, результаты выдачи отличаются от LIMIT

rowNumberInAllBlocks() - запрос продолжает выполнятся пока не пройдет всю таблицу, результаты выдачи отличаются от LIMIT

угу(

угу(

так что limit 100, 999999999999999999 - нормально отрабатывает)))

@untley а вам для консоли надо или скрипт какой нибудь пишете?

скрипт

причем экранированный

как насчет сначала делать count() запроса и параметр count() подставлять в offset?

каунт тоже по всей таблице пойдет

25млрд строк посчиталось за 5 секунд

Да и как это запилить? Курсор?

сейчас бы и такое прокатило, однако сложные запросы с джоинами в джоинах в джоинах - нагнут раком

господа, а какой драйвер можете порекдомендовать для работы с кликхаузом из питона?

Драйвер для нативного протокола: https://github.com/mymarilyn/clickhouse-driver, кроме того есть куча HTTP-драйверов (см. оф доку). Если очень хочется, то можно взять чистый requests если чего-то не хватает.

спасибо

да, видел кучу разного в т.ч. SQLAlchemy, но хотелось что-нибудь быстрое

Да и как это запилить? Курсор?

#!/bin/bash OFFSET=clickhouse-client --query="SELECT count() FROM table_name" echo "${OFFSET}" clickhouse-client —query="SELECT * from table_name limit 100, ${OFFSET}"

сейчас занимаюсь оптимизацией первого по скорости вставки, там с ней действительно печально. если проект позволяет, то можете попробовать под pypy, оно работает, но без поддержки компрессии. к сожалению это питон, а не сишечка, поэтому с гошным драйвером и тем более clickhouse-client вряд ли получиться соревноваться

Всем привет. Подскажите, можно ли как-то через системные таблицы увидеть, что часть данных, вставленных в ditributed таблицу, еще не отправлена на другой шард?

Всем привет. Подскажите, можно ли как-то через системные таблицы увидеть, что часть данных, вставленных в ditributed таблицу, еще не отправлена на другой шард?

это точно можно увидеть в директориях. А вот на счет таблиц не подскажу

Коллеги, кто-нибудь знает способ склеить несколько строчек вместе? типа groupConcat из mysql