делаю вот такой запрос на буффер таблицу

SELECT dstAsn, sum(length) AS length FROM traffic_buffer GROUP BY dstAsn ORDER BY length DESC LIMIT 10

получаю вот такой бред:

┌─dstAsn─┬───────────────length─┐ │ 1502 │ 18351949192765233766 │ │ 265 │ 18094662927337839107 │ │ 1462 │ 17797213894484028375 │ │ 1213 │ 17666271323459185848 │ │ 1491 │ 17572761437988275181 │ │ 1238 │ 17314826234977620221 │ │ 1389 │ 17228713838271841746 │ │ 1164 │ 16975815251666726881 │

а вот тот же запрос, на таблицу на диске

SELECT dstAsn, sum(length) AS length FROM traffic GROUP BY dstAsn ORDER BY length DESC LIMIT 10

│ 8473 │ 1948338049 │ │ 43513 │ 947373740 │ │ 16276 │ 421553898 │ │ 24940 │ 267350030 │ │ 60117 │ 220325712 │

и это верные данные, судя по порядку величин в буфер таблице есть странные подозрения на переполнение....

но в тоже время, если сделать выборку из обоих таблиц на предмет суммарного length по всей таблцие - все ок, значения идентичные и корректные.

Если попробовать поискать проблемные строки с большими или отрицательными значениями?

все визуально ок...

SELECT min(length) FROM traffic_buffer ┌─min(length)─┐ │ 64 │ └─────────────┘

SELECT max(length) FROM traffic ↙️ Progress: 22.36 million rows, 178.90 MB (220.23 million rows/s., 1.76 GB/s.) ┌─max(length)─┐ │ 1522 │ └─────────────┘

max?

тоже самое в обоих таблицах, что в персистент, что в буферной

столбец типа: length UInt64

Насколько часто сбрасывается буфер? Исчезает ли проблема, если форсировать сброс буфера (OPTIMIZE TABLE)?

а если SELECT max(length) FROM traffic_buffer?

неа, сделал оптимайз на все таблицы, не помогло

сброс каждые 10000 записей, примерно раз в 10 секунд

уже проверил, максимум - 1522.

То есть, проблема проявляется, даже если буфер пуст?

угу :(

я могу остановить поток

Одинаковая ли структура таблицы buffer и таблицы, в которую сбрасывается?

одинаковая

хыыы, остановил залив данных - баг пропал

как только запустил - через секунду снова воспроизвелся.

SELECT dstAsn, max(length) AS length FROM traffic_buffer GROUP BY dstAsn ORDER BY length DESC LIMIT 10 ↙️ Progress: 25.66 million rows, 307.87 MB (251.96 million rows/s., 3.02 GB/s.) ┌─dstAsn─┬─length─┐ │ 196798 │ 1522 │ │ 197082 │ 1522 │ │ 13147 │ 1522 │ │ 46433 │ 1522 │

и через секунду (запустил поток)

SELECT dstAsn, max(length) AS length FROM traffic_buffer GROUP BY dstAsn ORDER BY length DESC LIMIT 10 → Progress: 16.71 million rows, 200.46 MB (163.71 million rows/s., 1.96 GB/s.) ┌─dstAsn─┬───────────length─┐ │ 1522 │ 1693771892837325 │ │ 142 │ 872088814537677 │ │ 0 │ 871680792791368 │ │ 162 │ 871672202709965 │ │ 64 │ 871672202709965 │

Выполнялся ли ALTER таблиц?

ниразу

вчера дропал и создавал заново, с небольшими изменениями схемы.

Проблема проявляется на одном сервере кластера или на всех?

кластера нету, установка на одной машине

машина с ECC, model name : Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz

А какие были изменения схемы?

добавил поле packetDateTime DateTime

схема выглядит вот так

SHOW CREATE TABLE traffic ┌─statement────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐ │ CREATE TABLE fastnetmon.traffic ( packetDate Date, packetDateTime DateTime, source Int8, sampleRatio UInt32, srcIp UInt32, dstIp UInt32, srcAsn UInt32, dstAsn UInt32, ipProtocolVersion UInt8, ttl UInt8, sourcePort UInt16, destinationPort UInt16, protocol UInt32, length UInt64, numberOfPackets UInt64, flags UInt8, ipFragmented Int8, ipDontFragment Int8, packetPayloadLength Int32, packetPayloadFullLength UInt32, packetDirection Int8) ENGINE = MergeTree(packetDate, (srcIp, dstIp, packetDate), 8192) │ └──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘ → Progress: 1.00 rows, 16.00 B (284.25 rows/s., 4.55 KB/s.) 1 rows in set. Elapsed: 0.004 sec. :) show create table traffic_buffer; SHOW CREATE TABLE traffic_buffer ┌─statement─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐ │ CREATE TABLE fastnetmon.traffic_buffer ( packetDate Date, packetDateTime DateTime, source Int8, sampleRatio UInt32, srcIp UInt32, dstIp UInt32, srcAsn UInt32, dstAsn UInt32, ipProtocolVersion UInt8, ttl UInt8, sourcePort UInt16, destinationPort UInt16, protocol UInt32, length UInt64, numberOfPackets UInt64, flags UInt8, ipFragmented Int8, ipDontFragment Int8, packetPayloadLength Int32, packetPayloadFullLength UInt32, packetDirection Int8) ENGINE = Buffer(\'fastnetmon\', \'traffic\', 16, 10, 100, 10000, 1000000, 10000000, 100000000) │ └───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘ ↘️ Progress: 1.00 rows, 16.00 B (1.14 thousand rows/s., 18.20 KB/s.) 1 rows in set. Elapsed: 0.001 sec.

Получилось повторить. Да, баг при агрегациях из Buffer-таблицы.

@milovidov_an Алексей, вы упоминали на митапе, что в Яндексе кто-то поднял кластер КХ на ZFS on Linux. Есть ли в чате кто-то кто может описать впечатления о стабильности ZFS on Linux и пригодности к использованию в продакшене?

Работать работает. Но память жрет нещадно.

Работать работает. Но память жрет нещадно.

Вы имеете в виду под ARC? Или течет?

Вы имеете в виду под ARC? Или течет?

Надеюсь не течёт. Я с zfs в proxmox попал. Он памяти требует оч много. На 8тб у меня порядка 30гб кушало.

Надеюсь не течёт. Я с zfs в proxmox попал. Он памяти требует оч много. На 8тб у меня порядка 30гб кушало.

Может там дедупликация была включена? Для нее много памяти надо

Может там дедупликация была включена? Для нее много памяти надо

Не исключено. Я использовал все что шло по дефолту в образе proxmox. В итоге перешёл просто на хардварный рейд 10

Ок. Спасибо, буду иметь в виду. Есть proxmox в зоопарке у меня, правда не на zfs.

поймал какое-то крааайне странное поведение таблицы буфер

Фикс войдёт в следующий релиз.

https://github.com/yandex/clickhouse-odbc - отдельный репозиторий для ODBC драйвера. Сейчас в активной разработке. Сделана сборка под Windows. В основном, ещё не готово для использования. Libreoffice работает, Excel - нет. Tableau Desktop - подключается, показывает список таблиц, но дальше ничего не работает. Можете пробовать, если вы - разработчик.

Огромное спасибо!;)) вы лучшие!

?

sFFFFVT6GTVVFTVFVFFFTVVFVFFTVFTVFVFVFTF55FTV55VF5VTTFV55VF5VFTF55V5FTTFTT5F

Кот. Или ребенок.

Извиняюсь - рюкзак :) Испраление багов за рулем

Добрый день. ClickHouse и Grafana

datasource plugin взял с git, не с grafana-cli

Добрый день. ClickHouse и Grafana

Добрый! А в чем проблема?

Судя по консоли проблема в "DB::Exception: Illegal types of arguments (Date, DateTime) of function greaterOrEquals"

toDateTime(packetDate)?

Чтобы иметь возможность строить графики распределенные во времени, таблица должна соержать Date и DateTime столбцы

Вы так же можете проигнорировать это требование, но тогда макросы могут неверно работать и лучше их не использовать

@hagen1778 @iamigor Благодарю вас.

Всем привет, подскажите что почитать в помощь по организации real-time импорта в CH? Собираюсь писать в csv /1s и вот не могу найти практики по организации такого импорта, то ли тулинг какой нужен, то ли из коробки есть, то ли все руками такое пишут..

Всем привет, подскажите что почитать в помощь по организации real-time импорта в CH? Собираюсь писать в csv /1s и вот не могу найти практики по организации такого импорта, то ли тулинг какой нужен, то ли из коробки есть, то ли все руками такое пишут..

Посмотрите движок таблиц типа Buffer

Посмотрите движок таблиц типа Buffer

Спасибо, посмотрел, у меня несколько о другом вопрос был – у меня есть сервис, который пишет csv для импорта в CH, батчи по 100mb / sec к примеру. Вот я смотрю в поисках тулинга или какого-то right way) у меня пока две идеи – непосредственно писать импорт сразу после создания каждого батча (не очень, т.к аффектит сервис процессинга данных), либо писать еще один велосипед, который смотрит на место где лежат батчи и импортирует их в CH.

Подскажите пожалуйста как выгрузить создание схемы (таблицы) в clickhouse-client ?

cat "$table"_schema.sql | clickhouse-client —user=$DB_USER —password=$DB_PASSWORD —database=$DB_DATABASE —query="CREATE TABLE $table"

в файлике корректный для кх запрос

а зачем --query передаете-то?

это в sql-файлике должно быть скорее CREATE TABLE ... ( ... ) ENGINE = ...;

если не передавать то все ок будет ?

да это в файлике

ну. а --query "CREATE TABLE ..." тогда зачем? :)

хз)

а подскажите его как выгрузить данные через clickhouse-client с декомпрессией ?

так могу ?

cat "$table"_data.native | clickhouse-client —user=$DB_USER —password=$DB_PASSWORD —database=$DB_DATABASE —decompress=1 —query="INSERT INTO $TABLE FORMAT Native"

говорит нету такой опции.. тогда как выполнит декомпресию ?

было бы хорошо если бы объеденили компрессор и декомпрессор внутрь клиента. опцию добавляем получаем компрессионный файл или декомпрессионый

говорит нету такой опции.. тогда как выполнит декомпресию ?

a clickhouse-compressor через пайп пропустить нельзя?

a clickhouse-compressor через пайп пропустить нельзя?

можно поподробней ?

clickhouse-client -q "..." | clickhouse-compressor > data.compressed

у меня вообще сервак лег от выгрузки компрессионых данных в 130 млн строк

только наоборот

это помоему команда на выгрузку данных. а я пытаюсь загрузить в кх уже копрессионные данные

у compressor'a есть флаг для декомпресии?

у compressor'a есть флаг для декомпресии?

информации в доке не нашел

Да, -d. Но файл нужно всё равно на stdin подавать

--help

Да, -d. Но файл нужно всё равно на stdin подавать

ну так cat .. | compressor -d | clickhouse-client вроде ж тоже через stdin, не?

Всё верно, я к тому, что clickhouse-compressor -d data.compressed не сработает.

а, фух :)