виртуалка тестовая, оперативки 8 гигов

ext4 ?

покажи df -h полностью

при загрузке данных через $ clickhouse-client -n < data.sql загрузка падает с errno: 28

а в логе КХ сервера что?

ext4 ?

да, до этого был xfs

у вас на руте кончилось место епта

как мы его мониторите не понятно , заббикс уже давно вам прислал об этом алерт

у вас на руте кончилось место епта

это не влияет, там данные strace не удалил

ну сомнительно что не влияет , так ка квероятно влияет , он же в рут тоже пишет что то

там в /etc/ вроде что-то пишется.

данные для ClickHouse вынесены на отдельный диск

ну в /var/log точно пишется

ну он даже лог у вас не может записать чтобы вы узнали что не так

в общем почистите рут и все будет норм заливаться

данные для ClickHouse вынесены на отдельный диск

du --max-depth 1 -h / --exclude=/var/lib/clickhouse похоже, вас ждут сюрпризы

ругается на нехватку места в /var/lib/clickhouse, который как видно имеет достаточно свободного места

ругается на нехватку места в /var/lib/clickhouse, который как видно имеет достаточно свободного места

а места не хватает на /

а места не хватает на /

удалил данные strace, запустил заново, минут через 5 упадёт

это перед запуском

ну он даже лог у вас не может записать чтобы вы узнали что не так

вот ошибка Code: 1000. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: File access error: no space left on device: /var/lib/clickhouse/data/default/pack_statistics/tmp_insert_20180608_20180608_125748_125748_0. как видно, не на корневой диск ругается

да, использую MergeTree

А что дф ?

покади df -h и df -i

просто странно что вы записали за 2 минуты 30 гигов в кх

на айноды тоже думал

мониторинг по айнодам показывает что всё нормально

ну сейчас то дф что показывает ?

прям перед падением

в каком логе смотреть?

у вас кончаются иноды

вот теперь заметил

там пустая файлсистема? ее стоит переформатировать

что с этим можно сделать?

на пустой та же проблема была

форматишь заново в ext4 и задаешь большое количество инодов

для примера какое?

там просто по дефолту количество инодов зависит от размера диска а на 40 гигов их будет очень мало

ну задайте в 100 раз больше инодов чем сейчас

спасибо, завтра попробую

Интересно кстати - почему столько инодов занято?

Мелкие вставки?

Вангую: внутри того data.sql который вы пайпуете в clickhouse-client много-много однострочных INSERT.

А должен быть один :)

и много-много VALUES.

@milovidov_an а на сколько стабильна уже 18 ветка? А то что не день то о каком то баге пишут, хотя не всегда конечно связано это именно с самим кх. Но проблем явно больше чем было раньше, хотя возможно просто больше людей в чате стало.

У нас на продакшене она используется. Если говорить про отдельные релизы, то по количеству обнаруженных ошибок, 18.12 существенно лучше, чем 18.10, 18.5, 18.1.

@milovidov_an а на сколько стабильна уже 18 ветка? А то что не день то о каком то баге пишут, хотя не всегда конечно связано это именно с самим кх. Но проблем явно больше чем было раньше, хотя возможно просто больше людей в чате стало.

Ещё хотелось бы узнать - если сейчас есть какой-либо баг, обнаруженный в последней версии, который вас беспокоит - то какой именно?

друзья, а вот расскажите, очищаются ли данные в кликхаусе как-то? то есть он же в основном для метрик используется, а метрики, далеко не всегда нужно хранить годами. как происходит освобождение памяти от уже ненужного?

друзья, а вот расскажите, очищаются ли данные в кликхаусе как-то? то есть он же в основном для метрик используется, а метрики, далеко не всегда нужно хранить годами. как происходит освобождение памяти от уже ненужного?

Данные сами собой не очищаются. Это надо делать вручную. Например, удалением старых партиций.

аа, ок

пасиб

Ещё хотелось бы узнать - если сейчас есть какой-либо баг, обнаруженный в последней версии, который вас беспокоит - то какой именно?

счетчик MemoryTracking сломался

поменяйте функцию на дельту

поменяйте функцию на дельту

Счётчик (глобальный) действительно сейчас показывает не то, что надо. Для отдельных запросов отслеживание памяти - Ок.

поменяйте функцию на дельту

думаете будет норм показывать? расход оперативки для всех запросов на текущий момент

думаю - да. судя по графику - счетчик является каунтером, то есть он показывает не текущее значение, а прирост

пропишете дельту - будут реальные цифры

Но так не должно быть.

Добрый вечер! Подскажите пожалуйста, а вот этот пункт "Protobuf and Parquet input and output formats" в какой стадии сейдас находится?

combot.org/c/-1001080295593

Добрый вечер! Подскажите пожалуйста, а вот этот пункт "Protobuf and Parquet input and output formats" в какой стадии сейдас находится?

Есть рабочие pull requests, но их нужно доделывать. Внешний разработчик (@luc1ph3r) хочет довести до разумного состояния до октября (но я не уверен, что это будет), потом будем сами доделывать.

Судя по коммиту построение схемы таблицы по протобуф описанию не предполагается? Возможно с какими-то ограничениями по вложенности сообщений...Только загрузка/выгрузка данных или есть что-то в перспективе? Было бы очень прикольно скормить КХ .proto файл и получить на выходе готовые талицы и возможность лить данные в соответствующем формате :) Ну конечно мечтать не вредно :)

Пока нет - только загрузка в таблицу с более-менее соответствующей схемой, и выгрузка из таблицы в схеме, которая выводится из схемы таблицы.

https://gist.github.com/pavel-odintsov/5cb2177f2735712fc033fcc9352158dc

Сейчас разберёмся с некоторыми мелочами и напишу в личку, как помочь разобраться.

спасибо! :)

Есть feature request - сделать движок GraphiteReplacingMergeTree

цель - возможность перезаписывать определенные данные в истории

к примеру - убирать спайки фолс-позитивов

подскажите, в чем разница в использовании 32-битного sampling выражения и 64-битного? intHash32 vs intHash64?

спам же

Всем привет, подскажите как лучше хранить и считать агрегаты над 38 символьными числами? Что-то типо number/numeric я так понял нет

@milovidov_an Алексей, нашел вашу цитату "После вставки в Distributed таблицу, отправка данных на удалённые серверы производится полностью асинхронно. Если при отправке возникает ошибка, её следует смотреть в логе отправляющего сервера." Сохранилось ли такое же поведение сейчас? Интересен момент с возвращением статуса. Хотелось бы или получать ошибочный статус при невозможности вставки данных на другие шарды, а не сообщение в лог, или может быть повторные попытки отправки данных на другие шарды.

Всем привет, подскажите как лучше хранить и считать агрегаты над 38 символьными числами? Что-то типо number/numeric я так понял нет

decimal сейчас в активной разработке, в свежих сборках можно уже потестить

@milovidov_an Алексей, нашел вашу цитату "После вставки в Distributed таблицу, отправка данных на удалённые серверы производится полностью асинхронно. Если при отправке возникает ошибка, её следует смотреть в логе отправляющего сервера." Сохранилось ли такое же поведение сейчас? Интересен момент с возвращением статуса. Хотелось бы или получать ошибочный статус при невозможности вставки данных на другие шарды, а не сообщение в лог, или может быть повторные попытки отправки данных на другие шарды.

Можно синхронную вставку включить insert_distributed_sync

спасибо!

decimal сейчас в активной разработке, в свежих сборках можно уже потестить

а есть по ним документация?

а есть по ним документация?

Пока нет, но там мало что от SQL стандарта отличается + можно по тестам ориентироваться

Пока нет, но там мало что от SQL стандарта отличается + можно по тестам ориентироваться

главный вопрос сколько можно до и после ? ( знаков я имею ввиду )

Всего 38 знаков.

а можно ли сказать сабжу слушать по ssl на 0.0.0.0 и без ssl на 127.0.0.1?

Ok

Коллеги мне помогли разобраться, вроде бы ошибка в драйвере Скоро будет ишью

На distributed таблице не работает функция quantiles Received exception from server (version 18.12.14): Code: 42. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Aggregate function quantile require one parameter or less:

так и задумано?)

Добрый день! Есть запрос вида: SELECT ... FROM ... WHERE ... AND test_id IN ( SELECT test_id... ) GROUP BY ... ANY LEFT JOIN ( SELECT ... FROM ... WHERE ... AND test_id IN ( SELECT test_id... ) GROUP BY ... ANY LEFT JOIN ( SELECT ... FROM ... WHERE ... AND test_id IN ( SELECT test_id... ) ) USING test_id LIMIT ... в нём все три подзапроса SELECT test_id... совершенно одинаковы; будут ли они вычислены в CH только один раз?

Коллеги мне помогли разобраться, вроде бы ошибка в драйвере Скоро будет ишью

Хорошо, давайте issue буду править ;)

Хорошо, давайте issue буду править ;)

https://github.com/kshvakov/clickhouse/issues/122