а receive_timeout не работает на запросах типа clickhouse-client --query="INSERT INTO ... FORMAT TSV" --receive_timeout=3600 ? Прост поймали когда 5 минут не слать данные в stdin клиенту ничего, а потом опять слать, то сервер рвет соединение с эксепшеном по таймауту https://github.com/yandex/ClickHouse/blob/dc5eca0bebf41bf91b88ec3bcc24e664e5d22f3d/dbms/src/Server/TCPHandler.cpp#L267 и есть подозрение что настройка в 3600 не работает и юзается дефолтная 300

помогло только выставить ее в users.xml в 3600

Возможно, что такие настройки не вступают в силу, если соединение уже установлено. То есть, они должны быть выставлены до установления соединения. Хотя ничто не мешало бы смотреть на настройки и соответствующем образом менять параметры соединения. Но это не сделано. То есть, такое поведение неудобно, но объяснимо.

Changelog: https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

Спасибо за changelog!

Changelog: https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

Спасибо за changelog

привет! подскажите как правильно добавить несколько часов к DateTime?

нужно что то вроде: SELECT NOW(), NOW() + INTERVAL 6 HOUR

EventTime + 3600 * 6

EventTime + 3600 * 6

спасибо))) не догадался что надо просто секундами добавлять, думал мб функция есть

Все просто ) под капотом datetime это обычный unix timestamp

По воводу 1.1.54289 релиза, там исправлена ошибка ALTER на ReplicatedMergeTree после выполнения ALTER MODIFY элемента Nested структуры, мы вчера 1.1.54284 словили ошибку с битыми данными на ALTER Enum (начало жаловаться на то что типы не соответствуют). Еще мы вчера словили n-e количество сегфолтов на ровном, казалось бы, месте. Нужно было заинсталировать кластер с нуля, но часть таблиц у нас недоехала, к ним шло обращение и сервер отдавал станратно что таблици нет, после этого вкатили CREATE TABLE ... ON CLUSTER и ноды стали вываливаться одна за другой Кусок лога https://gist.githubusercontent.com/kshvakov/0b27e91074533f5549ec89e881a645e2/raw/b219c2405f14890f4eb83a4700d4f8fed766e00e/gistfile1.txt Плюс еще что-то пошло нетак с создание MATVIEW и при вставке в целевую таблицу ругалось что таблици от VIEW нет, создать ее нельзя т.к. ругалось на то что реплика уже существует (VIEW - реплицируемая) Короче, вчера у нас была маленькая пятница )

По воводу 1.1.54289 релиза, там исправлена ошибка ALTER на ReplicatedMergeTree после выполнения ALTER MODIFY элемента Nested структуры, мы вчера 1.1.54284 словили ошибку с битыми данными на ALTER Enum (начало жаловаться на то что типы не соответствуют). Еще мы вчера словили n-e количество сегфолтов на ровном, казалось бы, месте. Нужно было заинсталировать кластер с нуля, но часть таблиц у нас недоехала, к ним шло обращение и сервер отдавал станратно что таблици нет, после этого вкатили CREATE TABLE ... ON CLUSTER и ноды стали вываливаться одна за другой Кусок лога https://gist.githubusercontent.com/kshvakov/0b27e91074533f5549ec89e881a645e2/raw/b219c2405f14890f4eb83a4700d4f8fed766e00e/gistfile1.txt Плюс еще что-то пошло нетак с создание MATVIEW и при вставке в целевую таблицу ругалось что таблици от VIEW нет, создать ее нельзя т.к. ругалось на то что реплика уже существует (VIEW - реплицируемая) Короче, вчера у нас была маленькая пятница )

У меня была похожая проблема с ddl запросами. Ноды рандомно зависали, причем всегда две и из разных шардов. Вылечил обновлением.

Но после обновления появилась проблема с limit by )

А с ним что не так и в какой версии ?

Могу чуть позже сказать версию, еще в дороге, не помню точно какая у нас сейчас. Проблему сейчас в логе найду, мы с Алексеем ее обсуждали

ОК

Отправил в личку, т.к. там 18 сообщений

а в новой версии убрали лимит на размер словаря?

Там же лимит вроде как прописывался изначально? Т.е. сколько максимум словарь может сожрать оперативки

там был лимит на количество строк около 2млн

всем привет. есть необходимость перераспределить данные - добавили в кластер новый шард, хочется не заливать новые данные только на него, а перераспределить старые. решардинг, насколько я понимаю, до сих пор в бетте. есть идея сделать через detach/attach partition, но не уверен, что кликхаус нормально на такое отреагирует. никто не пробовал? или может есть другие идеи, как такое сделать?

Отлично отреагирует на DETACH/ATTACH

всем привет. есть необходимость перераспределить данные - добавили в кластер новый шард, хочется не заливать новые данные только на него, а перераспределить старые. решардинг, насколько я понимаю, до сих пор в бетте. есть идея сделать через detach/attach partition, но не уверен, что кликхаус нормально на такое отреагирует. никто не пробовал? или может есть другие идеи, как такое сделать?

Посмотрите в документации, там описано как указать вес шарда

https://clickhouse.yandex/docs/ru/table_engines/distributed.html

вес шарда - это хорошо. но заливаться будет только на него (а потом и выборка будет только с него). не очень хочется такого перекоса по нагрузке.

Так сначала укажите новому шардру сильно больший вес. А когда данные выровняются - уберите перекос

Часто всем более нужны новые данные, поэтому в какой-то момент можно остаться с 1-м сервером если так веса крутить

вот я тоже об этом подумал. что в какой-то момент большая часть запросов будет валиться на него

Привет! Подскажите, пожалуйста, а если какая-нибудь настройка для ограничения времени выполнения запроса?

Отлично отреагирует на DETACH/ATTACH

а ключ шардирования? он только на вставку влияет? т.е. в данных его нет и т.п. ведь при переносе мы, по сути, его принудительно меняем для тех данных, что были ранее вставлены

Да, только на вставу в distributed

не нашёл информации об этом в доке... отлично. спасибо!

а сколько времени может выполняться rename table?)

уже минут 10 висит rename что может быть не так?

RENAME ждёт выполнения всех остальных запросов. Если запросы идут непрерывно, то будет ждать вечно.

Алексей, а у нас нет ддругих запросов, это локальный тест, движок replacingMergeTree и судя по логу чтото мержится в это время

Мержится всё это время?

ага

Мержи тоже блокируют rename.

хм, т.е. пока движок сам не закончит мерж то rename не случится?

а прервать тогда можно rename?

Нет, он не прерывается. Если совсем плохо, то можно сделать forcerestart сервера.

ок, понятно. Спасибо!

вопрос от коллеги - а можно индексы расположить отдельно? чтобы они были на ssd а основные данные на рейде?

Такой возможности нет. Но вряд ли это требуется для ClickHouse, потому что индексы занимают очень мало места и кэшируются в оперативке. Проверьте: find /opt/clickhouse -name '*.idx' -or -name '*.mrk' | xargs wc -c

ок, спасибо =)

Добрый день, подскажите секция With в Select умеет только скалярные значения возвращать? Есть желание сделать следующе: WITH (SELECT id FROM dictionaries.dic) AS dic_items SELECT f1 FROM table WHERE f2 in dic_items Но это только генерит ошибоньку DB::Exception: Scalar subquery returned more than one row...

Сделать один подзапрос в словарь по условию, и потом эти значения использовать в селекте

Да, только скалярные.

Спасибо

Да, местами очень не хватает CTE

Здравствуйте! Падаем с ошибками: 2017.09.15 13:25:41.593455 [ 2003 ] <Error> void DB::ReplicatedMergeTreeRestartingThread::run(): std::exception. Code: 1001, type: std::system_error, e.what() = Resource temporarily unavailable 2017.09.15 13:25:41.593922 [ 2002 ] <Error> void DB::ReplicatedMergeTreeRestartingThread::run(): std::exception. Code: 1001, type: std::system_error, e.what() = Resource temporarily unavailable 2017.09.15 13:25:41.600634 [ 2004 ] <Error> void DB::ReplicatedMergeTreeRestartingThread::run(): std::exception. Code: 1001, type: std::system_error, e.what() = Resource temporarily unavailable что может быть?

Используется очень большое количество мелких таблиц - создаётся много потоков - следующий поток невозможно создать.

коллеги, а где-то существует репозиторий с пакетами clickhouse для debian?

Не видел. Часто можно выбрать "соответствующую" Ubuntu и взять пакет для ней.

а какая убунта соответсвует debian jessie?

Не знаю. Надеюсь, кто-нибудь другой в этом чате подскажет.

14-15

15.10 wily jessie / sid 15.04 vivid jessie / sid 14.10 utopic jessie / sid 14.04 trusty jessie / sid

спасибо!

а можно выполнить sql запрос из файла конфигурации словаря?

в общем случае у словаря нет запроса, который можно выполнить в CH. а что вы хотите получить?

скажаем так хотели сделать в mysql view но не получается из-за вложенности select'ов если select разбивать на разные view то почемуто нарушается структура выходных данных, поэтому хотели налету делать как обычный запрос

Помогите раступить обратно? КХ слушает только локалосты, а пользователю можно коннектиться с других хостов. Что-бы могло быть? ➜ ~ netstat -nlp | grep clic tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 8584/clickhouse-ser tcp 0 0 127.0.0.1:9009 0.0.0.0:* LISTEN 8584/clickhouse-ser tcp 0 0 127.0.0.1:8123 0.0.0.0:* LISTEN 8584/clickhouse-ser tcp6 0 0 ::1:9000 :::* LISTEN 8584/clickhouse-ser tcp6 0 0 ::1:9009 :::* LISTEN 8584/clickhouse-ser tcp6 0 0 ::1:8123 :::* LISTEN 8584/clickhouse-ser а в users.xml 68 <networks incl="networks" replace="replace"> 69 <ip>::/0</ip> 70 </networks>

Рестарт делал даже

listen_host в config.xml

Ой, это с апдейтом, наверное прилетело? Я не менял и работало

Алексей, спасибо, заработало!

Довольно давно (не меньше полугода назад) было изменение, что сервер слушает по-умолчанию только localhost.

Это один из самых старых инстансов ?

Нет, дело в старой версии. собрал 1.1.54236 - и в ней плохо.

Интересно: нашёл способ как заставить тестовый пример заработать в этой старой версии. Если вместо (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum('0') as ip6 написать (position(ip_prefix,':') > 0) ? IPv6StringToNum(extract(ip_prefix,'^(.+)/')) : IPv6StringToNum(ip_prefix) as ip6 то всё отрабатывает нормально без вылета по эксепшн. PS: и, по-хорошему, надо было бы заменить формат в последнем pipe на FORMAT Native, но и с CSV прокатило (повезло).

Товарищи, не подскажите c++ либу для работы с clickhouse? Насколько жив проект clickhouse-cpp? Спасибо.

если не пугает размер и время сборки - весь clickhouse можно собрать как so и использовать что надо

если не пугает размер и время сборки - весь clickhouse можно собрать как so и использовать что надо

Спасибо, рассмотрим этот вариант)

Здравствуйте! А как наверняка выяснить лидера из двух реплик одного шарда?

Здравствуйте! А как наверняка выяснить лидера из двух реплик одного шарда?

Select from system.replicas

Маленькии вопросик по drop partition Если запустить на распределенной таблице можно надеятся что выполнится на всех нижележащих MetgeTree ?

Можно узнать о методах компрессии чисел с плавающей точкой? Можно ли использовать КХ для задачи записи в реальном времени и хранения измерений 1,5 млн. аналоговых сигналов? Какой движок таблиц посоветуете для такой задачи? Спасибо.

Маленькии вопросик по drop partition Если запустить на распределенной таблице можно надеятся что выполнится на всех нижележащих MetgeTree ?

Можно сделать ALTER TABLE table ON CLUSTER cluster DROP PARTITION ...

Запрос должен полететь по кластеру

Или речь не об этом?

Спасибо

Об этом

наверное

Ну я так понял, что есть кластер и нужно дропнуть партицию с таблицы на всем кластере. Если речь об этом, то ON CLUSTER должен решить эту проблему

да об этом, спсб

Пожалуйста :)

Можно узнать о методах компрессии чисел с плавающей точкой? Можно ли использовать КХ для задачи записи в реальном времени и хранения измерений 1,5 млн. аналоговых сигналов? Какой движок таблиц посоветуете для такой задачи? Спасибо.

Не знаю на счет чисел с плавающей точкой, но у меня есть БД собранная из файлов, которые в сжатом виде весят 400 Gb. Таблица с нагенерированными данными соразмерная количеству строк в файлах, а их примерно 3ккк, весит в сжатом виде всего 22 Gb. Все данные - строки, в таблице всего 4 колонки. Так что сжатие очень хорошее, даже на строках.

Можно узнать о методах компрессии чисел с плавающей точкой? Можно ли использовать КХ для задачи записи в реальном времени и хранения измерений 1,5 млн. аналоговых сигналов? Какой движок таблиц посоветуете для такой задачи? Спасибо.

Про float 0.1+0.1 != 0.2 рекомендуется int

Всем привет. Подскажите, плиз, пытаемся внедрить графану, попробовали datasource от vertamedia, но он какой-то кривой(Графики при группировки по дате странно выглядят, таблицы по датам в принципе чушь показывают). Есть ли какой-то аналог datasource?(на сайте графаны не нашел) Или может посоветуете аналогичную тулзу с конструктором отчетов\графиков?