Добрый день! А никто не подскажет, можно ли сделать атрибут типа enum во внешнем словаре?

добавлю свой вопрос в общий список: если я сделал ALTER DROP COLUMN на колонку в которой было очень много данных (длинная строка), а потом сделал ALTER ADD COLUMN с тем же именем и типом, должно ли ранне использовавшееся место на диске стать доступным и когда это произойдет? можно ли как-то ускорить?

Добрый день! А никто не подскажет, можно ли сделать атрибут типа enum во внешнем словаре?

Такой возможности нет. Можно загружать из внешней базы int-ы и уже после dictGet... сделать CAST (неудобно).

Привет. Подскажите пожалуйста. Нужны Dictionaries с mysql, которая на другом сервере за ssh, возможно такое провернуть?

сделай скриптом

Через command в которую оберни ssh "чего-тотам"

добавлю свой вопрос в общий список: если я сделал ALTER DROP COLUMN на колонку в которой было очень много данных (длинная строка), а потом сделал ALTER ADD COLUMN с тем же именем и типом, должно ли ранне использовавшееся место на диске стать доступным и когда это произойдет? можно ли как-то ускорить?

Да, должно. ALTER DROP COLUMN удаляет данные сразу, и значит - место сразу должно освободиться.

А ещё есть полезная штука - очистка данных столбца в указанной партиции: ALTER ... CLEAR COLUMN ... IN PARTITION ...

интересно, спасибо, в доке что-то не нашел про CLEAR

Такой возможности нет. Можно загружать из внешней базы int-ы и уже после dictGet... сделать CAST (неудобно).

Спасибо! Жаль, было бы полезно

а, или не так даже: 1. detach partition - на обеих репликах партиция перенесется в папку detached 2. очистите папку detached на проблемной ноде 3. attach partition, и проблемная нода скачает партицию со здоровой

спасибо, сейчас попробую

Здравствуйте, такой вопрос: а какой рэйт инсерта можно ожидать от Buffer таблиц?

Скажем, размеры буфера достаточно большие что бы КХ не приходилось часто сбрасываться.

И всё упирается в саму способность КХ успевать раскладывать в памяти

Мы выжимали 1 гбит/сек на чанках размером в 100 кб

это порядка 1 000 инсертов в секунду

наверное можно и больше запросов в секунду слать, но в таком случае пропускная способность (в байтах/сек) будет ещё ниже

Всем привет. Вопрос по Engine Kafka: ENGINE = Kafka('host', 'topic', 'group', 'JSONEachRow'); При запросе к табличке через LIMIT 1 потребляет 1 сообщение с топика и все ок. ENGINE = Kafka('host', 'topic', 'group', 'TabSeparated'); При запросе к табличке через LIMIT 1 потребляет 2 сообщения с топика и все плохо. Неможет отпарсить сообщение, ругается, всякое. Could not print diagnostic info because two last rows aren't in buffer (rare case) Если, скажем, положить 3 сообщения в топик и начать выполнять селкеты - выходит 1 ошибка и 1 валидное сообщение(у 3-го нет пары чтобы его побить). Что могло пойти не так? или просто баг? version 1.1.54343

Всем привет. Вопрос по Engine Kafka: ENGINE = Kafka('host', 'topic', 'group', 'JSONEachRow'); При запросе к табличке через LIMIT 1 потребляет 1 сообщение с топика и все ок. ENGINE = Kafka('host', 'topic', 'group', 'TabSeparated'); При запросе к табличке через LIMIT 1 потребляет 2 сообщения с топика и все плохо. Неможет отпарсить сообщение, ругается, всякое. Could not print diagnostic info because two last rows aren't in buffer (rare case) Если, скажем, положить 3 сообщения в топик и начать выполнять селкеты - выходит 1 ошибка и 1 валидное сообщение(у 3-го нет пары чтобы его побить). Что могло пойти не так? или просто баг? version 1.1.54343

Я такое ловил на этой же версии, но не с кафкой, а с обычным mergetree.

Это появилось после апгрейда. Создал новую таблицу, слил туда данные из старой и старую удалил - проблема ушла.

пересоздавал таблицу несчетное количество раз в процессе поиска проблемы)

пересоздавал таблицу несчетное количество раз в процессе поиска проблемы)

Тогда надо обратиться к разработчикам движка. Толи это вертамедиа, толи клаудфлэйр - не помню (

Всем привет. Вопрос по Engine Kafka: ENGINE = Kafka('host', 'topic', 'group', 'JSONEachRow'); При запросе к табличке через LIMIT 1 потребляет 1 сообщение с топика и все ок. ENGINE = Kafka('host', 'topic', 'group', 'TabSeparated'); При запросе к табличке через LIMIT 1 потребляет 2 сообщения с топика и все плохо. Неможет отпарсить сообщение, ругается, всякое. Could not print diagnostic info because two last rows aren't in buffer (rare case) Если, скажем, положить 3 сообщения в топик и начать выполнять селкеты - выходит 1 ошибка и 1 валидное сообщение(у 3-го нет пары чтобы его побить). Что могло пойти не так? или просто баг? version 1.1.54343

Известная проблема. Там тривиально. Немного подождём, и если Marek Vavrusa про это забудет, придётся самим доделывать.

спасибо большое

Привет,кто нибудь сталкивался,что jdbc к ClickHouse при select c resultset зависает на 300000-330000 rows?

/stat@combot

combot.org/chat/-1001080295593

Всем привет. Кто знает как решить: Забираю данные с кафки, потом кладу в другую таблицу через materialized view, но данные не ложатся, пишет: <Trace> StorageKafka (fromkafka): EOF reached for partition 0 offset 59651 и тд Данные в сборщике таблицы кафки есть

Лююдиии

Утро на дворе, да ещё и пятница

Окстись, демон

Утро на дворе, да ещё и пятница

полдень епт )

выяснил почему так делает, но хз как исправить

Всем привет. Кто знает как решить: Забираю данные с кафки, потом кладу в другую таблицу через materialized view, но данные не ложатся, пишет: <Trace> StorageKafka (fromkafka): EOF reached for partition 0 offset 59651 и тд Данные в сборщике таблицы кафки есть

Из кафки лучше руками класть. Когда смотрели в декабре эту фичу кластера у нас терялось 1/3 сообщений

Из кафки лучше руками класть. Когда смотрели в декабре эту фичу кластера у нас терялось 1/3 сообщений

что-нибудь готовое можете посоветовать?

и по какой причине терялись?

>Warning! SSE 4.2 instruction set is not supported - насколько критично данное замечание, получаемое при старте сервера?

нужно пересобирать без поддержки SSE 4.2, иначе будет падать при некоторых запросах

нужно пересобирать без поддержки SSE 4.2, иначе будет падать при некоторых запросах

Спасибо!

и по какой причине терялись?

подобные мессаги лились в логи. Нам быстрее было написать процесс с akka streams чем пытаться из этих малозначимых строк понять в чем дело

подобные мессаги лились в логи. Нам быстрее было написать процесс с akka streams чем пытаться из этих малозначимых строк понять в чем дело

хмм, кажется еще более подробно разобрался, сообщения с кафки тянутся отлично, в кафкаэнджайн ложатся, НО, материалайзед вью хавает с него, но почему то флушит только раз в таблицу

в начале, и в конце когда данные с кафки перестают поступать

данных много?

он же пытается их блоком записать

если мало то пишет по таймауту

там кстати есть 6 параметр в движке :) не описанный в доке

Про stream_flush_interval_ms в доке есть, но там нет про то что через конфиг можно передать в rd_kafka_conf_set все что угодно https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/StorageKafka.cpp#L205

я так то про количество консьюмеров, спс за еще одну штуку

А, да, действительно про них нет, хотя добавили еще в прошлом году

Откат на несколько версий помогли

помогло*

и теперь все работает

Откат на несколько версий помогли

На какой работает/не работает

На какой работает/не работает

latest с докер хаба не пашет, а 1.1.54327 - работает

latest с докер хаба не пашет, а 1.1.54327 - работает

Да, там после 54327 было много правок, можете оформить issue на github и сразу vavrusa можете в копию поставить

Да, там после 54327 было много правок, можете оформить issue на github и сразу vavrusa можете в копию поставить

Я слишком ленив для таких вещей)

Всем привет. Никто не сталкивался? systemctl не может управлять службой, ругаясь в логах: Cannot lock file /var/lib/clickhouse/status. Another server instance in same directory is already running. также есть в /var/log/messages: systemctl: Failed to start clickhouse-server.service: Interactive authentication required. причем другого процесса нет и файла status тоже

Там при обновлении инструкция должна была выскочить sudo killall clickhouse-server && sleep 5 && sudo service clickhouse-server restart

Как бы сказал один человек, "У Вас талант". А по делу первый раз вижу. Чтото с правами. Может требуется больше привелегий чем имеется у пользователя от которого запускается. К самому КХ это не относится.

если это после обновления - как написано выше надо killall , если без обновления само началось - надо смотреть кто запущен и почему не работает stop (pid потерялся итд)

убиваться то он убивается киллом, но стартует только командой из сейрвайз-файла [root@ch1 ~]# ps aux |grep clickhouse-server root 37086 0.0 0.0 107944 608 pts/2 S+ clickho+ 37629 107 1.5 805144 370156 ? Ssl 14:14 1:30 /usr/bin/clickhouse-server --daemon --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config=/etc/clickhouse-server/config.xml root 37667 0.0 0.0 112660 976 pts/1 R+ 14:16 0:00 grep --color=auto clickhouse-server [root@ch1 ~]# cat /var/run/clickhouse-server/clickhouse-server.pid 37629[root@ch1 ~]# systemctl status clickhouse-server ● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data) Loaded: loaded (/usr/lib/systemd/system/clickhouse-server.service; disabled; vendor preset: disabled) Active: activating (auto-restart) since Fri 2018-02-16 14:12:50 MSK; 3min 57s ago Process: 37595 ExecStart=/usr/bin/clickhouse-server --daemon --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config=/etc/clickhouse-server/config.xml (code=exited, status=0/SUCCESS) Main PID: 37595 (code=exited, status=0/SUCCESS) [root@ch1 ~]#

и ПИД-файл нормальный

сервер работает, логи пишет, а systemctl / service не могут ни показать статус(врут, что лежит) ни стартовать, ни остановить

[root@ch1 ~]# cat /usr/lib/systemd/system/clickhouse-server.service [Unit] Description=ClickHouse Server (analytic DBMS for big data) [Service] Type=simple User=clickhouse Group=clickhouse Restart=always RestartSec=30 ExecStart=/usr/bin/clickhouse-server --daemon --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config=/etc/clickhouse-server/config.xml LimitCORE=infinity LimitNOFILE=500000 [Install] WantedBy=multi-user.target[root@ch1 ~]#

User=clickhouse Group=clickhouse в наличии? прав хватает?

права на всем пути для юзера /var/run/clickhouse-server/clickhouse-server.pid

в наличии, /var/run принадлежит руту, дальше - КХ

если с правами разобраться тяжело, убери User=clickhouse Group=clickhouse или root пропиши

весь /var/lib/clickhouse-server принадлежит КХ

Всем привет. Не сталкивались с такой проблемой, что кликхаус не стартует и не слушает порты с ошибкой: Cannot lock file /var/lib/clickhouse/status. Another server instance in same directory is already running. Pid и status файлы удалял - не помогает.

проверяй каждый каталог на наличии +x прав на каждый каталог по пути до пид фала

кажется, в новых версиях все хорошо

Привет всем. В 343 ReplacingMergeTree также повреждает данные, хоть и реже. Вот способ воспроизвести https://github.com/yandex/ClickHouse/issues/1914

[root@ch1 ~]# cat /usr/lib/systemd/system/clickhouse-server.service [Unit] Description=ClickHouse Server (analytic DBMS for big data) [Service] Type=simple User=clickhouse Group=clickhouse Restart=always RestartSec=30 ExecStart=/usr/bin/clickhouse-server --daemon --pid-file=/var/run/clickhouse-server/clickhouse-server.pid --config=/etc/clickhouse-server/config.xml LimitCORE=infinity LimitNOFILE=500000 [Install] WantedBy=multi-user.target[root@ch1 ~]#

--daemon --pid-file=/var/run/clickhouse-server/clickhouse-server.pid попробуй убрать

[root@ch1 ~]# ls -l /var/run/clickhouse-server total 4 -rw-r-----. 1 clickhouse clickhouse 5 Feb 16 14:14 clickhouse-server.pid [root@ch1 ~]# ls -ld /var/run/clickhouse-server drwxr-xr-x. 2 clickhouse clickhouse 60 Feb 16 14:14 /var/run/clickhouse-server [root@ch1 ~]# ls -ld /var/run lrwxrwxrwx. 1 root root 6 Oct 23 16:33 /var/run -> ../run

Как принято получать runningDifference одинм запросом для нескольких значений? Хочу графики top3 построить, но runningDifference применяется в том числе и для значений на границах для разных хостов, что-то типа на входе - ($lastdatetime, host1, 10000), ($firstdatetime, host2, 1), на выходе - ($firstdatetime, host2, -9999), что явно неправильно.

/etc/init.d/clickhouse status/start/stop нормально отрабатывает

Maxim справами все окич, он какие-то внутренние работы проводит, судя по ротации tmp_delete_ ... _0/event_date.bin файлов

в strace видно

--daemon --pid-file=/var/run/clickhouse-server/clickhouse-server.pid попробуй убрать

Да так работает все, спасибо

visitParamExtract для даты?

в json это все равно строка

Cannot parse string '02-15-2018 09:14:16' as DateTime: syntax error at position 10 (parsed just '02-15-2018')

WUT?

yyyy-mm-dd HH:mm:ss

Золотой Стандарт

-__-

Здравствуйте! А как можно подключить внешний словарь, если источник - postgres, а тип поля, которое должно быть атрибутом в ПГ - uuid?

при <attribute> <name>token</name> <type>String</type> <null_value></null_value> </attribute> last_exception Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Bad data format: Unsupported data type., e.what() = Bad data format

А если его в PostgreSQL кастануть к тексту?