Выложили новую версию ClickHouse - 1.1.54236.

Че-то нету http://repo.yandex.ru/clickhouse/precise/pool/main/c/clickhouse/

или теперь будут с -debug?

Что-то не то залилось. Сейчас посмотрим.

2017.05.25 13:09:57.227116 [ 120 ] <Error> BaseDaemon: ######################################## 2017.05.25 13:09:57.240811 [ 120 ] <Error> BaseDaemon: (from thread 62) Received signal Segmentation fault (11). 2017.05.25 13:09:57.240842 [ 120 ] <Error> BaseDaemon: Address: NULL pointer. 2017.05.25 13:09:57.296645 [ 120 ] <Error> BaseDaemon: 1. /lib/x86_64-linux-gnu/libc.so.6(+0x16e5c0) [0x7f79b906e5c0] 2017.05.25 13:09:57.301385 [ 120 ] <Error> BaseDaemon: 2. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34e6845] 2017.05.25 13:09:57.301416 [ 120 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f79b99e56ba] 2017.05.25 13:09:57.301433 [ 120 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f79b900682d] Уже второй раз упал инстанс вот с такой ошибкой, у кого-то было? Версия кликхаус 1.1.54187

2017.05.25 13:09:57.227116 [ 120 ] <Error> BaseDaemon: ######################################## 2017.05.25 13:09:57.240811 [ 120 ] <Error> BaseDaemon: (from thread 62) Received signal Segmentation fault (11). 2017.05.25 13:09:57.240842 [ 120 ] <Error> BaseDaemon: Address: NULL pointer. 2017.05.25 13:09:57.296645 [ 120 ] <Error> BaseDaemon: 1. /lib/x86_64-linux-gnu/libc.so.6(+0x16e5c0) [0x7f79b906e5c0] 2017.05.25 13:09:57.301385 [ 120 ] <Error> BaseDaemon: 2. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34e6845] 2017.05.25 13:09:57.301416 [ 120 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f79b99e56ba] 2017.05.25 13:09:57.301433 [ 120 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f79b900682d] Уже второй раз упал инстанс вот с такой ошибкой, у кого-то было? Версия кликхаус 1.1.54187

Обновитесь до свежей версии. Можно собрать из master или последнего stable.

Обновитесь до свежей версии. Можно собрать из master или последнего stable.

Спасибо, попробую

Т.е. в данном примере values просто игнорируется? Тогда всё логично.

Оно там не то что бы игнорируется, предположим что у вас есть 2 запроса: а) INSERT INTO table VALUES (value_a, value_b, value_c); б) INSERT INTO table (a, b) VALUES (value_a, value_c); на сервер отправляется запрос без данных, т.е. все что после VALUES отбрасывается и в случае "а" сервер ответит клиенту с указанием всех колонок в таблице и их типами в том порядке в котором ожидает их принять, в случае "б" вернет набор только колонок a и b, причем в указанном в запросе порядке

Я не знаю что такое с artpaul, но мой клиент на нём тормозит жутко. 20 вставок в секунду.

это мало, у меня есть тестовый кейс для выявления одного бага в библиотеке, там поднимается КХ в докере и к нему идут очень много мелких запросов (~1000 строк) получается где-то 300 rps, но после этого КХ до бесконечности сыплет в логи lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error 2017.05.26 09:39:56.270920 [ 3 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Poco::Exception. Code: 1000, e.code() = 39, e.displayText() = File access error: directory not empty: /var/lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error 2017.05.26 09:39:56.319561 [ 10 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Poco::Exception. Code: 1000, e.code() = 39, e.displayText() = File access error: directory not empty: /var/lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error 2017.05.26 09:39:56.338284 [ 5 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Poco::Exception. Code: 1000, e.code() = 39, e.displayText() = File access error: directory not empty: /var/lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error

После обновления с версии 1.1.54231 до 1.1.54236 select distinct стал очень долгим и падает по таймауту, а раньше не больше 1-2 секунд отрабатывал

Также с последней версией не работает фетчинг колонок таблицы в JDBC драйвере

Последняя версия драйвера? Если это не таймаут, и есть подозрение что дело в драйвере можно создать задачу в него с описанием ошибки.

Да, так и сделаю

В логах сервера выглядит это так:

2017.05.26 12:19:43.404500 [ 4 ] <Error> HTTPHandler: Code: 47, e.displayText() = DB::Exception: Unknown identifier: default_type, e.what() = DB::Exception, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x1d) [0x5ee3619] 1. clickhouse-server(DB::Exception::Exception(std::string const&, int)+0x46) [0x374eb02] 2. clickhouse-server(DB::ExpressionAnalyzer::getRequiredColumns()+0x88) [0x5d7347c] 3. clickhouse-server(DB::InterpreterSelectQuery::executeFetchColumns()+0x8b) [0x5d2fe03] 4. clickhouse-server(DB::InterpreterSelectQuery::executeSingleQuery()+0x32) [0x5d2e898] 5. clickhouse-server(DB::InterpreterSelectQuery::executeWithoutUnion()+0x109) [0x5d2e853] 6. clickhouse-server(DB::InterpreterSelectQuery::execute()+0x38) [0x5d2e3f2] 7. clickhouse-server() [0x5d9fd5a] 8. clickhouse-server(DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::function<void (std::string const&)>)+0x258) [0x5da0cbc] 9. clickhouse-server(DB::HTTPHandler::processQuery(Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&)+0x1fbb) [0x3762bd9] 10. clickhouse-server(DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)+0x1b2) [0x3763b40] 11. clickhouse-server(Poco::Net::HTTPServerConnection::run()+0x33e) [0x67d9f4e] 12. clickhouse-server(Poco::Net::TCPServerConnection::start()+0x24) [0x67c0e96] 13. clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x15c) [0x67db18e] 14. clickhouse-server(Poco::PooledThread::run()+0x85) [0x69be803] 15. clickhouse-server() [0x698cf1d] 16. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xdc) [0x698cc0e] 17. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8184) [0x7f5b6afc2184] 18. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f5b6a5ddbed]

не хватает только вот этой штуки :)

Done.

@artmkin огромное спасибо!)))

Всем привет! Забавную вещь наблюдаем с clickhouse - 1) добавили в таблицу колонку event_type типа String, 2) Сделали insert нескольких записей в таблицу, где значение event_type = 'click' и 'view' и некоторые другие 3) Пробуем делать простые select where event_type = 'click' - получаем пустую выборку. Тоже самое со значением view.

при этом, если селектить по другому значению, например, render - то селес работает корректно. Возникло ощущение, что слова click и view возможно как-то зарезервированы.

че-т странное. так же использую 'click' и не было такой проблемы а, не, у меня столбец изначально был в таблице и в PK есть

после добавления колонки мы пересоздали полностью таблицу, к слову таблица типа MergeTree

Странная проблема. Пока не сталкивались с таким. Конечно, ничего не зарезервировано. Это было бы слишком глупо. Есть минимальный кейс?

После обновления с версии 1.1.54231 до 1.1.54236 select distinct стал очень долгим и падает по таймауту, а раньше не больше 1-2 секунд отрабатывал

Скажите, DISTINCT чего именно делается (каких столбцов)? Проверим. Регрессия производительности - серьёзная проблема.

Всем привет. У меня такая ситуация - есть таблица статы и обычная вьюха, тянущая данные из этой таблицы, плюс дополнительные вычисления. Вьюха создана запросом, вида CREATE VIEW V AS SELECT *, expr1 as col1, expr2 as col2 FROM Table; Вопрос - при добавлении колонки в таблицу вьюха ее не видит. Есть ли возможность обновлять вьюху, не пересоздавая ее на каждом альтере основной таблицы? Спасибо)

Всем привет! Забавную вещь наблюдаем с clickhouse - 1) добавили в таблицу колонку event_type типа String, 2) Сделали insert нескольких записей в таблицу, где значение event_type = 'click' и 'view' и некоторые другие 3) Пробуем делать простые select where event_type = 'click' - получаем пустую выборку. Тоже самое со значением view.

Возможно, стоило подождать пока КХ смерджит колонку со всеми кусками или зафорсить событие выполнив OPTIMIZE по таблице

Возможно, стоило подождать пока КХ смерджит колонку со всеми кусками или зафорсить событие выполнив OPTIMIZE по таблице

С чего бы это требовалось. Всё должно работать.

Всем привет. У меня такая ситуация - есть таблица статы и обычная вьюха, тянущая данные из этой таблицы, плюс дополнительные вычисления. Вьюха создана запросом, вида CREATE VIEW V AS SELECT *, expr1 as col1, expr2 as col2 FROM Table; Вопрос - при добавлении колонки в таблицу вьюха ее не видит. Есть ли возможность обновлять вьюху, не пересоздавая ее на каждом альтере основной таблицы? Спасибо)

Можно воспользоваться для той же задачи ALIAS столбцами: https://clickhouse.yandex/reference_ru.html#%D0%97%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%BF%D0%BE%20%D1%83%D0%BC%D0%BE%D0%BB%D1%87%D0%B0%D0%BD%D0%B8%D1%8E

Ребят, а только у меня прогресс бар обновляется только по нажатию Enter?

Пока не встречал такого поведения.

Ubuntu 16.04 Стоковый bash. После ввода запроса, и нажатия Enter появляется вот такая строка:

И пока запрос не выполнится, она не меняется. В конце запроса уже вылетают результаты.

если периодически нажимать Enter во время выполнения, то происходит обновление

Это может зависеть от эмулятора терминала. Какой вы используете? Из какой программы?

SecureCRT - xterm

Хм, сейчас попробовал штатным терминалом OS X. Там прогресс бар есть и работает. там TERM=xterm-256color

Для нас требуется, чтобы терминал поддерживал такие escape-последовательности: #define SAVE_CURSOR_POSITION "\e7" #define RESTORE_CURSOR_POSITION "\e8" #define CLEAR_TO_END_OF_LINE "\033[K" Можно проверить с помощью echo -e Также есть похожие escape-последовательности, которые могут заменить первые две: \e[s, \e[u

echo -e "hello \e7world \e8abcde" echo -e "hello \e[sworld \e[uabcde" Что выводит?

#define SAVE_CURSOR_POSITION "\e7" - просто новая строка #define RESTORE_CURSOR_POSITION "\e8" - вернуло в начало строки #define CLEAR_TO_END_OF_LINE "\033[K" - просто новая строка

Родной cmd в windows научился нужным кодам

В windows 10 creators update

У меня косячина похоже в securecrt. Он видимо как то не совсем верно все интерпретирует

Че-то нету http://repo.yandex.ru/clickhouse/precise/pool/main/c/clickhouse/

Сегодня уже есть правильные пакеты.

Пока не встречал такого поведения.

У меня тоже самое на маке, причем не важно, локальный КХ или на удаленном убунтовом сервере

Подскажите пожалуйста, когда стоит увеличивать гранулированность индекса? Как я понимаю чем больше строк в куске тем меньше места занимает вся таблица?

https://groups.google.com/forum/#!searchin/clickhouse/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%7Csort:relevance/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ

У меня тоже самое на маке, причем не важно, локальный КХ или на удаленном убунтовом сервере

долбани команду env, покажи выведет. Из маковского терминала или кастомный клиент?

долбани команду env, покажи выведет. Из маковского терминала или кастомный клиент?

TERM_PROGRAM=Apple_Terminal SHELL=/bin/bash TERM=xterm-256color TMPDIR=/var/folders/71/tl84c0000gp/T/ Apple_PubSub_Socket_Render=/private/tmp/com.apple.launchd.HpxLqk/Render TERM_PROGRAM_VERSION=388 TERM_SESSION_ID= USER=user SSH_AUTH_SOCK=/private/tmp/com.apple.launchd.iW5qU/Listeners __CF_USER_TEXT_ENCODING=0x1F6:0x0:0x0 PATH=/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin PWD=/Users/user XPC_FLAGS=0x0 XPC_SERVICE_NAME=0 SHLVL=1 HOME=/Users/user LOGNAME=user LC_CTYPE=UTF-8 SECURITYSESSIONID= _=/usr/bin/env

Странно. У меня тож самое

Добрый день! Скажите, а кто-нибудь использовал КХ+Logstash?

Всем привет!

sudo service clickhouse-server status /etc/init.d/clickhouse-server: line 274: running_processes: command not found /etc/init.d/clickhouse-server: line 274: [: -eq: unary operator expected clickhouse-server: process unexpectedly terminated

Ubuntu 14.04, версия: 1.1.54236

start/stop/restart работают, status отсох :)

похоже на старую версию инит скрипта

сейчас там на строке 274 совсем другое, и эту проблему уже решали

можно попробовать взять содержимое https://raw.githubusercontent.com/yandex/ClickHouse/master/debian/clickhouse-server.init и положить в /etc/init.d/clickhouse-server:

sudo service clickhouse-server status /etc/init.d/clickhouse-server: line 274: running_processes: command not found /etc/init.d/clickhouse-server: line 274: [: -eq: unary operator expected clickhouse-server: process unexpectedly terminated

Можно сделать sudo apt-get --reinstall -o Dpkg::Options::="--force-confask" install $package Должно помочь

Привет. А кто может по табиксу подсказать? Можно ли его использовать в прокси режиме. Что бы доступ до кх был только с сервера с табиксом, но не у клиентов?

Вроде разработка tabix server только в прогрессе, ещё нет

можно поднять тот же nginx на 8123 порту и смотреть referer'а. если ui.tabix.io - значит из табикса. это, конечно, можно обойти без особых проблем, но мало ли

Пока только nginx в прокси на ch, в настройках tabix указывая http://ip:порт/

табикс дополнительные проверки не делает

Можно поднять табих в докере. В нгинкс прописать на локалхост : порт и аксесс лист

Ребят выкиньте флудера

done

вы не хотите на темную сторону?)

Мы уже и так там:)

@Felixoid спасибо, помогло :)

а можно ли в внешнем словаре в layout совместить complex_key_hashed и cache ?

мне бы распарсить useragent и запихать в кеш

но ключом будет строка

кликхауз подойдет для стоковых данных?

Неоптимально но подойдет. Когда я писал свою хранилку для стоковых данных то получилось сделать ряд хороших оптимизаций

В кх их нет, но он сам по себе крут

а можно ли в внешнем словаре в layout совместить complex_key_hashed и cache ?

complex_key_cache

а есть бд, которая для этого лучше подходит?

а есть бд, которая для этого лучше подходит?

а требования есть ? я вот о opentsdb для такой задачи думаю что хорошо подойдет

никаких особо требовний, надо парсить кучу стоковых данных (ордера, курсы, глубина) и потом анализировать/кормить нейронке

Opentsdb о другом

Вообще

Короче. Лить стакан в кх можно

а что такое стоковые данные, простите, за невежливость?

Биржевые

а

Стакан это строка из, скажем,40 чисел: отсортированные по цене предложения на покупку и продажу с ценой и обьемом

Они характеризуются сильными колебаниями в середине и неподвижностью по краям,так что межстрочная компрессия даст потрясающий результат

спасибо, пошел лить! ?

кликхауз подойдет для стоковых данных?

имейте ввиду: - низкие требования к консистентности данных;