Нет

У вас записываются метрики в Graphite?

записываются в Zabbix, правда не все

Посмотрите ClickHouse.Metrics.LeaderReplica, ClickHouse.ProfileEvents.LeaderElectionAcquiredLeadership для обеих реплик. Если по первому графику видно, что они перекрывались хоть в какой-то момент времени - значит это баг на нашей стороне.

Эти не записываются. Я включу, такое наверняка повторится. А можно как-то починить?

Можно, но не очень удобно.

Мне подходит неудобно :)

Кстати такая же штука случалась с таблицей, где всего одна реплика была

Где всего одна реплика была всегда?

да

тестовый сервер

Но там ведь было слегка другое сообщение?

нет, такое же

> Checking if anyone has part covering 20170606_20170606_238257_238372_22. Found all blocks for missing part 20170606_20170606_238257_238372_22. Will wait for them to be merged. Это выводится, если есть другие реплики...

Found all blocks for missing part 20170413_20170413_43744_43847_18. Will wait for them to be merged.

И все-таки, как починить?

почему когда вылетает ошибка "Considering to remove broken part /var/lib/clickhouse//data/..... because it's impossible to repair." партиция не переезжает в папку "detached"?

Found all blocks for missing part 20170413_20170413_43744_43847_18. Will wait for them to be merged.

Напишите на почту (clickhouse-feedback). Нужно больше подробностей.

Хорошо, спасибо

Вот и меня настигла проблема broken pipe 2017.06.14 18:16:04.011259 [ 2 ] <Error> hits_d.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket (10.138.208.224:9000), e.what() = DB::NetException, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x2969826] 1. clickhouse-server(DB::WriteBufferFromPocoSocket::nextImpl()+0x5ad) [0x297de7d] 2. clickhouse-server(DB::Connection::sendData(DB::Block const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0xe5) [0x2b6f365] 3. clickhouse-server(DB::Connection::sendQuery(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, unsigned long, DB: :Settings const*, DB::ClientInfo const*, bool)+0xc35) [0x2b709b5] 4. clickhouse-server(DB::RemoteBlockOutputStream::writePrefix()+0x6a) [0x2c25eda] 5. clickhouse-server(DB::StorageDistributedDirectoryMonitor::processFile(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x6f9) [0x2aa4cf9] 6. clickhouse-server(DB::StorageDistributedDirectoryMonitor::findFiles()+0x14c) [0x2aa680c] 7. clickhouse-server(DB::StorageDistributedDirectoryMonitor::run()+0xc5) [0x2aa6d05] 8. clickhouse-server() [0x36744ef] 9. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f3c3ac906ba] 10. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f3c3a2b182d]

простая Distributed таблица на 2х серверах

На втором сервере: 2017.06.14 09:43:36.158877 [ 19 ] <Error> ServerErrorHandler: Code: 101, e.displayText() = DB::NetException: Unexpected packet from client, e.what() = DB::NetException, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x2969826] 1. clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1f) [0x108f49f] 2. clickhouse-server(DB::TCPHandler::receiveHello()+0xc8) [0x10a34f8] 3. clickhouse-server(DB::TCPHandler::runImpl()+0x1cc) [0x10a721c] 4. clickhouse-server(DB::TCPHandler::run()+0x2b) [0x10a827b] 5. clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x3274d5f] 6. clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x13b) [0x327b19b] 7. clickhouse-server(Poco::PooledThread::run()+0xb7) [0x34e6e07] 8. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34b2e45] 9. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7efc71ac56ba] 10. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7efc710e682d]

На втором сервере: 2017.06.14 09:43:36.158877 [ 19 ] <Error> ServerErrorHandler: Code: 101, e.displayText() = DB::NetException: Unexpected packet from client, e.what() = DB::NetException, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x2969826] 1. clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1f) [0x108f49f] 2. clickhouse-server(DB::TCPHandler::receiveHello()+0xc8) [0x10a34f8] 3. clickhouse-server(DB::TCPHandler::runImpl()+0x1cc) [0x10a721c] 4. clickhouse-server(DB::TCPHandler::run()+0x2b) [0x10a827b] 5. clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x3274d5f] 6. clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x13b) [0x327b19b] 7. clickhouse-server(Poco::PooledThread::run()+0xb7) [0x34e6e07] 8. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34b2e45] 9. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7efc71ac56ba] 10. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7efc710e682d]

А какая у вас версия сервера? И есть ли в таблице Nullable-колонки?

Nullable нет. Версию сейчас скажу

1.1.54236

Таблица маленькая. До 100мб если считать объём внутри clickhouse

Ок, просто в относительно старой версии c Nullable-колонками похожая проблема с Unexpected packet была.

Не, у меня их нет. В кластере вообще по сути 1 таблица. На каждом из серверов локальные. Плюс на каждом из серверов distributed поверх локальных. Движок mergetree

Фикс бага со вставкой в Distributed таблицу в мастере. Постараемся на этой неделе сделать релиз.

Фикс бага со вставкой в Distributed таблицу в мастере. Постараемся на этой неделе сделать релиз.

Ура, спасибо!

А деталей не расскажете? В чем была проблема?

Если при вставке обрывалось соединение до удалённого инстанса, то плохое соединение оставалось в пуле и не делалось попытки реконнекта.

Соответственно последующие вставки не проходили.

Ага, понятно, логично. Спасибо!

Всем привет! Выкатили новую версию php клиента https://github.com/the-tinderbox/ClickhouseClient. Подробности в релизе.

Так же выкатили обещанный билдер запросов с fluent подобным интерфейсом

https://github.com/the-tinderbox/ClickhouseBuilder Можно пользоваться как standalone так и подключить в Laravel/Lumen

Если у кого то будут вопросы, пожелания - все в личку :) Если будет что добавить, то кидайте pull-реквесты

может быть дурацкий вопрос: когда я начинаю стримить результаты какой-то query, то курсор пойдет только по данным на тот момент, или вновь добавленные записи могут всплыть?

Я так полагаю, что результат хранится в оперативке

Ну т.е. ничего не должно всплыть

Это монга по курсору ходит и то, даже она вроде как не выкидывает вновь добавленные данные

Хотя на счет КХ я могу ошибаться :)

При выполнении запроса берётся снапшот данных таблицы.

То есть добавляемые данные всплывать не должны.

спасибо

А по поводу авторизации через АД можете что - нибудь подсказать?

Коллеги, батч инсерт INSERT INTO $table FORMAT Values и получаю иногда Code: 32, e.displayText() = DB::Exception: Attempt to read after eof, e.what() = DB::Exception

Кто нибудь сталкивался с такой проблемой?

Коллеги, батч инсерт INSERT INTO $table FORMAT Values и получаю иногда Code: 32, e.displayText() = DB::Exception: Attempt to read after eof, e.what() = DB::Exception

Нету какой-нибудь прокси или балансера перед КХ?

@Felixoid я сам просто шлю батчи на разные сервера

такой типа round-robin

Коллеги, батч инсерт INSERT INTO $table FORMAT Values и получаю иногда Code: 32, e.displayText() = DB::Exception: Attempt to read after eof, e.what() = DB::Exception

У меня была подобная проблема, только Expected end of line, но это при селекте с использованием внешнего файла. Проблема возникала потому, что я отправлял зажатый файл, а при селекте зажатый файлец нельзя отправлять

такой типа round-robin

В КХ вроде был встроенный механизм балансировки, могу ошибаться, но в документации есть https://clickhouse.yandex/docs/ru/settings/settings.html#load-balancing

Разобрался, это потому что вместе DateTime передаю пустую строку

такой вопрос теперь, а можно ли передать как то null?

Да, есть Nullable колонки https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00395_nullable.sql

Там в тесте есть примеры

но они в бете пока

sorry :/

а когда релиз планируется с багфиксом broken pipe?

Добрый день! А как то можно скрыть пароль пользователя в логах?

а когда релиз планируется с багфиксом broken pipe?

В течение недели, вчера мне сообщили так в этом чате.

Это супер новости! А по багу с оптимизацией запросов ничего не известно пока?

Я правильно понимаю что вставка из одного хэндла однопотоковая?

Имеется в виду одно соединение?

Да

Т.е. вижу что в сеть не упирается, но в 4 потока в 4 раза быстрее.

Ну так написано в доке, что в несколько потоков вставка быстрее

Ага, однопоточная

Причём узкое место часто сортировка

Ага и я так полагаю уже измусоленные unix таймштампы вместо времени? )

Ага, понял, спасибо. Просто в буфер вставляю, он вроде дублируется в памяти по потокам.

Host http://our-clickhouse:8123 is cooling down for 1 seconds NoAvailableHostsException: No available hosts among: ['http://our-clickhouse:8123'] тоже из-за больших вставок в одном запросе?)

сотировка по времени?

Host http://our-clickhouse:8123 is cooling down for 1 seconds NoAvailableHostsException: No available hosts among: ['http://our-clickhouse:8123'] тоже из-за больших вставок в одном запросе?)

Мы такого не пишем :) это какой драйвер?

сотировка по времени?

сортировка по первичному ключу

ммм, я видел такое в InfluxDB

они как опцию предлагают сортировать на клиенте

Мы такого не пишем :) это какой драйвер?

python clickhouse

Если уже данные уже отсортированы в нужно порядке, вставка будет быстрее. Но специально сортировать мало смысла - вряд ли это получится эффективнее, чем в ClickHouse

резонно

python clickhouse

Какой из? Их несколько вроде... И наверно лучше у авторов драйвера спросить, что когда такое бывает.

Всем привет. Тестируем СН, жутко тормозит запрос вида select * from test where id > x order by id limit y. По статистике видно что идёт чтение всей таблицы целиком. Можно ли что-нибудь настроить, чтобы такой запрос отрабатывал быстро?

В первичный ключ если только добавить нужную колонку

Либо выбирать не все колонки

т.е. не по звездочке

Много колонок?

Какой из? Их несколько вроде... И наверно лучше у авторов драйвера спросить, что когда такое бывает.

https://bitbucket.org/ppodolsky/clickhouse-python

Вот код: https://bitbucket.org/ppodolsky/clickhouse-python/src/539ec7dd2165642e9424fd75fdd9e8eda3e8504e/clickhouse/database.py?at=default&fileviewer=file-view-default#database.py-114

на первый взгляд получается, что при любой ошибке такое

понять, что за ошибка, можно по строчке вида Error while requesting to %s: %s

Много колонок?

Id, date, string. В запросе конечно не пишу *. Написал тут для экономии места.