rsync -a

че это?

копирование с правами

не работает. не знаю почему. проще наверное сделать mv из shadow от clickhouse owner

Сделайте тест. Копирните файл. Потом ls в той директории где файл. Потом chown clickhouse:clickhouse %имя файла% и ещё раз ls. И покажите вывод консоли этих команд.

так и делал

Я хочу увидеть прям весь вывод этих команд непрерывно.

Это мистика какая то если у вас эта команда не отрабатывает.

Она либо бросит ошибку, либо все же сделает дело.

сча

Она либо бросит ошибку, либо все же сделает дело.

sudo -u clickhouse не работает кстати

sudo -u clickhouse cp $METADATA_PATH/$DB_DATABASE/$TABLE.sql $BACKUP_DIR/metadata

мож нету прав на sudo)

cp: cannot create regular file '/home/ubuntu/.backup/2017-06-29_11h58m/metadata/MIGRATES.sql': Permission denied

ls /home/ubuntu/.backup/2017-06-29_11h58m/metadata/MIGRATES.sql

файл отсутствует

он же не скопировался

cp запретило

а сама папка?

сама папка от ubuntu создалась

овнер и права

mkdir: cannot create directory ‘/home/ubuntu/.backup/2017-06-29_12h01m’: Permission denied

он даже папку создать не может

т.к. выполняю от clickhouse пользователя

у кликхауса все файлы можно читать любому юзеру

ну по крайней мере у меня так.

по дефолту

критично именно в этой директории создавать? можно просто завести какой-нибудь /var/backup/clickhouse и отдать все права пользователю кликхауса, если на него переходите

вам нужно скопировать файлы из shadow под обычным юзером

в /home конечно не очень кошерно другим пользователем работать

в /home конечно не очень кошерно другим пользователем работать

сейчас попробую

в /home конечно не очень кошерно другим пользователем работать

mkdir: cannot create directory ‘/var/lib/backup’: Permission denied

пытаюсь создать папку в /var/lib/backup/clickhouse drwxr-xr-x 2 clickhouse clickhouse 4096 Jun 29 12:40 clickhouse

Изучение linux в чате в real-time? :)

тут никак не создашь папку если var lib backup не владеет clickhouse

попробую chown еще раз

Максим, го в личку, бесплатный ликбез по линупсам бесплатно без регистрации

Добрый день. Добавили на ходу колонку интовую в таблицу, после этого селект в таблицу не делается. Нагрузки почти нет на запись В логах что-то страшное написано 2017-06-29T13:29:36.735292440Z 2017.06.29 16:29:36.735084 [ 5 ] <Error> BaseDaemon: ######################################## 2017-06-29T13:29:36.735315057Z 2017.06.29 16:29:36.735119 [ 5 ] <Error> BaseDaemon: (from thread 4) Received signal Segmentation fault (11). 2017-06-29T13:29:36.735321915Z 2017.06.29 16:29:36.735132 [ 5 ] <Error> BaseDaemon: Address: NULL pointer. 2017-06-29T13:29:36.740601975Z 2017.06.29 16:29:36.740351 [ 5 ] <Error> BaseDaemon: 1. /usr/bin/clickhouse-server(DB::ColumnNullable::ColumnNullable(std::shared_ptr<DB::IColumn>, std::shared_ptr<DB::IColumn>)+0x76) [0x2999026] 2017-06-29T13:29:36.740625550Z 2017.06.29 16:29:36.740377 [ 5 ] <Error> BaseDaemon: 2. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34b2e45] 2017-06-29T13:29:36.740632613Z 2017.06.29 16:29:36.740390 [ 5 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7fb526f856ba] 2017-06-29T13:29:36.740638408Z 2017.06.29 16:29:36.740401 [ 5 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7fb5265a682d] Кто-нибудь сталкивался?

https://github.com/yandex/ClickHouse/issues/875

оно?

очень похоже. Обновление на последний релиз должно оживить или таблица убилась?

да, обновление до 1.1.54244 должно помочь

страшно testing ставить на почти продакшн. Дропнуть добавленное поле наверное уже не поможет?

должно помочь

это оно же Nullable?

в таблице есть Nullable поля и новое Nullable

да, тогда дропните новый столбец и всё должно заработать

помогло. спасибо ??

а то стало очень страшно :)

да, тогда дропните новый столбец и всё должно заработать

На одном сервере получилось, а второй не поднимается. Они у нас зеркальные пишем в них один и те же данные одновременно. по кругу падает с ошибкой Segmentation fault

2017-06-29T14:18:01.367505935Z 2017.06.29 17:18:01.367260 [ 4 ] <Debug> default.Event (Merger): Selected 4 parts from 20170629_20170629_3744776_3745806_105 to 20170629_20170629_3745812_3745812_0 2017-06-29T14:18:01.367526375Z 2017.06.29 17:18:01.367296 [ 4 ] <Debug> default.Event (Merger): Merging 4 parts: from 20170629_20170629_3744776_3745806_105 to 20170629_20170629_3745812_3745812_0 into 20170629_20170629_3744776_3745812_106 2017-06-29T14:18:01.368254706Z 2017.06.29 17:18:01.368041 [ 4 ] <Debug> default.Event (Merger): Selected MergeAlgorithm: Horizontal 2017-06-29T14:18:01.368280110Z 2017.06.29 17:18:01.368072 [ 4 ] <Trace> MergeTreeBlockInputStream: Reading 1 ranges from part 20170629_20170629_3744776_3745806_105, approx. 24576 rows starting from 0 2017-06-29T14:18:01.368289187Z 2017.06.29 17:18:01.368092 [ 4 ] <Trace> MergeTreeBlockInputStream: Reading 1 ranges from part 20170629_20170629_3745808_3745808_0, approx. 8192 rows starting from 0 2017-06-29T14:18:01.368296130Z 2017.06.29 17:18:01.368104 [ 4 ] <Trace> MergeTreeBlockInputStream: Reading 1 ranges from part 20170629_20170629_3745810_3745810_0, approx. 8192 rows starting from 0 2017-06-29T14:18:01.368303383Z 2017.06.29 17:18:01.368114 [ 4 ] <Trace> MergeTreeBlockInputStream: Reading 1 ranges from part 20170629_20170629_3745812_3745812_0, approx. 8192 rows starting from 0 2017-06-29T14:18:01.371129896Z 2017.06.29 17:18:01.370852 [ 5 ] <Error> BaseDaemon: ######################################## 2017-06-29T14:18:01.371160010Z 2017.06.29 17:18:01.370884 [ 5 ] <Error> BaseDaemon: (from thread 4) Received signal Segmentation fault (11). 2017-06-29T14:18:01.371167066Z 2017.06.29 17:18:01.370892 [ 5 ] <Error> BaseDaemon: Address: NULL pointer. 2017-06-29T14:18:01.375083434Z 2017.06.29 17:18:01.374832 [ 5 ] <Error> BaseDaemon: 1. /usr/bin/clickhouse-server(DB::ColumnNullable::ColumnNullable(std::shared_ptr<DB::IColumn>, std::shared_ptr<DB::IColumn>)+0x76) [0x2999026] 2017-06-29T14:18:01.375106197Z 2017.06.29 17:18:01.374851 [ 5 ] <Error> BaseDaemon: 2. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34b2e45] 2017-06-29T14:18:01.375112779Z 2017.06.29 17:18:01.374859 [ 5 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f5feddb46ba] 2017-06-29T14:18:01.375118035Z 2017.06.29 17:18:01.374867 [ 5 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f5fed3d53dd] 2017-06-29T14:18:03.224490384Z 2017.06.29 17:18:03.224175 [ 6 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/config.xml' 2017-06-29T14:18:03.231213178Z 2017.06.29 17:18:03.230925 [ 6 ] <Warning> ConfigProcessor: Include not found: clickhouse_remote_servers 2017-06-29T14:18:03.231239096Z 2017.06.29 17:18:03.231010 [ 6 ] <Warning> ConfigProcessor: Include not found: clickhouse_compression

с таким логом

столбец дропнулся на обеих машинах?

нет, на той где ошибка мы не успеваем его дропнуть, сервер поднимается и сразу падает

А может добавить запрос на дроп в файл метадаты? (просто предположение)

DB::Exception: ZooKeeper session has been expired., e.what() = DB::Exception а что за ошибка это и почему она возникает?

А также 2017.06.29 14:22:23.843982 [ 1002614 ] <Warning> ZooKeeper: Error on attempt 1: connection loss. Retry 2017.06.29 14:22:23.844075 [ 1250952 ] <Warning> ZooKeeper: Error on attempt 1: connection loss. Retry 2017.06.29 14:22:23.844093 [ 1250990 ] <Warning> ZooKeeper: Error on attempt 1: connection loss. Retry 2017.06.29 14:22:23.844107 [ 1250385 ] <Warning> ZooKeeper: Error on attempt 2: connection loss. Retry куча такого :(

с самим зукипером все ок?

Да

В порядке

хотя в логах было вот что - 2017-06-29 14:22:55,794 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket connection for client /xx.xx.xx.xx:61542 (no session established for client) 2017-06-29 14:22:55,795 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@192] - Accepted socket connection from /xx.xx.xx.xx:33896 2017-06-29 14:22:55,795 - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@362] - Exception causing close of session 0x0 due to java.io.IOException: ZooKeeperServer not running 2017-06-29 14:22:55,795 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1008] - Closed socket connection for client /xx.xx.xx.xx33896 (no session established for client) 2017-06-29 14:22:55,795 - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@192] - Accepted socket connection from /xx.xx.xx.xx:12154 2017-06-29 14:22:55,795 - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@362] - Exception causing close of session 0x0 due to java.io.IOException: ZooKeeperServer not running А статус говорит что все в порядке: $ /usr/share/zookeeper/bin/zkServer.sh status ZooKeeper JMX enabled by default Using config: /etc/zookeeper/conf/zoo.cfg Mode: follower

нет, на той где ошибка мы не успеваем его дропнуть, сервер поднимается и сразу падает

Ну да, похоже сервер на старте запускает мерж кусков и тут же падает. Вписать drop в метадату - оригинальное решение, но не сработает :) Может, всё-таки обновиться, хотя бы ненадолго, для того, чтобы исполнить drop?

Ну да, похоже сервер на старте запускает мерж кусков и тут же падает. Вписать drop в метадату - оригинальное решение, но не сработает :) Может, всё-таки обновиться, хотя бы ненадолго, для того, чтобы исполнить drop?

решили проблему копированием данных со второго сервера, который ожил, благо они синхронны.

Ну да, похоже сервер на старте запускает мерж кусков и тут же падает. Вписать drop в метадату - оригинальное решение, но не сработает :) Может, всё-таки обновиться, хотя бы ненадолго, для того, чтобы исполнить drop?

А почему не сработает если не секрет? ))

@ztlpn https://groups.google.com/forum/#!topic/clickhouse/bZSSvV1O5lA не глянете, что с этим можно сделать?

А почему не сработает если не секрет? ))

Потому что сервер, когда парсит метадату, ожидает увидеть один запрос и именно ATTACH. Если там будет что-то другое, парсинг завершится ошибкой и сервер просто не стартанет.

ой ей, тогда плохо да.

Потому что сервер, когда парсит метадату, ожидает увидеть один запрос и именно ATTACH. Если там будет что-то другое, парсинг завершится ошибкой и сервер просто не стартанет.

Фантазия не дает покоя. А если в отдельный файл положить дроп?))

@ztlpn https://groups.google.com/forum/#!topic/clickhouse/bZSSvV1O5lA не глянете, что с этим можно сделать?

А что будет, если просто попробовать прочитать проблемный столбец проблемного куска? Например, так: SELECT sum(cityHash64(oc39)) FROM db.logs_local WHERE _part='20170205_20170205_301560_301572_1'

Фантазия не дает покоя. А если в отдельный файл положить дроп?))

Тоже не получится - должен быть один statement, и именно ATTACH :)

Извиняюсь если повтор - а тип Time в недалёких планах есть?

Извиняюсь если повтор - а тип Time в недалёких планах есть?

Это типо без date?

А что будет, если просто попробовать прочитать проблемный столбец проблемного куска? Например, так: SELECT sum(cityHash64(oc39)) FROM db.logs_local WHERE _part='20170205_20170205_301560_301572_1'

SELECT sum(cityHash64(oc39)) FROM db.logs_local WHERE _part = '20170205_20170205_301560_301572_1' Received exception from server: Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query) exceeded: would use 512.01 GiB (attempt to allocate chunk of 549755813888 bytes), maximum: 18.63 GiB: (while reading column oc39): (while reading from part /local/clickhouse//data/db/logs_local/20170205_20170205_301560_301572_1/ from mark 0 to 8).

а какой тип у столбца?

Array(UInt32)

Похоже, что в куске побились данные, а именно длины массивов. Поэтому при чтении столбца происходит аллокация нелепого размера.

:/local/clickhouse/data/db/logs_local/20170205_20170205_301560_301572_1# du -hs 156M .

да, соседний кусочек нормально селектит

detach part нельзя же делать?

остановить сервер и удалить кусок можно?

репликации нет, скачивать этот кусок негде

или можно detach partiton, удалить этот кусок, attach partition

спасибо за помощь, проблема решена, оказывается все до февраоя включительно можно дропнуть)))

Это типо без date?

Да. Просто имея партицирования по date, вроде нет смысла хранить ещё один datetime

Прям только что анонсировали )

Это висит в инете уже давно вроде как в roadmap

Если б я сидел в зале - я бы спросил про memorymergetree

Если б я сидел в зале - я бы спросил про memorymergetree

А что именно хотите спросить?

Вопрос: Клик-хаус имеет механизм удерживания в памяти данных для быстрого доступа относительно небольшого размера - memory. Но он только для fullscan в настоящий момент. теоретически, можно было бы значительно разогнаться и покрыть альтернативные in-mem базы имея такой же memory, но с индексами. Не планируется ли что-то в этом направлении? Все же диск и память значительно отличаются по скорости. А файловый кеш ничего не гарантирует.

Такой вопрос еще интересует: Когда TrivialBuffer будет в стабильной версии?

JDBC driver 0.1.25 в ответ на select today() говорит 2017-06-28 Это только у меня так?

все даты на 1 день меньше

На сервере с датой то все ок? Такая проблема только через jdbc?

может таймзона.

JDBC driver 0.1.14 отвечает то, что мне хочется