вот, что раскопал: на нормальных репликах соотношение активных и неактивных system.parts 37/123, в то время как на отстающей 319 активных. и ни одного мержа ребут ноды с flags/force_restore_data не помог - она встала и остались те же куски

в логах ничего криминального кроме zookeeper 2017-07-25 14:45:02,250 - INFO [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@651] - Got user-level KeeperException when processing sessionid:0x35d7af9cab10002 type:setData cxid:0x5977ae0e zxid:0xd0000f586 txntype:-1 reqpath:n/a Error Path:/clickhouse/tables/Traffic/block_numbers/201707/block-0000738003 Error:KeeperErrorCode = NoNode for /clickhouse/tables/Traffic/block_numbers/201707/block-0000738003

спасибо

вот, что раскопал: на нормальных репликах соотношение активных и неактивных system.parts 37/123, в то время как на отстающей 319 активных. и ни одного мержа ребут ноды с flags/force_restore_data не помог - она встала и остались те же куски

Посмотрите в system.replication_queue на проблемной ноде.

не успел посмотреть - сейчас уже всё ок. вычистили устаревшие данные и ещё раз ребутнули, и оно завелось. спасибо за совет - попробую в следующий раз, когда залипнет :)

коллеги, подскажите пожалуйста, можно ли как то определить таблицы для базы в каком нибудь конфиге? требуется создать кх инстанс в контейнере который при своей инициализации сразу создаст таблицы, чтобы не было необходимости запускать никаких процедур миграции при поднятии инстанса

коллеги, подскажите пожалуйста, можно ли как то определить таблицы для базы в каком нибудь конфиге? требуется создать кх инстанс в контейнере который при своей инициализации сразу создаст таблицы, чтобы не было необходимости запускать никаких процедур миграции при поднятии инстанса

положить метаданные?

ага

так чтобы они хранились в виде кода

думаю сработает, если просто положить sql

но это не точно )

100% сработает

но кто этот sql загрузит?)

энтрипойнт контейнера

в энтрипоинте будет exec clickhouse-server

это получается надо сделать либо супервизор над clickhouse-server

либо чтобы сам сервер умел всасывать sql при старте

можно подложить таблицы уже сгенереные, из volume или прямо в образ

но сгенеренные таблицы будут в бинарном формате

а мне надо иметь возможность прописать там параметры, например ключи зукипера

@gtbear если тебя не смутит слегка увеличенный стартап, сделай скрипт, в нем запускаешь фоном кликхауз, заливаешь sql клиентом, гасишь и в последней строчке делаешь exec

ну вот такой вариант у меня и был в голове

я единственное не думал гасить, проще оставить кх под супервизором этим чтобы добавить healthcheck

но надеялся что вдруг какие готовые инструменты уже есть

и в любом случае таблицы будут генериться чем-нибудь, поэтому подкладывать и бинарные тоже можно.

таблицы будут по шаблону текстовому генериться

с учетом параметров запуска конкретного инстанса

Чего-то не ладится с версией 1.1.54343. Как откатиться в Ubuntu на, допустим, 1.1.54327?

Чего-то не ладится с версией 1.1.54343. Как откатиться в Ubuntu на, допустим, 1.1.54327?

Бинарь сменить не подойдет?

Да подошло бы, наверное. Помогите. А то даже client бузит.

Так в чем проблема? Скачать нужный пакет, распаковать, положить в нужную диру, перевести симлинк и сделать рестарт

Клиент на тот же бинарь смотрит

А откуда скачать то? На repo.yandex.ru только свежак.

Собрать из сорцов по хардкору :) Шучу, где то была репа, сейчас поищу

Собирать с гит-репозитория пугает

Собрать из сорцов по хардкору :) Шучу, где то была репа, сейчас поищу

https://packagecloud.io/app/altinity/clickhouse/search?q=&filter=all&filter=rpms&dist=el/6

Попробуй здесь

Только не для ел6

А откуда скачать то? На repo.yandex.ru только свежак.

https://yadi.sk/d/hnJw4lpH3RaX9W

Приветствую, а профилирование запросов еще не сделали?

https://yadi.sk/d/hnJw4lpH3RaX9W

??

товарищи, не получается восстановить реплику ? DB::Exception: Mer geTree data format version on disk doesn't support custom partitioning

что с этим можно сделать?

Чего-то не ладится с версией 1.1.54343. Как откатиться в Ubuntu на, допустим, 1.1.54327?

А что не ладится? Этот релиз у нас уже на продакшене на части кластеров. Изменений по сравнению с 1.1.54342 почти нет.

версия сервера 1.1.54327

товарищи, не получается восстановить реплику ? DB::Exception: Mer geTree data format version on disk doesn't support custom partitioning

У вас таблица с кастомным партиционированием?

угу

была по крайней мере

а что в файле /var/lib/clickhouse/data/<database>/<table>/format_version.txt?

нет такого файла ?

ls -la /var/lib/clickhouse/data/rt/access_lr/ drwxrwxr-x 2 loadbase loadbase 4096 Feb 9 20:02 detached

и все

А что не ладится? Этот релиз у нас уже на продакшене на части кластеров. Изменений по сравнению с 1.1.54342 почти нет.

Connecting to localhost:9000. Code: 210. DB::NetException: Connection refused: (localhost:9000, ::1)

это убунта ругается на попытку запустить client

это клиент ругается потому что к серверу приконнектиться не может

netstat -lpn | grep 9000 покажет чтото?

И просто лог сервера посмотреть.

угу

спасиб, буду копать

netstat -lpn | grep 9000

пусто

пусто

Ну он не взлетел значит, смотри в логи

ага, понял

ls -la /var/lib/clickhouse/data/rt/access_lr/ drwxrwxr-x 2 loadbase loadbase 4096 Feb 9 20:02 detached

Создайте этот файлик с помощью sudo -u clickhouse sh -c "echo -n '1' > /var/lib/clickhouse/data/rt/access_lr/format_version.txt" и запустите сервер.

о, спс )

Application: DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/rt//access_lr.sql, error: zkutil::KeeperException: no node

хммм теперь фигня с зукипером походу ?

А что конкретно с этой репликой произошло?

ее не стало, физически машина сменилась

Добрый вечер! Есть distributed таблица и две машины с локальными таблицами. Случаются периодически проблемы такого рода: 2018.02.09 18:31:22.275312 [ 404 ] <Error> actions.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket (192.168.0.127:9000) Как с ними бороться без рестарта сервера? Я так понимаю на эту машину не отправляются вставленные данные. Где можно посмотреть "очередь", чтобы удостовериться, что все доезжает после перезагрузки кх?

Пишем через distributed таблицу. Edit. Про очередь вопрос снят, нашел в документации. Сейчас в директории на сервере (на который производилась запись) /var/lib/clickhouse/data/db1/actions/default@192%2E168%2E0%2E127:9000 есть пачка .bin файлов

ее не стало, физически машина сменилась

Наверно проще будет воспользоваться вот таким методом: В качестве альтернативного варианта восстановления, вы можете удалить из ZooKeeper информацию о потерянной реплике - /path_to_table/replica_name, и затем создать реплику заново, как написано в разделе "Создание реплицируемых таблиц". (из документации)

только тогда надо будет сначала и все локальные следы таблицы удалить (данные и метаданные)

а из существующей реплики данные подтянутся? А все вижу, подтянутся. Спасибо, попробую )

Похоже без рестарта никак. У нас такая же версия кх. https://github.com/yandex/ClickHouse/issues/1703

netstat -lpn | grep 9000

Выяснил причину своих проблем... КХ вполне может не стартовать, если увидит в /var/lib/clickhouse/metadata что-то поломавшееся. Допустим после предыдущих экспериментов. Само не сбрасывается даже после переустановки программы.

Два часа без толку крутился вокруг настройки listen_host. (

Два часа без толку крутился вокруг настройки listen_host. (

Но ведь в лог всегда пишется, что не так.

Да, из 100 строк лога об ошибке уже в шестой был явный ключ к разгадке: <Error>ExternalDictionaries: Cannot create...

Да, из 100 строк лога об ошибке уже в шестой был явный ключ к разгадке: <Error>ExternalDictionaries: Cannot create...

А почему Cannot create?

но до того были пять строк <Warning> про сеть и они меня сбили.

Да видимо были проблемы с словарем. Но не в том дело: я не осознал, что система придирчиво смотрит на данные. Просто нужно привыкнуть.

Да, принцип в том, что если что-то не так, то лучше побыстрее сообщить об ошибке.

да, теперь буду сразу искать <Error>

@ru7701 имею довольно дурную привычку дебажить демоны просто запуская их в stand-alone, порой сразу помогает, прежде чем в лог залезешь даже

да уж, переходить в двухсотую страницу лога и искать там свое удовольствие еще то.) Столкнусь с очередным траблом, попробую stand-alone.

Впрочем, нам юзерам к счастью не так часто приходится сталкиваться с проблемами демонов. А наши обычные проги чаще всего полагаются на логи. Так что привычки другие конечно

Еще можно grep с tail освоить :)

Спасиб, почитаю. ...Ох какой позитивный чат! Супер)

Всегда беру tail -f и начинаю мониторить и скроллить ) Привык просматривать логи, даже кликхаусные (пишутся ну очень быстро при массивном rps)

А зачем?

less, дальше shift+f