@clickhouse_ru

Страница 486 из 723
 
Nikolai
05.04.2018
12:58:40
2018.04.05 12:44:23.383013 [ 8 ] <Error> HTTPHandler: Code: 195, e.displayText() = DB::Exception: User default is not allowed to connect from address ::ffff:10.21.90.20, e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x15) [0x73178b5] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1e) [0x19ca19e] 2. /usr/bin/clickhouse-server(DB::SecurityManager::authorizeAndGetUser(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, Poco::Net::IPAddress const&) const+0x5aa) [0x6729a4a] 3. /usr/bin/clickhouse-server(DB::Context::setUser(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, Poco::Net::SocketAddress const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x80) [0x666d310] 4. /usr/bin/clickhouse-server(DB::HTTPHandler::processQuery(Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&)+0x542) [0x19e4f02] 5. /usr/bin/clickhouse-server(DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)+0x397) [0x19e9aa7] 6. /usr/bin/clickhouse-server(Poco::Net::HTTPServerConnection::run()+0x335) [0x7632085] 7. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xe) [0x762ad4e] 8. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x165) [0x762b115] 9. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x76) [0x73e6f36] 10. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x37) [0x73e32a7] 11. /usr/bin/clickhouse-server() [0x76fcfae] 12. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76b9) [0x7f77de1ed6b9] 13. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6c) [0x7f77ddc1a41c]
наверно, в users.xml этот адрес не прописан

 
Wolf
05.04.2018
12:58:45
память , проц, место на диске?

 
Vitaliy
05.04.2018
12:59:06
наверно, в users.xml этот адрес не прописан
да, он не прописан

 
там нужно по http отдавать 401 код для таких случаев

Google
 
Vitaliy
05.04.2018
13:00:08
и не паниковать....

 
Firej
05.04.2018
13:00:21
а причина смерти ?
сложно сказать, в определенный момент он говорит 2018-04-05 12:53:06,115 - INFO [QuorumPeer[myid=2]/0:0:0:0:0:0:0:0:2181:Leader@496] - Shutting down 2018-04-05 12:53:06,116 - INFO [QuorumPeer[myid=2]/0:0:0:0:0:0:0:0:2181:Leader@502] - Shutdown called

 
java.lang.Exception: shutdown Leader! reason: Not sufficient followers synced, only synced with sids: [ 2 ]

 
Nikolai
05.04.2018
13:06:05
там нужно по http отдавать 401 код для таких случаев
да, звучит логично

 
Vitaliy
05.04.2018
13:10:03
да, звучит логично
сделаете?)

 
Nikolai
05.04.2018
13:11:14
я бы сделал. надо с коллегами посоветоваться

 
Артем
05.04.2018
13:22:01
Коллеги подскажите можно ли при билде image с КХ сразу выполнить операции создание схемы БД пытаюст сделать вот так: RUN cat schema.sql | clickhouse-server --client --database=default но появляется ошибка Code: 210. DB::NetException: Connection refused: (localhost:9000, 127.0.0.1)

 
Evgeny
05.04.2018
13:23:26
Артем имеется в виду билд докера?

 
Wolf
05.04.2018
13:23:54
Да там же команда RUN из докер билд файла, но там по сути же кх не запущен

 
Надо как то хитро его запустить и потом через && заливать и потом убить его

 
Артем
05.04.2018
13:26:48
Артем имеется в виду билд докера?
да

 
Evgeny
05.04.2018
13:27:00
только при запуске

 
думаю, это возможно только если вы напишете на C++ некий код, который будет использовать clickhouse как библиотеку ))

Google
 
Evgeny
05.04.2018
13:39:16
но вообще просто если вам надо иметь структуру базы после запуска то надо сделать скрипт который будет при запуске образа исполняться билд это по сути сборка, без работы

 
Kirill
05.04.2018
13:41:03
Можно пртосто при билде в /var/lib/clickhouse/metadata/ положить нужные sql

 
Aloneibreak
05.04.2018
13:53:54
привет есть такая проблема 2 шарда по 2 реплики на всех шардах есть таблица MergeTree так же на всех шардах есть таблица Distributed которая смотрит в эти MergeTree в какой-то момент запросы на первый шард начинают возвращать ошибку о том, что якобы на репликах второго шарда нет MergeTree таблиц которые он ищет Code: 279. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::NetException. DB::NetException: All connection tries failed. Log: There is no table .tablename on server: db4.hostname:9000 лечится пересозданием Distributed таблицы на первом шарде, но помогает ненадолго. через какое-то время проблема повторяется с чем может быть связано?

 
Артем
05.04.2018
13:55:08
Можно пртосто при билде в /var/lib/clickhouse/metadata/ положить нужные sql
можно подробнее, у меня в этой директории лежит 2 папки: default и system

 
Nikita
05.04.2018
13:55:46
А можно ли в LIMIT использовать переменную описанную в WITH? Пробую — получаю Syntax error. Что-то делаю не так или нельзя?

 
Nikolai
05.04.2018
13:58:10
нельзя. возможно, не так сложно добавить

 
Kirill
05.04.2018
13:59:07
можно подробнее, у меня в этой директории лежит 2 папки: default и system
например вы хотите создать БД test, а в ней таблицу table, делаете так: создаете файл test.sql ATTACH DATABASE test ENGINE = Ordinary файл test/table.sql ATTACH TABLE table /* синтаксис как и у CREATE TABLE*/ ( Date Date, ... ) ENGINE = MergeTree(Date, Date, 8192)

 
Nikita
05.04.2018
13:59:14
нельзя. возможно, не так сложно добавить
Пулл реквесты приветствуются?

 
Nikolai
05.04.2018
13:59:25
конечно!

 
тогда, видимо, придется делать поддержку произвольного константного выражения для limit

 
Nikita
05.04.2018
14:02:59
Интересно было бы разобраться и поконтрибутить, надеюсь найду время

 
Nikolai
05.04.2018
14:23:04
привет есть такая проблема 2 шарда по 2 реплики на всех шардах есть таблица MergeTree так же на всех шардах есть таблица Distributed которая смотрит в эти MergeTree в какой-то момент запросы на первый шард начинают возвращать ошибку о том, что якобы на репликах второго шарда нет MergeTree таблиц которые он ищет Code: 279. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::NetException. DB::NetException: All connection tries failed. Log: There is no table .tablename on server: db4.hostname:9000 лечится пересозданием Distributed таблицы на первом шарде, но помогает ненадолго. через какое-то время проблема повторяется с чем может быть связано?
странная ситуация. а на db4.hostname:9000 в логах видно, что запрос до нее доходит? нет ли еще одного процесса, слушающего 9000?

 
Aloneibreak
05.04.2018
14:34:00
странная ситуация. а на db4.hostname:9000 в логах видно, что запрос до нее доходит? нет ли еще одного процесса, слушающего 9000?
на db4 в логах нет этих запросов

 
тут важный нюанс - на этих же серверах есть другая пара MergeTree:Distributed таблиц и с ней все впорядке

 
еще вот такое странное в логах Code: 84, e.displayText() = DB::Exception: Directory /data/clickhouse/data/mydb/mytable/tmp_merge_20180402_20180408_547040_547110_12/ already exists

 
Артем
05.04.2018
14:38:03
например вы хотите создать БД test, а в ней таблицу table, делаете так: создаете файл test.sql ATTACH DATABASE test ENGINE = Ordinary файл test/table.sql ATTACH TABLE table /* синтаксис как и у CREATE TABLE*/ ( Date Date, ... ) ENGINE = MergeTree(Date, Date, 8192)
спасибо, отличная идея, а ты не знаешь почему билд крешится когда я помещаю файлы в директорию /var/lib/clickhouse/metadata/default ?

 
Kirill
05.04.2018
14:40:34
спасибо, отличная идея, а ты не знаешь почему билд крешится когда я помещаю файлы в директорию /var/lib/clickhouse/metadata/default ?
Нет, а какая ошибка?

 
Артем
05.04.2018
14:44:29
Нет, а какая ошибка?
в stdout ни чего полезного не падает, в dockerfile следующие команды COPY default/ /var/lib/clickhouse/metadata/default/ USER root RUN chown -R clickhouse:clickhouse /var/lib/clickhouse/metadata/default/ USER clickhouse

 
Alexander
05.04.2018
14:46:23
еще вот такое странное в логах Code: 84, e.displayText() = DB::Exception: Directory /data/clickhouse/data/mydb/mytable/tmp_merge_20180402_20180408_547040_547110_12/ already exists
у вас несколько zookeeper серверов?

 
Aloneibreak
05.04.2018
14:46:37
у вас несколько zookeeper серверов?
да

Google
 
Alexander
05.04.2018
14:48:52
а они точно видят друг-друга? и не запущены в single mode?

 
Aloneibreak
05.04.2018
14:54:18
а они точно видят друг-друга? и не запущены в single mode?
видят точно. в логах видно что они пингуют друг друга

 
Stanislav
05.04.2018
14:55:55
telnet zookeeper-node 2181 и сказать там mntr

 
На одном из узлов будут в числе прочего строки типа: zk_followers 2 zk_synced_followers 2 zk_pending_syncs 0

 
Тогда точно зукиперы друг друга видят

 
Aloneibreak
05.04.2018
14:59:10
есть такое, да zk_followers 3 zk_synced_followers 3 zk_pending_syncs 0

 
Alexander
05.04.2018
14:59:24
видят точно. в логах видно что они пингуют друг друга
Просто по симптомам их действия не согласуются по какой-то причине

 
Aloneibreak
05.04.2018
15:18:23
прям вот постоянно воспроизводится ( 2018.04.05 18:15:23.426996 [ 156 ] <Warning> ConnectionPoolWithFailover: There is no table . mytable_merge_tree on server: db2:9000, 2018.04.05 18:15:23.427776 [ 156 ] <Warning> ConnectionPoolWithFailover: There is no table . mytable_merge_tree on server: db4:9000, 2018.04.05 18:15:23.450765 [ 33 ] <Error> executeQuery: Code: 279, e.displayText() = DB::NetException: All connection tries failed. Log: There is no table . mytable_merge_tree on server: db2:9000, There is no table . mytable_merge_tree on server: db4:9000, , e.what() = DB::NetException (from 127.0.0.1:60784) (in query: select count() from mytable), Stack trace:

 
только на одной ноде. на второй ноде этого же шарда все в порядке. ни ошибок, ни запросов в логах на остальных нодах не происходит в момент этого запроса

 
Nikolai
05.04.2018
15:25:10
прям вот постоянно воспроизводится ( 2018.04.05 18:15:23.426996 [ 156 ] <Warning> ConnectionPoolWithFailover: There is no table . mytable_merge_tree on server: db2:9000, 2018.04.05 18:15:23.427776 [ 156 ] <Warning> ConnectionPoolWithFailover: There is no table . mytable_merge_tree on server: db4:9000, 2018.04.05 18:15:23.450765 [ 33 ] <Error> executeQuery: Code: 279, e.displayText() = DB::NetException: All connection tries failed. Log: There is no table . mytable_merge_tree on server: db2:9000, There is no table . mytable_merge_tree on server: db4:9000, , e.what() = DB::NetException (from 127.0.0.1:60784) (in query: select count() from mytable), Stack trace:
интересно еще то, что слева и справа от точки должны быть имя базы и таблицы

 
Aloneibreak
05.04.2018
15:25:41
интересно еще то, что слева и справа от точки должны быть имя базы и таблицы
mytable_merge_tree - условное имя

 
Nikolai
05.04.2018
15:26:17
понял

 
Firej
05.04.2018
16:50:11
товарищи, у меня сервер походу потерял кудато кусок базы

 
2018.04.05 19:49:14.281393 [ 16 ] <Trace> rt.redir_lr (StorageReplicatedMergeTree): Executing log entry to merge parts 20180209_61656_61656_0, 20180209_61657_61657_0, 20180209_61658_61658_0, 20180209_61659_61659_0, 20180209_61660_61660_0, 20180209_61661_61661_0, 20180209_61662_61662_0, 20180209_61663_61663_0 to 20180209_61656_61663_1 2018.04.05 19:49:14.281410 [ 16 ] <Warning> rt.redir_lr (StorageReplicatedMergeTree): Part 20180209_61656_61656_0 is covered by 20180209_61656_61661_1 but should be merged into 20180209_61656_61663_1. This shouldn't happen often. 2018.04.05 19:49:14.281416 [ 16 ] <Debug> rt.redir_lr (StorageReplicatedMergeTree): Don't have all parts for merge 20180209_61656_61663_1; will try to fetch it instead 2018.04.05 19:49:14.282019 [ 198 ] <Warning> rt.redir_lr (StorageReplicatedMergeTree, PartCheckThread): Checking part 20180209_61656_61663_1 2018.04.05 19:49:14.282030 [ 16 ] <Information> rt.redir_lr (StorageReplicatedMergeTree): DB::Exception: No active replica has part 20180209_61656_61663_1 or covering part 2018.04.05 19:49:14.282165 [ 198 ] <Warning> rt.redir_lr (StorageReplicatedMergeTree, PartCheckThread): Checking if anyone has a part covering 20180209_61656_61663_1. 2018.04.05 19:49:14.282500 [ 198 ] <Warning> rt.redir_lr (StorageReplicatedMergeTree, PartCheckThread): Found parts with the same min block and with the same max block as the missing part 20180209_61656_61663_1. Hoping that it will eventually appear as a result of a merge.

 
и теперь не может его найти

 
может ему можно както сказать что все уже, фиг с ним? )

 
зукипер разросся до 386 гигов, по идее такого ведь не должно быть :(

 
Alexey
05.04.2018
16:53:55
зукипер разросся до 386 гигов, по идее такого ведь не должно быть :(
С настройками по умолчанию, ZooKeeper является бомбой замедленного действия: Сервер ZooKeeper не будет удалять файлы со старыми снепшоты и логами при использовании конфигурации по умолчанию (см. autopurge), это является ответственностью оператора. Эту бомбу нужно обезвредить.

 
Firej
05.04.2018
16:54:16
упс

 
Alexey
05.04.2018
16:54:53
https://clickhouse.yandex/docs/ru/single/ CTRL+F "бомбой"

Google
 
Firej
05.04.2018
16:55:04
угу, спасибо ) по autopurge нашел

 
Alexey
05.04.2018
16:57:02
товарищи, у меня сервер походу потерял кудато кусок базы
вы пробовали эти данные поселектить из базы, их правда нет? говорят, такие сообщения это норма для зукипера, на них не стоит обращать внимания

 
Firej
05.04.2018
16:57:23
ну так это кликхауз ругается вроде, не?

 
мне не очень понятно как их селектить в зукипере

 
Alexey
05.04.2018
17:00:20
в самом кликхаусе

 
данные на репликах норм?

 
в system.parts можно найти этот кусок и посмотреть

 
есть ли он, скока там строк и размер, и вообще как он себя чувствует, active или как

 
Firej
05.04.2018
17:06:45
хм ок, спс я включил autopurge и зукипер похудел до 105 мегабайт

 
теперь вот думаю - это хорошо или плохо )

 
Alexey
05.04.2018
17:07:50
?

 
Denis
05.04.2018
17:59:34
а параметры use_uncompressed_cache /uncompressed_cache_size динамические? или нужен рестарт?

 
Kirill
05.04.2018
18:33:26
Да, нужен

 
Anton
05.04.2018
18:54:19
теперь вот думаю - это хорошо или плохо )
Это нормально ?

 
ZK не хранит данных как таковых же

 
Firej
05.04.2018
18:54:46
хм ну а что он хранит? ) данных 10TB )

 
Anton
05.04.2018
18:55:09
информацию о БД, задания

 
сервисные и координационные нужды обеспечивает

 
Я за zk начал следить после печального опыта эксплуатации ранних версий kafka, autopurge ещё опции в конфигами не было. Мой "рекорд" - под 2 терабайта снэпшотов

 
Denis
05.04.2018
20:56:08
работает v1.1.54292 (Debian GNU/Linux 9 (stretch) + mariadb-client-10.1) ходит за словарями к percona 5.7 обновляю до 54343 получаю: external dictionary: Poco::Exception. Code: 1000, e.code() = 2027, e.displayText() = mysqlxx::BadQuery: Malformed packet (from thread 1) Received signal Segmentation fault (11). Address: NULL pointer. .... clickhouse-server(DB::MySQLBlockInputStream::MySQLBlockInputStream(mysqlxx::Pool::Entry const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, DB::Block const&, unsigned long)+0x9b) [0x65cfeeb] заменил на mysql-client 5.7 не помогло. В итоге вернул v1.1.54292. Не понимаю что ему надо-то? mysql-client 5.5 ?

Google
 
Антон
06.04.2018
06:21:00
Коллеги, добрый день! Подскажите, есть ли официальная поддрежка решения clickhous или только комюнити ?

 
LeiDruid
06.04.2018
06:21:56
Ещё на зимнем митапе была информация, что в России нет поддержки

 
Зарубежом Altinity вроде занимается

 
Bulat
06.04.2018
06:22:24
https://www.altinity.com/clickhouse/ эти ребята вроде что-то типа такого делают, может ошибаюсь

 
Wolf
06.04.2018
06:23:38
Зарубежом Altinity вроде занимается
Альтинити так-то русские ребята, думаю и в России смогут

 
Антон
06.04.2018
06:24:11
спасибо

 
Slach
06.04.2018
06:25:10
а какая именно поддержка нужна?

 
ну то есть у вас уже есть инсталяция CH и у вас какие то проблемы? или вас надо платно проконсультировать на тему подойдет ли CH под ваш workload? или вас интересует мониторинг CH 24x7 ?

 
Wolf
06.04.2018
06:28:51
Обычно ентерпрайзу надо и то и то и побольше

 
Антон
06.04.2018
06:39:27
Обычно ентерпрайзу надо и то и то и побольше
Да верно, комплексный подход. Поставить, настроить и тд сами можем, но в случае проблем багов, необходимо обеспечивать решения, которые бы не приводили к отказу или потери данных.

 
Vasiliy
06.04.2018
06:51:22
Привет, я все с теми же неожиданными рестартами, заметил что они происходят как-то по расписанию: 2018.04.06 01:00:01.488274 [ 509 ] <Information> Application: Received termination signal (Terminated) 2018.04.06 02:00:02.012034 [ 508 ] <Information> Application: Received termination signal (Terminated) 2018.04.06 03:00:02.183767 [ 510 ] <Information> Application: Received termination signal (Terminated) 2018.04.06 04:00:02.502462 [ 4188 ] <Information> Application: Received termination signal (Terminated)

 
Кто знает почему может CH рестартиться сам по себе?

 
OOM киллер не убивал

 
Stanislav
06.04.2018
06:55:51
крон, скорее всего

 
Уж больно регулярно срабатывает

 
Артем
06.04.2018
07:13:12
Коллеги а как можно быстро автоматически создать схему БД в КХ , я так поманию что клиент командной строки не может выполнить больше одной операции за раз ? я хотел сделать вот так , но это больше одной операции он не выполняет cat /schema.sql | clickhouse-server --client

 
Maksim
06.04.2018
07:13:52
Коллеги а как можно быстро автоматически создать схему БД в КХ , я так поманию что клиент командной строки не может выполнить больше одной операции за раз ? я хотел сделать вот так , но это больше одной операции он не выполняет cat /schema.sql | clickhouse-server --client
Разделители добавить ;

Страница 486 из 723