/stat@combot

combot.org/chat/-1001080295593

Подскажите пожалуйста, в каком разделе конфига я могу установить опцию insert_quorum?

Добрый день! Подскажите пожалуйста куда копать: есть 4 сервера и 4 таблица с 4 фазной репликацией. 3 реплики работают корректно, а на 1 реплики вставляю данные таблицу а она не реплицируется. в zookeeper приписано 4 сервера

перезапускал сервер, конфиги заново сохранял

system.zookeeper -- здесь выводится все ок

SELECT * FROM system.replicas -- все реплики активны

Кажется нашел интересный баг с prewhere и final. Есть таблица, в ней три строки для одного PK. https://img.facedsid.ru/c8myz.jpg Запрос SELECT learnerId, version, sessions.durationTotal FROM learners FINAL ARRAY JOIN sessions PREWHERE length(sessions.durationTotal) > 0 Должен по идее вернуть 0, а вернул 26

Т.е. prewhere срабатывает еще до мерджа final?

Т.е. по логике должно быть так: 1. Сработал final и выкинул дубликаты 2. Сработал prewhere по колонке 3. Все остальное А получается судя по результату так: 1. Сработал prewhere по колонке 2. Сработал final, но мерджить нечего. Если добавить строку с поздним version, то final срабатывает 3. Все остальное

@milovidov_an @ztlpn это ожидаемое поведение или завести issue?

мне кажется завести issue стоит в любом случае

Т.е. по логике должно быть так: 1. Сработал final и выкинул дубликаты 2. Сработал prewhere по колонке 3. Все остальное А получается судя по результату так: 1. Сработал prewhere по колонке 2. Сработал final, но мерджить нечего. Если добавить строку с поздним version, то final срабатывает 3. Все остальное

верно, prewhere срабатывает до final. сейчас проверю, не запрещен ли перенос в prewhere в случае, если запрос с final

Вообще если делать prewhere и where, с final в обоих случаях, то скорость меняется. Могу предположить, что не запрещено.

Больше интересует вопрос: это ожидаемое поведение или завести issue? Просто если ожидаемое, то в issue нет смысла. Если только для history и сразу туда написать ответ, что все ок.

да, я тоже не вижу, чтобы это запрещалось. я не знаю, ожидаемо ли это. но во всяком случае кажется неправильным факт расхождения результатов при переносе в prewhere.

Ок. Тогда заведу issue с описанием, а там уже решайте как быть :)

Как удалить КХ?

Подскажите пожалуйста, в каком разделе конфига я могу установить опцию insert_quorum?

А на вопрос знает кто-нибудь ответ?)

Прошу прощения, если уже задавали этот вопрос — будут ли записи с прошедшего митапа https://events.yandex.ru/events/meetings/16-May-2018/ ?

Да, будет и видео и презентации.

Да, будет и видео и презентации.

спасибо

Подскажите пожалуйста, в каком разделе конфига я могу установить опцию insert_quorum?

В users.xml, в profiles / нужный вам профиль.

И еще, если в одном блоке данных присутствуют данные для одного PK, но с разными версиями, то final их почему то не мерджит...сейчас писал issue и если в одном insert ... values (), () есть две версии одного PK, то final короче выдает оба

И еще, если в одном блоке данных присутствуют данные для одного PK, но с разными версиями, то final их почему то не мерджит...сейчас писал issue и если в одном insert ... values (), () есть две версии одного PK, то final короче выдает оба

Такое поведение было до 1.1.54378: данные, расположенные в одном куске, не перемерживаются (при использовании FINAL).

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md#%D0%A3%D0%BB%D1%83%D1%87%D1%88%D0%B5%D0%BD%D0%B8%D1%8F-1

У нас как раз 1.1.54343

Такое поведение было до 1.1.54378: данные, расположенные в одном куске, не перемерживаются (при использовании FINAL).

Это отлично! А как быть с сообщением выше?

Написал issue с steps to reproduce https://github.com/yandex/ClickHouse/issues/2386

Это отлично! А как быть с сообщением выше?

PREWHERE действительно выполняется до FINAL - в каком-то смысле это даже логично; более того, это трудно исправить.

PREWHERE действительно выполняется до FINAL - в каком-то смысле это даже логично; более того, это трудно исправить.

Ок, тогда будем править у себя запросы. Спасибо за ответ!

Коллеги, кто что может сказать про метрики который КХ в графит отсылвает, на что обратить внимание первым делом? Может кто то уже разбирался с этой темой. Как извесно доки нет..

Code: 1000. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Access to file denied: /var/lib/clickhouse/metadata/default/test3.sql. Кто нибудь сталкивался?

Ну права посмотреть как минимум надо

Ну права посмотреть как минимум надо

Спасибо, сделал полный доступ )

SELECT * FROM system.replicas -- все реплики активны

переустановка CH не помогла, вставка в таблицу на ноде 1 не реплицируется, при вставке в эту таблицу с других нод реплицируется

т.е. из 4 нод, 1 не работает, хотя настройки полностью идентичны

нашел варнинг Found parts with the same min block and with the same max block as the missing part 201805_0_14_4. Hoping that it will eventually a$ . И различаются значения queue_size: 11 inserts_in_queue: 7

подскажите, а если я получил от базы в ответ на инсерт Received exception from server (version 1.1.54343): Code: 252. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Too many parts (301). Merges are processing significantly slower than inserts.. то у меня запрос выполнился или сломался?

Не выполнился.

А можете пояснить, что значит следующее: Запросы вида ALTER TABLE ... DROP/DETACH PARTITION выполняются впереди очереди репликации. У нас есть проблема, что репликация ломается, если дропается партиция, в которую параллельно пишут (да, так делать в любом случае не стоит, но всё же). Означает ли это изменение, что теперь всё будет хорошо?

Нет

Какой смысл дропать партицию за сегодняшний день?

Всем привет. Подскажите в чем проблема. При создании таблицы репликации на кластер запрос висит и отваливается с ошибкой DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000000003 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 1 unfinished hosts (0 of them are currently active), they are going to execute the query in background, e.what() = DB::Exception В логах Zookeeper 2018-05-17 16:33:39,444 [myid:] - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@653] - Got user-level KeeperException when processing sessionid:0x1000419d3d80002 type:create cxid:0x5afdaeff zxid:0x3a txntype:-1 reqpath:n/a Error Path:/clickhouse Error:KeeperErrorCode = NodeExists for /clickhouse 2018-05-17 16:33:39,447 [myid:] - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@653] - Got user-level KeeperException when processing sessionid:0x1000419d3d80002 type:create cxid:0x5afdaf00 zxid:0x3b txntype:-1 reqpath:n/a Error Path:/clickhouse/task_queue Error:KeeperErrorCode = NodeExists for /clickhouse/task_queue 2018-05-17 16:33:39,448 [myid:] - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@653] - Got user-level KeeperException when processing sessionid:0x1000419d3d80002 type:create cxid:0x5afdaf01 zxid:0x3c txntype:-1 reqpath:n/a Error Path:/clickhouse/task_queue/ddl Error:KeeperErrorCode = NodeExists for /clickhouse/task_queue/ddl 2018-05-17 16:33:39,469 [myid:] - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@653] - Got user-level KeeperException when processing sessionid:0x1000419d3d80002 type:create cxid:0x5afdaf11 zxid:0x40 txntype:-1 reqpath:n/a Error Path:/clickhouse Error:KeeperErrorCode = NodeExists for /clickhouse 2018-05-17 16:33:39,471 [myid:] - INFO [ProcessThread(sid:0 cport:2181)::PrepRequestProcessor@653] - Got user-level KeeperException when processing sessionid:0x1000419d3d80002 type:create cxid:0x5afdaf12 zxid:0x41 txntype:-1 reqpath:n/a Error Path:/clickhouse/tables Error:KeeperErrorCode = NodeExists for /clickhouse/tables

https://www.urbandictionary.com/define.php?term=Click%20House

Какой смысл дропать партицию за сегодняшний день?

За сегодняшний день и не дропаю :). Просто могут приехать старые данные или с неверной датой откуда-нибудь.

https://www.urbandictionary.com/define.php?term=Click%20House

Вот не успеют к GDPR и будет прям точно ?

?

а насколько секьюрно то, что кликхаус сообщает в деталях об отсутствии пользователя? Unknown user user1 и Wrong password for user user1 – по идее надо объединить во что-то типа bad user or password. хотя конечно отлаживать так удобнее )

Коллеги, приветсвую. Подскажите, а как бытсрее всего загрузить плоскую табличку в сотни ГБ с миллиардами строк из postgres в КХ?

Движок CollapsingMergeTree

сеть чето совсем не утилизируется

если копировать через пайп psql 'COPY' | clickhouse-client '...'

сеть чето совсем не утилизируется

я бы попробовал запускать КХ клиент на сервере постгре.

Коллеги, кто что может сказать про метрики который КХ в графит отсылвает, на что обратить внимание первым делом? Может кто то уже разбирался с этой темой. Как извесно доки нет..

https://speakerdeck.com/slach/monitoringh-opensource-subd

Коллеги, приветсвую. Подскажите, а как бытсрее всего загрузить плоскую табличку в сотни ГБ с миллиардами строк из postgres в КХ?

В постре кроме copy ещё есть расширение pg_bulkload https://github.com/ossc-db/pg_bulkload

https://speakerdeck.com/slach/monitoringh-opensource-subd

спасибо, гляну

Коллеги, кто что может сказать про метрики который КХ в графит отсылвает, на что обратить внимание первым делом? Может кто то уже разбирался с этой темой. Как извесно доки нет..

Всегда количество кусков нужно смотреть, если оно сильно растет - у вас какие-то проблемы. Мы смотрим на куски/мержи всё остальное не так интересно

Всегда количество кусков нужно смотреть, если оно сильно растет - у вас какие-то проблемы. Мы смотрим на куски/мержи всё остальное не так интересно

ага, слышал на последнем митапе, потому и вспомнил про метрики

Я могу как-то сделать двойную агрегацию без подзапроса? Мне нужно сначала просуммировать и сразу каунт посчитать

Я могу как-то сделать двойную агрегацию без подзапроса? Мне нужно сначала просуммировать и сразу каунт посчитать

Select count(),sum(f1) from t1 group by ..

Мне нужно вот так count(sum(f1))

такое возможно,без подзапроса?

а что нужно то, количество различных сумм? или количество группировок? А то ваш вопрос выглядит примерно так: "можно ли получить 2 поля в одном запросе, а то не хочется 2 запроса выполнять"

Мне нужно вот так count(sum(f1))

Нет, агрегирующие функции не могут быть вложенными

Какие питоновские библиотеки лучше использовать для работы с кликхаузом?

Какие питоновские библиотеки лучше использовать для работы с кликхаузом?

Я пытался юзать свякие из списка, которые есть в доках, но все таки написал свое на requests

Я пытался юзать свякие из списка, которые есть в доках, но все таки написал свое на requests

Аналогично. Знаю еще пример от ребят из Рамблера, которые переводят на кх свой топ100. Они тоже написали своё на aiohttp и вроде не жалуются

ага, слышал на последнем митапе, потому и вспомнил про метрики

Вообще, надо бы описать что КХ шлет, я, если сомневаюсь, то в коде ищу что он в метрику сохраняет, но это не очень удобно )

Привет! 127.0.0.1. ZooKeeperImpl::Exception. ZooKeeperImpl::Exception: No node, path: /clickhouse.

проблема появилась после перезагрузки зукипера

А зачем вы его перезагружали , ощущение что вы просто очистили все данные в нем

Собственно говоря это и должно было привести к такой ошибке

Собственно говоря это и должно было привести к такой ошибке

Как всегда случайно ) А есть решение проблемы?

Вы случайно удалили все данные из зукипер?

мы ничего не удаляли, был ребут сервера

зукипер одной нодой представлен?

зукипер одной нодой представлен?

да

да

сами в ногу себе стрельнули :( боюсь тут не восстановить ничего

Using config: /home/omaharoot/zookeeper-3.4.12/bin/../conf/zoo.cfg Mode: standalone

нужно минимум 3, желательно нечетное количество нод

сами в ногу себе стрельнули :( боюсь тут не восстановить ничего

Ну данные-то остались.

Как всегда случайно ) А есть решение проблемы?

Да, нужно заново все пересоздать.

Спасибо

Таблицы в КХ тоже пересоздать?

Таблицы в КХ тоже пересоздать?

Да, нужно заново.

Данные потом ATTACH'ем закинуть можно

Да, нужно заново.

и как кластер зукиперов поможет избежать повторения проблемы?

в конфе зукипера dataLogDir - вот там что-то есть на дисках?

у нас 5 северов в зукипере, перезагружаем по очереди, проблем не было с потерей данных

Can't drop readonly replicated table (need to drop data in ZooKeeper as well). version-2 zookeeper_server.pid

Какие питоновские библиотеки лучше использовать для работы с кликхаузом?

clickhouse-driver , поддерживает native протокол

Спасибо, будем тогда тоже сами на aiohttp писать