Т.е в конфиге раздел <remote_servers> не трогать. Ок, а можете пожалуйста пример минимального запроса на создание параметров ReplicatedMergeTree привести. Не понимаю, как это без параметров. Ну и да, со стороны zookeeper никаких дополнительных настроек не нужно ведь?

https://clickhouse.yandex/docs/ru/table_engines/replication/#_2

путь к таблице в ZooKeeper должен быть одинаковый для всех реплик одной и той же таблицы

Да, я это видел. Но все-таки... '/clickhouse/tables/{layer}-{shard}/hits' Что значит использовать не обязательно? Просто оставить прям так? Или опустить их вообще?

ReplicatedMergeTree('/tratata/bububu', 'lalala', EventDate, intHash32(UserID), (CounterID, EventDate, intHash32(UserID), EventTime), 8192)

Спасибо!

когда вам понадобится создать 20 таблиц на 10 репликах, вы поймете, зачем нужны макросы :)

Это да, но вопрос другой, что туда подставлять) Если у меня нету шардов например.

ничего не подставляйте

это просто имя ноды в ЗуКипере

Скажите пожалуйста, есть те, кто смог подружить КХ с Зуукипером для репликации? Что-то у меня не получается данные отреплицировать.

тоже ковыряюсь. кое-как взлетело вчера, но пока многое наощупь

тоже ковыряюсь. кое-как взлетело вчера, но пока многое наощупь

Получилось сделать INSERT на одном КХ и увидеть данные на другом? з.ы Можно будет если что, в личку пару вопросов? Дабы не засорять общий чат.

да, пиши, можно совместно мучиться

Сбросил все, пересоздал заново. Сделал на одном инстансе КХ insert, все ок. На втором в логе сыпется 2018.05.16 18:20:26.593703 [ 8 ] <Error> test.test1 (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused, e.what() = Connection refused Поясните пожалуйста, это ошибка откуда именно?

сервер не смог достучаться до другого сервера

Имеется в виду один КХ до другого КХ? Или Зуукипер до другого КХ? Как один КХ обрщается до другого? Через Зуукипер же? Я нашел что-то про listen_host и interserver_http_port, может ли влиять?

КХ ходит в ЗуКипер за списком операций, и на другие реплики за данными

listen_host должен быть не ::1 и не 127.0.0.1

Все, разобрался! Всем спасибо. Совсем забыл listen_host с дефолта поменять!)

Почему могут не создаваться партиции на части шардов? А именно: КХ много в логах ругается на "Cannot read all data" и "No part ... in table". Вставка идёт в Distributed таблицу. При этом, каких-либо ошибок работы с данными - не видно. Все данные пишутся и читаются, ошибки именно на уровне КХ. Версия 1.1.54380. P.S. по подобной ошибке поискал в чате - чего-то полезного не нашёл.

Господа, а какие способы есть бекапить данные КХ?

freeze -> rsync

Господа, а какие способы есть бекапить данные КХ?

писать данные в несколько кластеров

@garikanet, а можно в слудющем релизе табикса поправить сортировку вот тут? https://yadi.sk/i/p2NHvUDm3W39BC Сейчас литеральная сортировка, но это же числа

Это в процессах

@garikanet, а можно в слудющем релизе табикса поправить сортировку вот тут? https://yadi.sk/i/p2NHvUDm3W39BC Сейчас литеральная сортировка, но это же числа

Сделайте issue, постараюсь поправить, но там humanSize с ходу у меня не получилось( подумаю

Подскажите. что делаю не так? rsyslog->kafka->kafka_engine->materialized view->mergetree. Данные на мерджтри сбрасываются раз в 2-3-6 минут, как я понял, сбрасывание зависит от заполненности данных, но я хочу чтоб каждые 10 секунд данные кидались, изменил flush_interval_milliseconds - не помогло (на версии 1.1.54327 все работало, а на последней версии 1.1.54381 не сбрасывает по времени)

Подскажите. что делаю не так? rsyslog->kafka->kafka_engine->materialized view->mergetree. Данные на мерджтри сбрасываются раз в 2-3-6 минут, как я понял, сбрасывание зависит от заполненности данных, но я хочу чтоб каждые 10 секунд данные кидались, изменил flush_interval_milliseconds - не помогло (на версии 1.1.54327 все работало, а на последней версии 1.1.54381 не сбрасывает по времени)

UP, никого?

Подскажите. что делаю не так? rsyslog->kafka->kafka_engine->materialized view->mergetree. Данные на мерджтри сбрасываются раз в 2-3-6 минут, как я понял, сбрасывание зависит от заполненности данных, но я хочу чтоб каждые 10 секунд данные кидались, изменил flush_interval_milliseconds - не помогло (на версии 1.1.54327 все работало, а на последней версии 1.1.54381 не сбрасывает по времени)

Думаю лучше issue на гитхаб завести

Думаю лучше issue на гитхаб завести

на RU можно?

на RU можно?

Вполне только лучше всего стенд на доккр или вагрант сделать Чтобы воспроизводилось

Вполне только лучше всего стенд на доккр или вагрант сделать Чтобы воспроизводилось

но я ничего не настраивал, кроме попытки уменьшить flush.. хотя может и не он отвечает за это, т.е с докера поднял, создал таблицы и все ок было

Ну слелай чистый стенд и попробуй воспроизвести

Ну слелай чистый стенд и попробуй воспроизвести

Уже, НО там где много данных приходит, около 5к рпс... то записывается сразу

а на втором около 100-200рпс, надо ждать сброса около 2-3-7 минут

Подскажите. что делаю не так? rsyslog->kafka->kafka_engine->materialized view->mergetree. Данные на мерджтри сбрасываются раз в 2-3-6 минут, как я понял, сбрасывание зависит от заполненности данных, но я хочу чтоб каждые 10 секунд данные кидались, изменил flush_interval_milliseconds - не помогло (на версии 1.1.54327 все работало, а на последней версии 1.1.54381 не сбрасывает по времени)

Матвью не сбрасывает данные по таймауту. Пришли новые данные в исходную таблицу, к ним применяется sql-вьюхи и результат пишется в таблицу матвью. Скорее всего дело в кафке и том, как она данные доставляет в KafkaEngine (скорее всего пачками и с некими таймаутами)

Матвью не сбрасывает данные по таймауту. Пришли новые данные в исходную таблицу, к ним применяется sql-вьюхи и результат пишется в таблицу матвью. Скорее всего дело в кафке и том, как она данные доставляет в KafkaEngine (скорее всего пачками и с некими таймаутами)

но когда я делаю select ... из кафкаэнжайн то я вижу там данные

Поищите в истории чата по слову kafka или кафка, тут упоминались недокументированые параметры этого движка. Возможно там есть что-то про таймауты

Матвью не сбрасывает данные по таймауту. Пришли новые данные в исходную таблицу, к ним применяется sql-вьюхи и результат пишется в таблицу матвью. Скорее всего дело в кафке и том, как она данные доставляет в KafkaEngine (скорее всего пачками и с некими таймаутами)

Я в тспдампе вижу как данные приходят в кликхаус из кафки

Вот уже больше 2х минут не было сброса.

Я в тспдампе вижу как данные приходят в кликхаус из кафки

Поделитесь командой как вы смотрите

Tcpdump -i docker port .... -A

И вижу что в сторону кх идут даннны и даже какие данные

Tima

привет, как можно конвертануть дату 2018-05-3 09:30:48

из строки

привет, как можно конвертануть дату 2018-05-3 09:30:48

во что?

toDateTime

в формате отстутвует один из ведущих нулей

по идее должно быть 2018-05-03 09:30:48

через regexp

по идее должно быть 2018-05-03 09:30:48

https://clickhouse.yandex/docs/ru/single/#_116

С кафкой никто помочь не сможет?

спасибо

С кафкой никто помочь не сможет?

Вы поискали недокументированные параметры движка KafkaEngine?

Вы поискали недокументированные параметры движка KafkaEngine?

Да, я поискал, я его и до этого видел, так как ссылка есть на самой документации.

Вы поискали недокументированные параметры движка KafkaEngine?

или я плохо смотрел или там нет управления

Так может в неё и посмотреть? https://clickhouse.yandex/docs/ru/operations/settings/settings/#stream_flush_interval_ms Или вы и писал про этот параметр?

Так может в неё и посмотреть? https://clickhouse.yandex/docs/ru/operations/settings/settings/#stream_flush_interval_ms Или вы и писал про этот параметр?

я его уже менял

Тогда создавайте issue

Тогда создавайте issue

<stream_flush_interval_ms>5000</stream_flush_interval_ms> bи не помогает

Либо сделайте скрипт, по крону переносящий данные из кафко-таблицы в таблицу

уже 424 секунд нет данных, точнее не флушится

не подскажете как сделать счетчик по условию - инкрементить (строки)

не подскажете как сделать счетчик по условию - инкрементить (строки)

countIf(УСЛОВИЕ)

спасибо

тоже не задокументированная?

https://clickhouse.yandex/docs/ru/agg_functions/combinators/

тоже не задокументированная?

Советую так же вам функции в таблице функций искать - много нового для себя откроете :)

Кто помнит подскажите пожалуйста, вчера Алексей упоминал реализацию какого алгоритма для точного поиска подстроки? На _В_

Кто помнит подскажите пожалуйста, вчера Алексей упоминал реализацию какого алгоритма для точного поиска подстроки? На _В_

https://github.com/yandex/ClickHouse/blob/master/dbms/src/Common/Volnitsky.h

https://github.com/yandex/ClickHouse/blob/master/dbms/src/Common/Volnitsky.h

благодарю?

Коллеги, про with хотел уточнить, я верно понимаю, что он позволяет задать фактически переменные сверху запроса и далее их использовать внутри? Где можно по подробнее почитать ?)

Коллеги, про with хотел уточнить, я верно понимаю, что он позволяет задать фактически переменные сверху запроса и далее их использовать внутри? Где можно по подробнее почитать ?)

Можно тут https://github.com/yandex/ClickHouse/issues/2044

Можно тут https://github.com/yandex/ClickHouse/issues/2044

Спасибо!

Прошу прощения, если уже задавали этот вопрос — будут ли записи с прошедшего митапа https://events.yandex.ru/events/meetings/16-May-2018/ ?

Есть ли варианты ускорить доставку данных в локальные таблицы из папки Distributed? Из-за кривой вьюхи там скопилось 150Gb.

Удалить и вставлять напрямую в конечные таблицы?

то, что там накопилось, приезжает из сислогов, тех сислогов уже давно нет

Ну просто ждите, 150 гигов быстро разойдутся

начало рассасываться, но медленно это делает ппц

Во что упирается то?

на сервере все норм, диски процы не упираются

но вот щас за минуту 4 мегабайта ушло только

Ну логи посмотрите все, что то не так со скоростью и явно это не связано с реальной скоростью

Логи норм

Можно попробовать выставить настройку distributed_directory_monitor_batch_inserts в 1 у дефолтного профиля и перезапустить сервер

Коллеги, а размножать массив в строки лучше всего array_join да?

Можно попробовать выставить настройку distributed_directory_monitor_batch_inserts в 1 у дефолтного профиля и перезапустить сервер

повеселее пошло, спс!

Коллеги, после апргрейда одной из нод с 380->381 посыпалось " No replica has part covering 1023_1831_2695_4 and a merge is impossible: we didn't find smaller parts with either the same min block or the same max block. 2018.05.17 14:37:58.862615 [ 20 ] <Error> dnl.dnl_log_local (StorageReplicatedMergeTree, PartCheckThread): Part 1023_1831_2695_4 is lost forever. " - вернул назад 380, какие-то проблемы с 381?

несовместимость репликации в разных версиях?

ну как-то лихо между стэйблом и заплаткой его же