скорее всего да. вчера когда была проблема с конектом между репликами шардов. я лил в распределенную таблицу и данные складывались вот в такие папочки 2017.02.27 11:37:00.930614 [ 4 ] <Trace> events_tv11.Distributed.DirectoryMonitor: Started processing `/opt/clickhouse/data/admanic/events_tv11/default@192%2E168%2E1%2E149:9000,default@192%2E168%2E0%2E83:9090,default@192%2E168%2E0%2E85:9090/1.bin

и были там *.bin файлы

это приятно, а как быть если я туда ливанул кусок тех же данных?

сработает защита дедубликации?

Если те же данные в том же порядке, то сработает. Для последних 100 кусков.

ок, посмотрю, как данные встанут на место

кстати, вопрос по clickhouse-client, я в думонстрациях от smi2 на хабре - я видел, что при запросе в distributed таблицу показывается прогресс выполнения на всех нодах

а у меня такого не видно при запросе в distributed табблицу

это вырезали или просто при count() не успевает отобразится?

Прогрессбар не показывается, если запрос выполняется меньше, чем за 0.5 секунды

ок, понятно

еще такой вопрос

делаю запрос с группировкой

на данные, которые уже прилетели

через раз выдает 0 rows

и как-то странно на разных шардах запрос в distributed таблицу - возвращает разные данные

а на одно шарде всегда одинаковые данные? показывает или тоже скачут?

даже в пределах одного шарда - на репликах разные данные

при чем как-то странно, они скачут

то в большую, то в меньшую сторону

https://drive.google.com/file/d/0B3kh1B0hBMbubDc1THNyWHloNEU/view

первый запрос, с группировкой по дате реплика - 2

https://drive.google.com/file/d/0B3kh1B0hBMbuQUJ5eWJPYUREVDQ/view

тот-же запрос, минутой позже

та же реплика

Вы когда создавали реплецируемые таблици сделали ошибку вот они и скачут. вчера я это уже прошел. вот пример, где была допущена ошибка CREATE TABLE app_1.events_local_tv11 ( $DB ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/shard01/app_1.events_local_tv11', 'clickhouse-hw-03.app.com',ch_date, (traffic_source_id, ch_date), 8192);" Скорее всего с параметром для зукипера и шардой напутали

так, а в чем ошибка?

я не замечаю

ENGINE = ReplicatedMergeTree(\'/clickhouse/tables/{shard}/vast_tracking_local\', \'{replica}\', date, (hour, date, key, creative_id, uuid, sky_uuid), 8192)

тут ошибки нет. просто в этой части конмады была у вас ошибка

у меня используются макросы

из конфига

перепроверил, в макросах на всех нодах все правильно

откройте все логи через tail -f всех реплик и посмотрите что оно делает. у меня реплики содержали разное количесвто строк в таблице. вот и получалось что результат прыгал по тому что оно каждый раз ходит на разные реплики

tail -f clickhouse-server.log

<Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: CH-1-2, e.what() = Host not found

откуда он выцепил CH-1-2?

это хостнейм ноды

и эти сообщения валятся на ноде CH-1-1

понял...

<!-- Hostname that is used by other replicas to request this server. If not specified, than it is determined analoguous to 'hostname -f' command. This setting could be used to switch replication to another network interface. -->

Кусок пришел на ноду CH-1-2, она положила информацию о том, что у неё есть новый кусок, в zookeeper, нода CH-1-1 пытается скачать этот кусок с ноды CH-1-2, и у неё не получается.

теперь понял, сейчас в конфигах всем пропишу валидные хосты

вот только вопрос, как теперь остановить все то, что вливается?

По идее и не надо останавливать - после того, как всё правильно будет сконфигурировано, реплики должны сами синхронизироваться

Правда, если много синхронизировать, может потребоваться снять предохранитель: https://clickhouse.yandex/reference_ru.html#%D0%92%D0%BE%D1%81%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%20%D1%81%D0%B1%D0%BE%D1%8F

Напоминаем, что буквально через полчаса мы начинаем трансляцию ClickHouse митапа из Санкт-Петербурга. https://www.facebook.com/Yandex.Events/posts/1453883304631786 https://vk.com/wall-17796776_5172 https://twitter.com/ya_events/status/836593476879941632

Спасибо за прогресс в http ?

А можно как то переименовывать поля в таблице не удаляя данные?

@milovidov_an А появился такой вопрос, связанный с масштабированием архитектуры ClickHouse. А не подскажете, какое соотношение должно быть между размером данных на диске, которые кликхаус "тянет", по отношению к размеру памяти и производительности, ядрам CPU? Есть какие-то примеры удачных конфигураций, например в Метрике? Если, конечно, не раскрывать секретных данных

https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt

Ну то есть, размер дисков я могу предсказать, который понадобится, да и напихать побольше, а, вот, с памятью и cpu — тут большой вопрос

https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt

Спасибо, гляну сейчас

Ну то есть, размер дисков я могу предсказать, который понадобится, да и напихать побольше, а, вот, с памятью и cpu — тут большой вопрос

ну и количество машин

всем привет)

дублирую вопрос с чата митапа

"А про функции работы с сетями в формате CIDR можете спросить? Хочется функции проверки на принадлежность заданной сети/списку сетей, чтобы делать аггрегацию на уровне CH без обработки на клиенте."

я открывал issue по этому поводу

можете плюсануть/исправить/дополнить

https://github.com/yandex/ClickHouse/issues/247

@iamigor ок посмотрим спасибо

Joinы по любому условию планируется добавить, не только по равенству?

ну вроде так))

все-таки хотелось бы правильных джойнов.

Наконец-то, это будет ?

Подскажите, а словари уже видны в виде таблиц? К ним обычный SELECT можно сделать?

без дополнительной таблицы -- "источника ключей" -- нельзя

Ребята, вопрос - правильно ли я понимаю, что единственный способ получить update-able данные - это только использование словарей. Например есть словарь весов - которые могут изменяться. Словарь из внешних источников. Например постгрес. Соответственно если я изменю содержимое таблицы (update T .... set ....) то по lifetime произойдет перезагрузка словаря. Или не произойдет?

Это не единственный способ. Есть еще ReplacingMergeTree, который позволяет "eventually" делать апдейты. Но словари по многим причинам лучше. Апдейт может быть и по lifetime, и другими способами. Я надеюсь, что Яндекс сделает возможность апдейта словаря по его изменению (например, по изменению таймстампа в одной из колонок). Сейчас это работает только для MySQL MyISAM

Слияние происходят в фоне, в неизвестный момент времени, на который вы не можете ориентироваться. Некоторая часть данных может так и остаться необработанной. Хотя вы можете вызвать внеочередное слияние с помощью запроса OPTIMIZE, на это не стоит рассчитывать, так как запрос OPTIMIZE приводит к чтению и записи большого объёма данных.

)) ну то есть RT не получится.

если большой дистрибьют объем данных

А вы смотрите прямо сейчас трансляцию митапа ClickHоuse? http://bit.ly/ClickHouseMeetup

Посмотреть хотелось но как то не до этого

select * from (select arrayJoin([[1126],[1]]) as x) lpc

Сталкивались?)

select * from (select arrayJoin([[1126],[1]]) as x) lpc

Запрос не работает потому, что clickhouse не смог привести два массива к одному типу: :) select toTypeName([1126]), toTypeName([1]) SELECT toTypeName([1126]), toTypeName([1]) ┌─toTypeName([1126])─┬─toTypeName([1])─┐ │ Array(UInt16) │ Array(UInt8) │ └────────────────────┴─────────────────┘

вот так например работает: :) select * from (select arrayJoin([[toUInt32(1126)],[toUInt32(1)]]) as x) SELECT * FROM ( SELECT arrayJoin([[toUInt32(1126)], [toUInt32(1)]]) AS x ) ┌─x──────┐ │ [1126] │ │ [1] │ └────────┘

:) select * from (select arrayJoin([[toUInt32(1126)],[toUInt32(1)]]) as x) SELECT * FROM ( SELECT arrayJoin([[toUInt32(1126)], [toUInt32(1)]]) AS x ) ┌─x──────┐ │ [1126] │ │ [1] │ └────────┘

select toUInt32(arrayElement(x,1)) from (select arrayJoin([['1126'],['1']]) as x) lpc

Борьба за длину запроса, в данном случае

(

Вопрос про то как класть логи в CH - в реалтайме или лучше через Кафку например?

Вроде надо пачками

Так как логика работы кх