еще девелоперский вопрос - а где найти описание, как добавить свою функцию в C++ код?

https://github.com/yandex/ClickHouse/tree/master/doc/developers

там есть описание архитектуры от Лёши и стайлгайд

Ребят тыкните носом как называется словарик с композитными составным ключиком)) Коль Алексей сказал что есть.

cd dbms/tests/external_dictionaries; ./generate_and_test.py

it will fail, but create files in ./generated

all *_complex_* is working configs

Хм. У меня нет py) КХ в докере как бы. Issue открыть?

> КХ в докере как бы. apt-get install python?..

Угу. Плюс дистр скачать. Это нетрудно. Но хотелось бы чтоб в доках было а не танцы с бубном

> Угу. Плюс дистр скачать. Зачем? о_О

в докер-контейнере уже убунта ведь

Дистр Кх

))

Угу. Плюс дистр скачать. Это нетрудно. Но хотелось бы чтоб в доках было а не танцы с бубном

Трудно не согласиться - открывайте issue. А лучше, конечно, pull request... ;)

<layout> <complex_key_hashed /> </layout> <structure> <key> <attribute> <name>uid</name> <type>UInt64</type> </attribute> <attribute> <name>order_id</name> <type>UInt32</type> </attribute> </key> <attribute> <name>has_access</name> <type>UInt8</type> <null_value>0</null_value> </attribute> </structure>

в функции доступа указываете tuple. Типы в этом случае могут быть любые

? огромное спасибо.

Можно также через этот механизм в качестве ключа использовать одну колонку с произвольным типом, то есть не обязательно UInt64

Вопрос я так понимаю можно тот же String?

А я вопрос не понимаю :) В чем вопрос?

Да просто в доке которая у Я выложена ограничение на ключи)) вот поэтому и спросил. Тем более ключи у них там только UInt были указаны

В механизме с обычным ключом -- тип только UInt64, если использовать сomplex_key_hashed, как в примере выше, то можно использовать любые типы, в том числе tuple из одного элемента любого типа, включая String.

@milovidov_an А какая статистика использования кликхауса по другим городам? После мск и спб кто еще есть?

Да мне кажется много где кликхаусом сейчас пользуются. Постоянно вокруг о нем все говорят.

@milovidov_an А какая статистика использования кликхауса по другим городам? После мск и спб кто еще есть?

И не в России тоже интересно, после примера с NYC Taxi

Латвия, Рига - собираем в КХ рекламную статистику ?

Литва, Вильнюс - собираем аксесс логи для аналитики

уже 3 месяца

а мы разрабатываем

и производит http запрос не по домену, а по ip

https://github.com/yandex/ClickHouse/commit/5cf6f4d8c13005a12f6aed2285389b6f7a7a69e6

Латвия, Рига - собираем в КХ рекламную статистику ?

Я уже выше спрашивал - расскажите - как кладёте в КХ стату? на митапе даже вопрос озвучили)

Мы например в отдельном приложении буферизуем в течение секунды запросы и скидываем пачками.

Но у нас просто почти реалтайм и поэтому так удобнее, а то бы кафку взяли например.

вот у меня кафка есть

а КХ хочу запробовать

т.к. переодически вопросы у менеджеров возникают

аналитические

просто учитывая трафик там очень много данных будет

@p_hamper у вас тоже rtb?

Понятие "очень много" у всех разное ) Для кого-то это сотни гигабайт, для кого то десятки петабайт.

ну да) - согласен - десятки гигов в сутки

@p_hamper у вас тоже rtb?

И rtb есть (там правда только в одном проекте кх как замена инфлакса используется) и в других проетах тоже впиливаем.

Привет! Спасибо авторам CH за сегодняшние доклады.

Не подскажет кто, есть сравнение ClickHouse и Tarantool?

Скорость, работа с индексами и т.п.

Если нужно сложить в базу 500 млн ивентов (из десятка числовых полей и пары коротких строковых) в сутки?

Выборки по ним разнообразные, но простые нужно делать (желательно real time)

Это антипаттерн для кх

Можно поподробней?

Нет смысла в сравнении

А если забить на сравнение и подбирать просто под описанную задачу?

Ну на митапе прям был ответ что кх не ключ значение

Кого стоит выбрать и почему?

> Alexey Если нужно сложить в базу 500 млн ивентов (из десятка числовых полей и пары коротких строковых) в сутки? Мы в складываем на порядок больше строк, потоковых в 5ти новодовый на блинах в хетзнере и еще дополнительно раскладывает этиже данные в Summing таблицы, для очень быстрой аггрегации Далее нам нужно достать быстро , минимально от времени записи, данные сжатые но по всего 20К ключам -> select ... where id IN ( local_csv_file ) Отрабатывает пулей - где в local_csv_file лежат ID полей которые нам нужно достать.

Т.е. однозначно за CH, так?

странно на канале кликхауса спрашивать кликхаус или нет

ну и кх пока не успел накосячить

Дык я задачу обсуждаю. Подходит или нет. :)

Т.е. однозначно за CH, так?

если мне вопрос , я попытался ответить в статье "запускаем ch срываем джекпот" на хабре)

https://habrahabr.ru/company/smi2/blog/314558/ Онн?

ага

мы отказались от кассандры и infinidb ... и я стал чуточку спокойнее спать - зная что CH нормально справляется и запаса много. Лежащий ночью кластер кассандры в полном рассинхроне ... или infiniDB у которая просто теряла данные... в прошлом)) Совет: попробуйте , но подход не совсем key-value используйте

есть же много нормальных kv, aerospike например, или там все же часто нужны запросы не по ключам?

А ктото известный использует его?

Мы отказались в него смотреть потому что не нашли саксесс стори:)

aerospike не взлетел как хотелось.... тестили понравился... ооочень быстрый KV

но не помню что отпугнуло то-ли цена то-ли еще что то

А ктото известный использует его?

СH или Aerospike?

Аэроспайк

половина РТБшек точно его юзают)

Мы вот ща параллельно кх и кассандру варим

Ну можно живой пример чтоб они этим хвастались?)

таргетикс на хабре цикл статей

https://www.google.ru/search?newwindow=1&q=targetix+site%3Ahabrahabr.ru&oq=targetix+site%3Ahabrahabr.ru&gs_l=serp.3...1344.4715.0.5047.8.8.0.0.0.0.280.849.5j2j1.8.0....0...1c.1.64.serp..0.4.572...35i39k1j30i10k1.fXjCPAE-Ezw

Увидел слова спарк и дотнет. Испугался

угу, у них C#

тем более они недавно расширили лицензию бесплатную

но тут не чат Аероспайка всё же..

Норм, пусть в кх код пишут, а не болтают:)

Кроссдатацентер репликация платная, ужс

У нас денег нету

Ну можно живой пример чтоб они этим хвастались?)

Мы в нескольких dmp его использовали, хотя название ничего не скажет все равно, так что особо известными не назвать, раньше пробовали кассандру (было медленновато), riak (продержался пару месяцев и сдох полностью прямо на продакшне, еле вытащили данные и перенесли все в аэроспайк срочно переписав логику) потом уже просто на аэроспайке делали, очень удобно и быстро, хотя вот минусы тоже встречаются, например у него примерно раз в 5 минут несколько запросов может подвиснуть на 1-2 секунды, из за этого график 95 персентили слегка зубчиками идет.

Вот это все еще актуально для него например http://varyous-simbir.blogspot.ru/2015/11/aerospike.html

И главное не стопать кластер аэроспайка (для этого надо как минимум все нужные неймспейсы сразу прописать), иначе он на холодном старте может около часа подниматься.

И это всего на паре террабайт данных (около пары миллиардов ключей)

Доброго времени суток! Подскажите, пожалуста, настроили реплику КХ, данные реплициуются, но получаем ошибку <Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 86, e.displayText() = DB::Exception: Received error from remote server http://server:9000/?endpoint=DataPartsExchange:/clickhouse/tables/i/i/i302/replicas/fra1-01&part=20170228_20170228_1645_1645_0&shard=&compress=false. HTTP status code: 400, body: Port 9000 is for clickhouse-client program.

не очень понимаю откуда порт 9000 берется

А что в конфиге, настройка interserver_http_port?

точно 9000 стоит, спасибо его нужно на 8123 поменять, я правильно понимаю?