да

прод сервера? ?

т.е. без тестирования и вникания в детали на проде выполнить "atp upgrade" - это не проблема?

если нужно делать без простоя подобные штуки, то CH предоставляет такую возможность через реплики и правильную архитектуру приложения

sudo service clickhouse-server restart

если нужно делать без простоя подобные штуки, то CH предоставляет такую возможность через реплики и правильную архитектуру приложения

выполнить "atp upgrade" - это не проблема? А какие могут быть последствия, если изменения применяться после рестарта?

не понял вопроса

выполнить "atp upgrade" - это не проблема? А какие могут быть последствия, если изменения применяться после рестарта?

Ну вдруг там с типами данных игрались или куску есть не смердженные. <offtop> Ps знакомый ник, в tf2 не играл случаем ?<\offtop>

Ну вдруг там с типами данных игрались или куску есть не смердженные. <offtop> Ps знакомый ник, в tf2 не играл случаем ?<\offtop>

Не играл ) Спасибо учту. Все обновилось корректно )

Всем привет! Подскажите, можно ли как то использовать таблицу А в качестве словаря для таблицы В в одной и той же БД?

Всем привет! Подскажите, можно ли как то использовать таблицу А в качестве словаря для таблицы В в одной и той же БД?

Да, можно указать clickhouse как источник словаря.

https://clickhouse.yandex/docs/ru/dicts/external_dicts_dict_sources.html#clickhouse

Спасибо

https://clickhouse.yandex/docs/ru/dicts/external_dicts_dict_sources.html#clickhouse

Это в конфигах?

да, в конфиге словаря

Не нашел в документации инфу по query_log эту табличку можно почистить (delete ) ? или ch сам старое удалит?

да, в конфиге словаря

это где? )

это где? )

в качестве источника. или я не понял вопрос :)

в каком файл менять <dictionaries> <dictionary>

или нужно где то создать фалик с этими данными?

или нужно где то создать фалик с этими данными?

Источник настраивается в разделе source.

создать отдельный файлик с конфигурацией словаря, написать в config.xml путь к этому файлу. или нескольким, через маску (*_dictionary.xml, например)

Мда, очень юзер френдли )) Спасибо

(в config.xml это секция <dictionaries_config>)

Что-то не понял с пользователями как обращаться. Добавил в users.xml пользователя, через консольные клиенты коннектится, через http никак

При этом в логах нет никаких ошибок

При этом коннектится с любого другого хоста через консольный клиент

По http только default работает

Code: 164, e.displayText() = DB::Exception: Cannot override setting (add_http_cors_header) in readonly mode, e.what() = DB::Exception :)

Профиль ставлю readonly

Как быть?

для начала попробуйте поставить в users.xml настройку <readonly>2</readonly>

для начала попробуйте поставить в users.xml настройку <readonly>2</readonly>

Сработало! Спасибо!

в целом, это не очень хорошее решение, так как пользователь теперь может изменять настройки.

Доступ дали аналитику, который с SQL то еще толком не дружит ))

можно попробовать понять, зачем меняется add_http_cors_header и прописать нужное значение в config.xml, а затем вернуть <readonly>1</readonly>

Доступ дали аналитику, который с SQL то еще толком не дружит ))

пфф, я вот аналитик который не дружит с SQL и который рассказал и заставил компанию использовать КХ в продакшене)))

Ну тут в качестве инициатора использовать КХ выступил я ) Аналитику для упрощения начала общения с КХ дал доступ в tabix. Потом уже будем пересаживать на нативный клиент.

Да и сидит этот Аналитик рядом )

А зачем ему нативный клиент? мы вот из кх прямо в эксель грузим

я как то постенсялся спрашивать) я чисто на энтузиазме мучаю клиент)

в основном все решается подключением БД к powerbi и уже визуализацией данных

У нас не просто посчитать шкалу y с группировкой по шкале x )

Запросы могут быть просто из серии: сколько эвентов в среднем на пользователя за час на таком то курсе.

Что бы понимать для новых заказчиков потребность в железе и пр.

Поэтому грузить в эксель не вариант )

Поэтому грузить в эксель не вариант )

а в BI?

Тоже не совсем то. У нас не финансовая аналитика или рекламная, мы анализируем по большей части сам контент. Например есть тестирования, которые содержат вопросы и варианты ответов, есть ответы пользователей, есть статусы: правильно ответил или нет. Надо посчитать например на сколько эффективна теоретическая часть, которая готовит к этом тестированию и такие вопросы часто задаются. Поэтому аналитики сейчас сами учатся писать запросы и выбирать нужные им данные, вместо того, что бы дергать постоянно разработчиков "добавьте нам такой вот отчет в систему". Система и так обросла отчетами, которые по сути использовались один раз всего.

К каждому вопросу в тестировании привязан какой то блок теории, мы смотрим например сколько времени пользователь провел в теории и как он отвечает на конкретный вопрос, что бы понимать, например, что пользователю в среднем достаточно провести в теоретическом блоке 10 минут, что бы запомнить навсегда правильный ответ на этот вопрос.

Тоже не совсем то. У нас не финансовая аналитика или рекламная, мы анализируем по большей части сам контент. Например есть тестирования, которые содержат вопросы и варианты ответов, есть ответы пользователей, есть статусы: правильно ответил или нет. Надо посчитать например на сколько эффективна теоретическая часть, которая готовит к этом тестированию и такие вопросы часто задаются. Поэтому аналитики сейчас сами учатся писать запросы и выбирать нужные им данные, вместо того, что бы дергать постоянно разработчиков "добавьте нам такой вот отчет в систему". Система и так обросла отчетами, которые по сути использовались один раз всего.

я имел в виду некий симбиоз, обычно я делаю запрос из PowerBI с КХ, получаю данные и их уже внутри сам визуализирую не трогая разрабов

Ааааа, ну такие инструменты у них вроде как есть, не давался в подробности. Им главное получать данные для визуализации, дальше они сами уже разбираются че с ними делать.

Добрый день. Подскажите как взять целую часть от числа (тип float). Требуется группировка по целой части.

toInt вроде бы

Добрый день. Подскажите как взять целую часть от числа (тип float). Требуется группировка по целой части.

SELECT toInt64(4.6) ┌─toInt64(4.6)─┐ │ 4 │ └──────────────┘

Я вот что-то не нашёл по истории чата. А куда из репозитория на github подевался файл build.md?

Приведу может еще 1 пример чтобы стало понятнее. У нас в системе в месяц поступает порядка 1 000 000 заказов с большим количеством колонок. По ним нужно очень много всяких статистических выборок и с агрегацией и без. Соответсвтвенно предлагается в кликхаус хранить на каждый заказ еще всю историю его изменений, к примеру на каждый заказ в среднем по 10 записей, получается 10 000 000 записей в месяц. Но все выборки, 99% нужно будет выбирать из представления с ORDER by datetime LIMIT 1 BY order_id чтобы обращаться к последней версии заказа.

Только учтите ещё один нюанс, если в запросе указать order by без дополнительного where, то КХ индексы не использует и вы получите full scan всей таблицы с соответствующей скоростью обработки запроса.

Я вот что-то не нашёл по истории чата. А куда из репозитория на github подевался файл build.md?

https://github.com/yandex/ClickHouse/blob/v1.1.54289-stable/docs/ru/development/build.rst

После установки новой версии 1.1.54289 сервер начал падать 3-4 раза в день 2017.09.26 14:21:33.704400 [ 32453 ] <Error> BaseDaemon: ######################################## 2017.09.26 14:21:33.704432 [ 32453 ] <Error> BaseDaemon: (from thread 32357) Received signal Segmentation fault (11). 2017.09.26 14:21:33.704456 [ 32453 ] <Error> BaseDaemon: Address: 0x7feacbc9a008 2017.09.26 14:21:33.724958 [ 32453 ] <Error> BaseDaemon: 0. clickhouse-server(unsigned long DB::NonJoinedBlockInputStream::fillColumns<(DB::ASTTableJoin::Strictness)2, HashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, DB::Join::WithUsedFlag<true, DB::Join::RowRefList>, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, HashTableGrower<8ul>, Allocator<true> > >(HashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, DB::Join::WithUsedFlag<true, DB::Join::RowRefList>, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, HashTableGrower<8ul>, Allocator<true> > const&, unsigned long, std::vector<DB::IColumn*, std::allocator<DB::IColumn*> >&, unsigned long, std::vector<DB::IColumn*, std::allocator<DB::IColumn*> >&)+0x29b) [0x333eb6b] 2017.09.26 14:21:33.724988 [ 32453 ] <Error> BaseDaemon: 1. clickhouse-server(DB::Block DB::NonJoinedBlockInputStream::createBlock<(DB::ASTTableJoin::Strictness)2, DB::Join::MapsTemplate<DB::Join::WithUsedFlag<true, DB::Join::RowRefList> > >(DB::Join::MapsTemplate<DB::Join::WithUsedFlag<true, DB::Join::RowRefList> > const&)+0xc22) [0x3341202] 2017.09.26 14:21:33.725006 [ 32453 ] <Error> BaseDaemon: 2. clickhouse-server(DB::NonJoinedBlockInputStream::readImpl()+0x38) [0x3342218] 2017.09.26 14:21:33.725019 [ 32453 ] <Error> BaseDaemon: 3. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x1e6) [0x298a4f6] 2017.09.26 14:21:33.725044 [ 32453 ] <Error> BaseDaemon: 4. clickhouse-server(DB::ExpressionBlockInputStream::readImpl()+0x1a) [0x328e93a] 2017.09.26 14:21:33.725056 [ 32453 ] <Error> BaseDaemon: 5. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x1e6) [0x298a4f6] 2017.09.26 14:21:33.725074 [ 32453 ] <Error> BaseDaemon: 6. clickhouse-server(DB::ParallelInputsProcessor<DB::UnionBlockInputStream<(DB::StreamUnionMode)0>::Handler, (DB::StreamUnionMode)0>::thread(MemoryTracker*, unsigned long)+0xe4) [0x30a85b4] 2017.09.26 14:21:33.725084 [ 32453 ] <Error> BaseDaemon: 7. clickhouse-server() [0x3d2f38f] 2017.09.26 14:21:33.725095 [ 32453 ] <Error> BaseDaemon: 8. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8184) [0x7feed32dc184]

Кто-то ещё с этим столкнулся?

Большое спасибо.

SELECT toInt64(4.6) ┌─toInt64(4.6)─┐ │ 4 │ └──────────────┘

Привет, подскажите, я выполняю alter table... on cluster.. add column, получаю ошибку: An error occured before execution: Code: 371, e.displayText() = DB::Exception: Table histograms_local is replicated, but shard #2 isn\'t replicated according to its cluster definition. Что бы это означало?

SipHash является криптографической хэш-функцией, а xxHash - нет. Таким образом, сравнение некорректно. xxHash относится к тому же классу, что и, например, CityHash, и его производительность примерно в 10 раз выше, чем SipHash.

А можно узнать что было захешировано в cityHash64?

восстановить строку из её хеша что ли? %)

:D

А можно узнать что было захешировано в cityHash64?

Он же на то и хеш что с него нельзя ничего восстановить.

https://www.youtube.com/watch?v=Rnf-BokbiBQ

))) Может не с той стороны смотрю. есть ID (строка) по которой можно определить источник. хранить строку "дорого" на большом объеме. вот думаю как бы ее хранить

как часть id можно юзать хеш, а рядом саму строку

а как насчет словаря?

словарь на сотни миллионов строк ?

у меня в словаре лежит база maxmind

упс не туда посмотрел)

смотря что за строки, если они нужны, то хранить всё равно придётся, хешем не обойтись а как хранить - другой вопрос

а источники не получится както классифицировать или надо целиком всю строку знать?

https://github.com/yandex/ClickHouse/blob/v1.1.54289-stable/docs/ru/development/build.rst

гранмерси

Оки. буду думать. Еще раз спасибо)

После установки новой версии 1.1.54289 сервер начал падать 3-4 раза в день 2017.09.26 14:21:33.704400 [ 32453 ] <Error> BaseDaemon: ######################################## 2017.09.26 14:21:33.704432 [ 32453 ] <Error> BaseDaemon: (from thread 32357) Received signal Segmentation fault (11). 2017.09.26 14:21:33.704456 [ 32453 ] <Error> BaseDaemon: Address: 0x7feacbc9a008 2017.09.26 14:21:33.724958 [ 32453 ] <Error> BaseDaemon: 0. clickhouse-server(unsigned long DB::NonJoinedBlockInputStream::fillColumns<(DB::ASTTableJoin::Strictness)2, HashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, DB::Join::WithUsedFlag<true, DB::Join::RowRefList>, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, HashTableGrower<8ul>, Allocator<true> > >(HashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, DB::Join::WithUsedFlag<true, DB::Join::RowRefList>, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, HashTableGrower<8ul>, Allocator<true> > const&, unsigned long, std::vector<DB::IColumn*, std::allocator<DB::IColumn*> >&, unsigned long, std::vector<DB::IColumn*, std::allocator<DB::IColumn*> >&)+0x29b) [0x333eb6b] 2017.09.26 14:21:33.724988 [ 32453 ] <Error> BaseDaemon: 1. clickhouse-server(DB::Block DB::NonJoinedBlockInputStream::createBlock<(DB::ASTTableJoin::Strictness)2, DB::Join::MapsTemplate<DB::Join::WithUsedFlag<true, DB::Join::RowRefList> > >(DB::Join::MapsTemplate<DB::Join::WithUsedFlag<true, DB::Join::RowRefList> > const&)+0xc22) [0x3341202] 2017.09.26 14:21:33.725006 [ 32453 ] <Error> BaseDaemon: 2. clickhouse-server(DB::NonJoinedBlockInputStream::readImpl()+0x38) [0x3342218] 2017.09.26 14:21:33.725019 [ 32453 ] <Error> BaseDaemon: 3. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x1e6) [0x298a4f6] 2017.09.26 14:21:33.725044 [ 32453 ] <Error> BaseDaemon: 4. clickhouse-server(DB::ExpressionBlockInputStream::readImpl()+0x1a) [0x328e93a] 2017.09.26 14:21:33.725056 [ 32453 ] <Error> BaseDaemon: 5. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x1e6) [0x298a4f6] 2017.09.26 14:21:33.725074 [ 32453 ] <Error> BaseDaemon: 6. clickhouse-server(DB::ParallelInputsProcessor<DB::UnionBlockInputStream<(DB::StreamUnionMode)0>::Handler, (DB::StreamUnionMode)0>::thread(MemoryTracker*, unsigned long)+0xe4) [0x30a85b4] 2017.09.26 14:21:33.725084 [ 32453 ] <Error> BaseDaemon: 7. clickhouse-server() [0x3d2f38f] 2017.09.26 14:21:33.725095 [ 32453 ] <Error> BaseDaemon: 8. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8184) [0x7feed32dc184]

на каком-то запросе?

Есть готовые геобазы для внутренних словарей?)

у maxmind есть geolite-city

http://geolite.maxmind.com/download/geoip/database/GeoLite2-City-CSV.zip

Подскажите, пожалуйста, есть 4и сервера, на кадом включено логирование запросов (system.query_log). Создал на всех серверах distributed таблицу, которая указывает на эти "локальные". Беру, допустим, select count(*) from и получаю разные значения. Сейчас говорю не о том, что появляются новые записи в таблице. А о том, что, условно, три запроса подряд показывают в ответе 300тыс записей, а один раз возвращается - 200тыс. Что происходит или что я делаю не так?

Подскажите, пожалуйста, есть 4и сервера, на кадом включено логирование запросов (system.query_log). Создал на всех серверах distributed таблицу, которая указывает на эти "локальные". Беру, допустим, select count(*) from и получаю разные значения. Сейчас говорю не о том, что появляются новые записи в таблице. А о том, что, условно, три запроса подряд показывают в ответе 300тыс записей, а один раз возвращается - 200тыс. Что происходит или что я делаю не так?

Покажите конфиг кластера

Покажите конфиг кластера

<?xml version="1.0"?> <yandex> <clickhouse_remote_servers> <ch_cluster> <!— shard 1 —> <shard> <!— replica 1_1 —> <replica> <host>172.20.80.11</host> <port>9000</port> </replica> <!— replica 1_2 —> <replica> <host>172.20.80.12</host> <port>9000</port> </replica> </shard> <!— shard 2 —> <shard> <!— replica 2_1 —> <replica> <host>172.20.80.13</host> <port>9000</port> </replica> <!— replica 2_2 —> <replica> <host>172.20.80.14</host> <port>9000</port> </replica> </shard> </ch_cluster> </clickhouse_remote_servers> <zookeeper-servers> <node index="1"> <host>172.20.80.1</host> <port>2181</port> </node> <node index="2"> <host>172.20.80.2</host> <port>2181</port> </node> <node index="3"> <host>172.20.80.3</host> <port>2181</port> </node> <node index="4"> <host>172.20.80.4</host> <port>2181</port> </node> <node index="5"> <host>172.20.80.5</host> <port>2181</port> </node> </zookeeper-servers> <resharding> <task_queue_path>/clickhouse/task_queue</task_queue_path> </resharding> <macros> <shard>1</shard> <replica>1</replica> </macros> </yandex>

всё "стандартное"

Замени ip-адрес на имя сервера (ns или ещё что). Есть такой баг, уже в этом чате обсуждали

Подскажите, пожалуйста, есть 4и сервера, на кадом включено логирование запросов (system.query_log). Создал на всех серверах distributed таблицу, которая указывает на эти "локальные". Беру, допустим, select count(*) from и получаю разные значения. Сейчас говорю не о том, что появляются новые записи в таблице. А о том, что, условно, три запроса подряд показывают в ответе 300тыс записей, а один раз возвращается - 200тыс. Что происходит или что я делаю не так?

также посмотрите, есть ли какие-нибудь данные в data/database/distributed_table и есть ли в логе ошибки пересылки данных на реплики

У вас там запрос то на одну машину уходит то на другую, сделайте еще 1 кластер в конфиге (all_nodes) и все машины туда пропишите, а не 2-а шарда

Добрый день, знатоки, а может кто-нибудь на пальцах объяснить разницу между optimize и optimize partition final для replacing merge tree?

У вас там запрос то на одну машину уходит то на другую, сделайте еще 1 кластер в конфиге (all_nodes) и все машины туда пропишите, а не 2-а шарда

понимаю, что запрос бегает по машинам. Полагал, что он должен на каждой собрать пачку данных, дальше её как-то тоже перемешать, согласно изначальному запросу и уже выдать "постоянно одинаковый" ответ. Но что-то такого не наблюдаю.

Добрый день, знатоки, а может кто-нибудь на пальцах объяснить разницу между optimize и optimize partition final для replacing merge tree?

optimize не будет трогать партицию, если все куски уже помержены. optimize final помержит в любом случае

понимаю, что запрос бегает по машинам. Полагал, что он должен на каждой собрать пачку данных, дальше её как-то тоже перемешать, согласно изначальному запросу и уже выдать "постоянно одинаковый" ответ. Но что-то такого не наблюдаю.

query log на всех машинах разный, у вас запрос берет часть с 1 шарда (на том с которого выполняете запрос) и часть с другого, то с одной то с другой машины, в запрос добавте hostName() и сгруппируйте по нему

также посмотрите, есть ли какие-нибудь данные в data/database/distributed_table и есть ли в логе ошибки пересылки данных на реплики

Ошибок в логах нет. data/database/distributed_table пустая

optimize не будет трогать партицию, если все куски уже помержены. optimize final помержит в любом случае

Могу ли я буть уверенным, что после прогона optimize table visits; визиты не будут дублироваться?

кажется что нет: "ReplacingMergeTree подходит для фоновой чистки дублирующихся данных в целях экономии места, но не даёт гарантий отсутствия дубликатов."

Ошибок в логах нет. data/database/distributed_table пустая

Distributed таблица смотрит на Replicated или просто на mergeTree?

Distributed таблица смотрит на Replicated или просто на mergeTree?

просто на mergeTree

кажется что нет: "ReplacingMergeTree подходит для фоновой чистки дублирующихся данных в целях экономии места, но не даёт гарантий отсутствия дубликатов."

Да, но если я залил данных, запустил оптимайз и только потом селекчу - то вроде как должно быть ок