сбрасывать после прочистки

Может уже задавали этот вопрос, но я спрошу еще раз. Как скейлить кликхаус, на данный момент есть 3 шарда по 2 реплики в каждом, нужно добавлять шарды или реплики?

Может уже задавали этот вопрос, но я спрошу еще раз. Как скейлить кликхаус, на данный момент есть 3 шарда по 2 реплики в каждом, нужно добавлять шарды или реплики?

Вы о чем спросить хотите?

Вы о чем спросить хотите?

Собственно как скейлится ?

Собственно как скейлится ?

Что значит склеиться?

Что значит склеиться?

Масштабироватся, увеличивать размер кластера. Текущий кластер достаточно нагружен и запаса по ресурсам почти не осталось, вопрос в том как правильно добавить серверов в кликхаус кластер?

Масштабироватся, увеличивать размер кластера. Текущий кластер достаточно нагружен и запаса по ресурсам почти не осталось, вопрос в том как правильно добавить серверов в кликхаус кластер?

По месту не влезаете или память/цпу/диск?

По месту не влезаете или память/цпу/диск?

ЦПУ, память

Надо смотреть запросы в первую очередь и то, как у вас данные лежат. Если "ничего не помагает" то в случае памяти реплики не помогут, можно попробовать разбить данные на более мелкие куски, хотя это и странно, возможно нужно просто правильно настройки выставить

Надо смотреть запросы в первую очередь и то, как у вас данные лежат. Если "ничего не помагает" то в случае памяти реплики не помогут, можно попробовать разбить данные на более мелкие куски, хотя это и странно, возможно нужно просто правильно настройки выставить

Спасибо, будем смотреть

Здравствуйте. Изучаю сейчас словари и не могу понять правильно ли я понимаю словари или нет. В КХ в таблице есть поле status_id UInt8 , в MySQL есть другое поле с 3 колонками: id, name, description хотелось бы что бы при выборке с КХ вместо status_id подставлялось name с таблицы в MySQL , но не могу понять что тогда нужно писать в настройке: <where> или его можно просто не заполнять?

и то что разные типы данных в КХ и в MySQL это проблема или нет?

Здравствуйте. Изучаю сейчас словари и не могу понять правильно ли я понимаю словари или нет. В КХ в таблице есть поле status_id UInt8 , в MySQL есть другое поле с 3 колонками: id, name, description хотелось бы что бы при выборке с КХ вместо status_id подставлялось name с таблицы в MySQL , но не могу понять что тогда нужно писать в настройке: <where> или его можно просто не заполнять?

Настройка <where> нужна для дополнительной фильтрации. У вас такого нет, поэтому уберите этот тег. Про типы - нужно смотреть в каждом конкретном случает, с числами и строками проблем не замечал

@milovidov_an Есть какая-либо информация по поводу даты следующего stable релиза? (аппроксимированное значение тоже приветствуется)

@ztlpn на этой неделе готовит релиз.

спасибо!

имеется ввиду то что в КХ это UInt8 а в мускуле это int(11)

В конфиге можно указать правило преобразования, так что не должно быть проблем

подскажите, для ReplacingMergeTree есть "новая" форма записи, при создании, через partition, order by и settings, как для MergeTree: create materialized view ... engine = MergeTree partition by ... order by (...) settings index_granularity = 8192

спасибо, буду дальше разбираться ?

имеется ввиду то что в КХ это UInt8 а в мускуле это int(11)

Как так ?

подскажите, для ReplacingMergeTree есть "новая" форма записи, при создании, через partition, order by и settings, как для MergeTree: create materialized view ... engine = MergeTree partition by ... order by (...) settings index_granularity = 8192

Да - просто пишите ReplacingMergeTree вместо MergeTree.

Да - просто пишите ReplacingMergeTree вместо MergeTree.

А как ему название поля с версией передать корректно?

А как ему название поля с версией передать корректно?

Просто первые 2-а параметра уехало в PARTITION BY/ORDER BY все остальное как обычно

Как так ?

в мускуле таблица проектировалась давно и под одно кол-во записей, а по факту оказалось совершенно другое кол-во, сейчас проектируем таблицу в КХ и поняли что смысла в int(11) в КХ нету, достаточно будет UInt8

а обновлять в мускуле таблицу как обычно времени нету ?

А подскажите пожалуйста еще такой момент, как лучше хранить user agent?

А подскажите пожалуйста еще такой момент, как лучше хранить user agent?

Зависит от того, для чего вам нужен. Можете хранить сам user agent как строку и отдельные столбцы с вычислеными параметрами (платформа, версия и т.п.)

А подскажите пожалуйста еще такой момент, как лучше хранить user agent?

String Но - для всего, что вы можете из него вычислить, стоит сделать ещё дополнительно отдельные аккуратные столбцы - это сильно ускорит запросы по этим параметрам. Например, у нас это - BrowserID UInt16, OSID UInt16, MobilePhoneVendor UInt16, MobilePhoneModel String, BrowserVersion1 UInt16, BrowserVersion2 UInt16, ...

понял, спасибо большое, в целом так и думал

String Но - для всего, что вы можете из него вычислить, стоит сделать ещё дополнительно отдельные аккуратные столбцы - это сильно ускорит запросы по этим параметрам. Например, у нас это - BrowserID UInt16, OSID UInt16, MobilePhoneVendor UInt16, MobilePhoneModel String, BrowserVersion1 UInt16, BrowserVersion2 UInt16, ...

доклад был у вас. Про эффективную работу с КХ, чтоль. Там было немного о хранении UA

Привет! Подскажите, в чем грабли: если стартовать КХ с выводом в консоль, все ок: sudo clickhouse-server start —config-file=/etc/clickhouse-server/config.xml а вот если как демона: sudo service clickhouse-server start —config-file=/etc/clickhouse-server/config.xml то сервер завершается, толком не стартовав: 2018.06.26 12:32:37.327909 [ 4 ] <Information> Application: Received termination signal (Interrupt) Полный лог: 2018.06.26 12:32:19.244877 [ 1 ] <Information> : Starting daemon with revision 54385 2018.06.26 12:32:19.247361 [ 1 ] <Information> Application: starting up 2018.06.26 12:32:19.250623 [ 1 ] <Debug> Application: Set max number of file descriptors to 1048576 (was 1024). 2018.06.26 12:32:19.250637 [ 1 ] <Debug> Application: Initializing DateLUT. 2018.06.26 12:32:19.250645 [ 1 ] <Trace> Application: Initialized DateLUT with time zone `UTC'. 2018.06.26 12:32:19.251261 [ 1 ] <Debug> Application: Configuration parameter 'interserver_http_host' doesn't exist or exists and empty. Will use 'testch1' as replica host. 2018.06.26 12:32:19.252195 [ 1 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/users.xml' 2018.06.26 12:32:19.254327 [ 1 ] <Information> Application: Loading metadata. 2018.06.26 12:32:19.258321 [ 1 ] <Information> DatabaseOrdinary (system): Total 0 tables. 2018.06.26 12:32:19.258335 [ 1 ] <Information> DatabaseOrdinary (system): Starting up tables. 2018.06.26 12:32:19.261874 [ 1 ] <Information> DatabaseOrdinary (default): Total 0 tables. 2018.06.26 12:32:19.261889 [ 1 ] <Information> DatabaseOrdinary (default): Starting up tables. 2018.06.26 12:32:19.261975 [ 1 ] <Debug> Application: Loaded metadata. 2018.06.26 12:32:19.262367 [ 2 ] <Debug> DDLWorker: Started DDLWorker thread 2018.06.26 12:32:19.262702 [ 1 ] <Information> Application: Listening http://[::1]:8123 2018.06.26 12:32:19.269322 [ 1 ] <Information> Application: Listening tcp: [::1]:9000 2018.06.26 12:32:19.269361 [ 1 ] <Information> Application: Listening interserver http: [::1]:9009 2018.06.26 12:32:19.269384 [ 1 ] <Information> Application: Listening http://127.0.0.1:8123 2018.06.26 12:32:19.269403 [ 1 ] <Information> Application: Listening tcp: 127.0.0.1:9000 2018.06.26 12:32:19.269420 [ 1 ] <Information> Application: Listening interserver http: 127.0.0.1:9009 2018.06.26 12:32:19.269640 [ 1 ] <Information> Application: Available RAM = 7.79 GiB; physical cores = 4; threads = 4. 2018.06.26 12:32:19.269651 [ 1 ] <Information> Application: Ready for connections. 2018.06.26 12:32:19.354425 [ 2 ] <Trace> ZooKeeper: initialized, hosts: 172.19.161.109:2181,172.19.161.108:2181,172.19.161.82:2181 2018.06.26 12:32:19.450133 [ 2 ] <Debug> DDLWorker: Processing tasks 2018.06.26 12:32:19.452768 [ 2 ] <Debug> DDLWorker: Waiting a watch 2018.06.26 12:32:21.271772 [ 3 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/config.xml' 2018.06.26 12:32:37.327909 [ 4 ] <Information> Application: Received termination signal (Interrupt) 2018.06.26 12:32:37.328029 [ 1 ] <Debug> Application: Received termination signal. 2018.06.26 12:32:37.328050 [ 1 ] <Debug> Application: Waiting for current connections to close. 2018.06.26 12:32:38.795104 [ 1 ] <Debug> Application: Closed all listening sockets. 2018.06.26 12:32:38.795142 [ 1 ] <Debug> Application: Closed connections. 2018.06.26 12:32:38.795495 [ 1 ] <Information> Application: Shutting down storages. 2018.06.26 12:32:38.798538 [ 1 ] <Debug> Application: Shutted down storages. 2018.06.26 12:32:38.799510 [ 1 ] <Debug> Application: Destroyed global context. 2018.06.26 12:32:38.799631 [ 1 ] <Information> Application: shutting down 2018.06.26 12:32:38.799642 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem 2018.06.26 12:32:38.799670 [ 4 ] <Information> BaseDaemon: Stop SignalListener thread

проверьте доступ к папке с clickhouse

запускаете вы скорее всего от имени root

а демон стартует (как минимум под debian) от имени clickhouse

Привет, есть какой-то движок, который не позволит одинаковые записи инсертить в таблицу по первичному ключу?

Привет! Подскажите, в чем грабли: если стартовать КХ с выводом в консоль, все ок: sudo clickhouse-server start —config-file=/etc/clickhouse-server/config.xml а вот если как демона: sudo service clickhouse-server start —config-file=/etc/clickhouse-server/config.xml то сервер завершается, толком не стартовав: 2018.06.26 12:32:37.327909 [ 4 ] <Information> Application: Received termination signal (Interrupt) Полный лог: 2018.06.26 12:32:19.244877 [ 1 ] <Information> : Starting daemon with revision 54385 2018.06.26 12:32:19.247361 [ 1 ] <Information> Application: starting up 2018.06.26 12:32:19.250623 [ 1 ] <Debug> Application: Set max number of file descriptors to 1048576 (was 1024). 2018.06.26 12:32:19.250637 [ 1 ] <Debug> Application: Initializing DateLUT. 2018.06.26 12:32:19.250645 [ 1 ] <Trace> Application: Initialized DateLUT with time zone `UTC'. 2018.06.26 12:32:19.251261 [ 1 ] <Debug> Application: Configuration parameter 'interserver_http_host' doesn't exist or exists and empty. Will use 'testch1' as replica host. 2018.06.26 12:32:19.252195 [ 1 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/users.xml' 2018.06.26 12:32:19.254327 [ 1 ] <Information> Application: Loading metadata. 2018.06.26 12:32:19.258321 [ 1 ] <Information> DatabaseOrdinary (system): Total 0 tables. 2018.06.26 12:32:19.258335 [ 1 ] <Information> DatabaseOrdinary (system): Starting up tables. 2018.06.26 12:32:19.261874 [ 1 ] <Information> DatabaseOrdinary (default): Total 0 tables. 2018.06.26 12:32:19.261889 [ 1 ] <Information> DatabaseOrdinary (default): Starting up tables. 2018.06.26 12:32:19.261975 [ 1 ] <Debug> Application: Loaded metadata. 2018.06.26 12:32:19.262367 [ 2 ] <Debug> DDLWorker: Started DDLWorker thread 2018.06.26 12:32:19.262702 [ 1 ] <Information> Application: Listening http://[::1]:8123 2018.06.26 12:32:19.269322 [ 1 ] <Information> Application: Listening tcp: [::1]:9000 2018.06.26 12:32:19.269361 [ 1 ] <Information> Application: Listening interserver http: [::1]:9009 2018.06.26 12:32:19.269384 [ 1 ] <Information> Application: Listening http://127.0.0.1:8123 2018.06.26 12:32:19.269403 [ 1 ] <Information> Application: Listening tcp: 127.0.0.1:9000 2018.06.26 12:32:19.269420 [ 1 ] <Information> Application: Listening interserver http: 127.0.0.1:9009 2018.06.26 12:32:19.269640 [ 1 ] <Information> Application: Available RAM = 7.79 GiB; physical cores = 4; threads = 4. 2018.06.26 12:32:19.269651 [ 1 ] <Information> Application: Ready for connections. 2018.06.26 12:32:19.354425 [ 2 ] <Trace> ZooKeeper: initialized, hosts: 172.19.161.109:2181,172.19.161.108:2181,172.19.161.82:2181 2018.06.26 12:32:19.450133 [ 2 ] <Debug> DDLWorker: Processing tasks 2018.06.26 12:32:19.452768 [ 2 ] <Debug> DDLWorker: Waiting a watch 2018.06.26 12:32:21.271772 [ 3 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/config.xml' 2018.06.26 12:32:37.327909 [ 4 ] <Information> Application: Received termination signal (Interrupt) 2018.06.26 12:32:37.328029 [ 1 ] <Debug> Application: Received termination signal. 2018.06.26 12:32:37.328050 [ 1 ] <Debug> Application: Waiting for current connections to close. 2018.06.26 12:32:38.795104 [ 1 ] <Debug> Application: Closed all listening sockets. 2018.06.26 12:32:38.795142 [ 1 ] <Debug> Application: Closed connections. 2018.06.26 12:32:38.795495 [ 1 ] <Information> Application: Shutting down storages. 2018.06.26 12:32:38.798538 [ 1 ] <Debug> Application: Shutted down storages. 2018.06.26 12:32:38.799510 [ 1 ] <Debug> Application: Destroyed global context. 2018.06.26 12:32:38.799631 [ 1 ] <Information> Application: shutting down 2018.06.26 12:32:38.799642 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem 2018.06.26 12:32:38.799670 [ 4 ] <Information> BaseDaemon: Stop SignalListener thread

Кто-то со стороны (какой-то скрипт на вашем сервере) сам отправляет процессу clickhouse-server сигнал Interrupt. Также это может быть сам сервер - но тогда ищите Exception в логе.

Привет, есть какой-то движок, который не позволит одинаковые записи инсертить в таблицу по первичному ключу?

Такого движка нет

Такого движка нет

а если ReplacingMergeTree с версией, которая будет уменьшаться со временем?

а если ReplacingMergeTree с версией, которая будет уменьшаться со временем?

Лучше Collapsing

Он со временем по PK удалит дубликаты

CollapsingMergeTree я ещё не познал, кейса придумать не могу

проверьте доступ к папке с clickhouse

Да, дело в правах. Спасибо!

не за что ?

Просто первые 2-а параметра уехало в PARTITION BY/ORDER BY все остальное как обычно

как обычно - т.е. в скобках ReplacingMergeTree(столбец_с_версией). спасибо, получилось!

А подскажите пожалуйста еще такой момент, как лучше хранить user agent?

А мы сделали словарь с UserAgent'ами, перед вставкой в КХ. В качестве ключа - xxHash( user_agent ) + counter (для предотвращения колизий в хэше). Специфика useragentов такова что при всем их разнообразии бОльшая часть трафика создается совсем небольшим количество useragent-ов. Туда же в словарь вынесли и дополнительную информацию типа браузер/версия/платформа. Данных сколько-то там миллиардов в мес, в словаре с useragent от начала года несколько десятков млн записей. В Clickhouse настроен как ComplexKeyCache на 150 тысяч записей, сейчас посмотрел - hit_rate примерно 0.98 (маловато). В таком решении есть явные плюсы, но и минусы тоже очевидны (для нас минусы пока вполне терпимы, т.к. аналитики на useragent немного у нас).

Зависит от того, для чего вам нужен. Можете хранить сам user agent как строку и отдельные столбцы с вычислеными параметрами (платформа, версия и т.п.)

если нужен полный юзерагент, то отдельное поле полный юзерагент и много колонок по кускам юзерагента по которым вы далаете выборки

Поддерживаю Puma. + Если не ошибаюсь, то кх жмет повторяющиеся записи в столбцах. Так что наличие большого кол-ва одинаковых UA не должно как-то сильно влиять на объем занимаемого места. Я прав?

ну просто если вам целый юзер агент не нужен, то проще его не хранить и побить по колонкам данные с него по которым идет выборка , а так все данные жмутся но в чистом виде юзераагенты все таки довльно разные

Поддерживаю Puma. + Если не ошибаюсь, то кх жмет повторяющиеся записи в столбцах. Так что наличие большого кол-ва одинаковых UA не должно как-то сильно влиять на объем занимаемого места. Я прав?

Да жмет неплохо. Если не нужен полный UserAgent то и так лучше его не хранить, а сделать так как пишет Puma, тогда будет жаться замечательно.

Скажите, а следующий митап в Берлине еще не запланирован? Имею в виду после 3 числа, чтобы заранее спланировать поездку, а то этот был обьявлен всего за неделю

Скажите, а следующий митап в Берлине еще не запланирован? Имею в виду после 3 числа, чтобы заранее спланировать поездку, а то этот был обьявлен всего за неделю

Этот митап был анонсирован за 3 недели. Следующий из зарубежных будет скорее всего в Париже в октябре.

Этот митап был анонсирован за 3 недели. Следующий из зарубежных будет скорее всего в Париже в октябре.

странно, я получил имейл только вчера. Спасибо з-а инфу!

В шапке канала висит тут с 14го июня.

Какой самый оптимальный способ избавляться от дублей в таблице? Например, делать materialized view поверх таблицы с дистинктом будет ок? Или есть что-то лучше?

Какой самый оптимальный способ избавляться от дублей в таблице? Например, делать materialized view поверх таблицы с дистинктом будет ок? Или есть что-то лучше?

ReplacingMergeTree?

Нужно чтобы в реалтайме не было дублей. А ReplacingMergeTree запускается периодически, как я понял

select с final в неё делайте. Медленнее но без дублей

Извиняюсь, это про CollapsingMergeTree, когда дубликаты вы сами контролируете.

Какой самый оптимальный способ избавляться от дублей в таблице? Например, делать materialized view поверх таблицы с дистинктом будет ок? Или есть что-то лучше?

MATERIALIZED VIEW будет честно копировать новые данные. Т.е. если дубликат придет позднее то и так вставится в матвью дубликат. Если вы используете какой-то из движков который "схлапывает" данные то они (когда-нибудь) схлопнутся. Но уж лучше сразу в такой движок писать, т.е. матвью вам ничего не дает.

Мы предполагаем делать матвью с дистинктом / либо с LIMIT N BY

Ну матвью работают приблизительно так. Для каждого нового фрагмента данных запускается ваш запрос (с дистинктом) и вставляется в другую таблицу. При следующей вставке история повторяется. Т.е. если вы обещаете что будете всегда вставлять ВСЕ дубликаты одним инсертом - то всё заработает :) Но если это будут 2 инсерта, то в первом матвью выберет все неповторяющиеся и во втором выберет все не повторяющиеся и сделает два инсерта в нижележащую таблицу.

При этом проверять "а не было ли уже этих данных" в нижележащей таблице не будет.

??

Это отлично работает если например нужно скопировать отфильтрованные данные. Или сделать агрегацию, но дубликаты удалить таким образом не получится.

Подскажите, а механизм Delete в MergeTree уже запилили?

в мастере были

в 1.1.54385. нет такой возможности....

ну можно всегда собрать с мастера самому если ждать лень

таймаут увеличить в конфиге

Подскажите, а механизм Delete в MergeTree уже запилили?

В следующем релизе будет https://github.com/yandex/ClickHouse/blob/8eee32cdd250d34499a60fb90eb72a528695c8b2/CHANGELOG_RU.md

Господа, а есть возможность как-то гарантировать, что после вставки в таблицу данные сразу отразятся в materialized view?

Господа, а есть возможность как-то гарантировать, что после вставки в таблицу данные сразу отразятся в materialized view?

Вставка данных триггерит вставку в мат.вью, если вставка прошла успешно данные должны быть в матвьюхе

Вставка данных триггерит вставку в мат.вью, если вставка прошла успешно данные должны быть в матвьюхе

Это будет видно сразу, без задержек? То есть, можно рассчитывать на атомарность операции вставки при таком раскладе?

атомарно и синхронно? не может быть

Да, должно быть атомарно и синхронно. Из скитаний по коду помню, что сперва идет вставка в привязанные к таблице мат.вью и только затем в основную таблицу

Коллеги, а кто работает с КХ из ноды - вы какой драйвер используете?

альпу

А вы пробовали через него загружать массивы или запрашивать данные через промисы? Судя по коды оно не может работать (у меня и не работает)

через querying?

у нас работает

но только чтение

и наверное не очень больших объемов

syncParser: true?

Итс лук лайк спам

syncParser: true?

ага

Всем привет, а есть какой-нибудь способ сделать что-то вроде mysqldump?

Всем привет, а есть какой-нибудь способ сделать что-то вроде mysqldump?

Что-то вроде такого: clickhouse-client --query="SELECT * FROM table FORMAT Native" > table.native

формат по желанию

Не, ну тут ок, а обратно?)

Не, ну тут ок, а обратно?)

clickhouse-client --query="INSERT INTO table FORMAT Native" < table.native

Логично

Спасибо