Планируем - в Москве и Санкт-Петербурге.

А там сколько примерно заинтересованных - людей, компаний? По посещаемости сайта идёт где-то между Эстонией и Бельгией.

Они пока всех возможностей не знают )

Кто встречался с проблемой установки rpm с yndexyum repo?

cat /etc/yum.repos.d/clickhouse.repo [Clickhouse] name=Click House - yandex baseurl=https://repo.yandex.ru/clickhouse/rpm/stable/$basearch/ enabled=1 gpgcheck=0 sudo yum install clickhouse-server clickhouse-client [sudo] password for йцукен: Loaded plugins: fastestmirror, priorities Loading mirror speeds from cached hostfile Resolving Dependencies --> Running transaction check ---> Package clickhouse-client.x86_64 0:1.1.54385-2 will be installed ---> Package clickhouse-server.x86_64 0:1.1.54385-2 will be installed --> Finished Dependency Resolution Dependencies Resolved ... ... Transaction check error: file / from install of clickhouse-client-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /usr/bin from install of clickhouse-client-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file / from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /usr/bin from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /lib from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /etc/init.d from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package chkconfig-1.7.4-1.el7.x86_64 Error Summary uname: Linux aaaa.xxx 3.10.0-693.21.1.el7.x86_64 #1 SMP Wed Mar 7 19:03:37 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux CentOS Linux release 7.0.1406 (Core)

cat /etc/yum.repos.d/clickhouse.repo [Clickhouse] name=Click House - yandex baseurl=https://repo.yandex.ru/clickhouse/rpm/stable/$basearch/ enabled=1 gpgcheck=0 sudo yum install clickhouse-server clickhouse-client [sudo] password for йцукен: Loaded plugins: fastestmirror, priorities Loading mirror speeds from cached hostfile Resolving Dependencies --> Running transaction check ---> Package clickhouse-client.x86_64 0:1.1.54385-2 will be installed ---> Package clickhouse-server.x86_64 0:1.1.54385-2 will be installed --> Finished Dependency Resolution Dependencies Resolved ... ... Transaction check error: file / from install of clickhouse-client-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /usr/bin from install of clickhouse-client-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file / from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /usr/bin from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /lib from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package filesystem-3.2-21.el7.x86_64 file /etc/init.d from install of clickhouse-server-1.1.54385-2.x86_64 conflicts with file from package chkconfig-1.7.4-1.el7.x86_64 Error Summary uname: Linux aaaa.xxx 3.10.0-693.21.1.el7.x86_64 #1 SMP Wed Mar 7 19:03:37 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux CentOS Linux release 7.0.1406 (Core)

Седьмой центос?

да

CentOS Linux release 7.0.1406 (Core)

Я знаю что есть рабочий вариант от Altinity, но хочется получать rpm от первоисточника

Кто встречался с проблемой установки rpm с yndexyum repo?

Я сам сталкивался: эти пакеты получены просто перепаковкой .deb и с ними есть проблемы. Поэтому они пока не рекомендованы для использования. Тем не менее, можно установить. Всего-лишь в каких-то местах написать force.

да, я посмотрел метадату

про force вкурсе

еще видимо зависимоcти для rpm не прописаны, хотя может это ок

это от Altinity:

package: clickhouse-server.x86_64 1.1.54385-1.el7 dependency: /bin/sh provider: bash.x86_64 4.2.46-29.el7_4 dependency: clickhouse-common-static = 1.1.54385-1.el7 provider: clickhouse-common-static.x86_64 1.1.54385-1.el7 dependency: clickhouse-server-common = 1.1.54385-1.el7 provider: clickhouse-server-common.x86_64 1.1.54385-1.el7 dependency: config(clickhouse-server) = 1.1.54385-1.el7 provider: clickhouse-server.x86_64 1.1.54385-1.el7

от Yandex: yum deplist clickhouse-server Loaded plugins: fastestmirror, priorities Loading mirror speeds from cached hostfile package: clickhouse-server.x86_64 1.1.54385-2 dependency: /bin/sh provider: bash.x86_64 4.2.46-29.el7_4

Я сам сталкивался: эти пакеты получены просто перепаковкой .deb и с ними есть проблемы. Поэтому они пока не рекомендованы для использования. Тем не менее, можно установить. Всего-лишь в каких-то местах написать force.

Спасибо, буду использовать от Altinity

а у кого нибудь работает зукипер кластер геораспределенно ?

кто подскажет: 2018.06.15 11:38:16.814448 [ 4 ] <Error> Application: Access to file denied: /var/lib/clickhouse/data/db/table/tmp_delete_20180610_145895_145916_4/Date.bin - и не стартует. С чем может быть связано? можно ли как то стартануть, игнорируя ошибки?

а у кого нибудь работает зукипер кластер геораспределенно ?

Consul работает. Главное ж кворум не терять

прав хватает, каталог tmp_delete_ сам создает

А митап в Берлине на английском будет?

Consul работает. Главное ж кворум не терять

Ну тут все таки зукипер а не консул

А митап в Берлине на английском будет?

да

Спасибо

Consul работает. Главное ж кворум не терять

консул в принципе изначально построен с учетом много датацентров, чего не скажешь про зукипер

а у кого нибудь работает зукипер кластер геораспределенно ?

ну а чего особенного с распределением зукипера? у нас в трех дц он размазан

ну а чего особенного с распределением зукипера? у нас в трех дц он размазан

а где сами дц находятся? ну просто в инете этот момент както совсем не освещен , а там где освещен еще используется надстройка над ним для геосинхронизации

по москве раскиданы

ну то есть задержки прям копеечные

https://events.yandex.ru/events/meetings/16-May-2018/ Выложили видео.

https://events.yandex.ru/events/meetings/16-May-2018/ Выложили видео.

thanks

по москве раскиданы

ну интересует вариант с тремя локациями в европе , а там уже не так все очевидо с задержками

а у кого нибудь работает зукипер кластер геораспределенно ?

Обсуждал как-то с нашими ОПсами это. Вкратце - размазать ансамбль по географически удаленным ДЦ - плохая идея. Там в случае проблем с сетью будут появляться проблемы с кворумом, могут выбирать мастера так что клиенты зукипера и так будут ходить не в "свой" ДЦ, и т.д. Есть всякие сценарии типа в каждом ДЦ отдельный ансамбль, и что-то типа внешней репликации между ними: https://www.quora.com/Has-anyone-deployed-a-ZooKeeper-ensemble-across-data-centers

Кстати интересно как это в Метрике сделано - у них вроде бы 3 географически разделенных ДЦ. Один зукипер на всех?

Обсуждал как-то с нашими ОПсами это. Вкратце - размазать ансамбль по географически удаленным ДЦ - плохая идея. Там в случае проблем с сетью будут появляться проблемы с кворумом, могут выбирать мастера так что клиенты зукипера и так будут ходить не в "свой" ДЦ, и т.д. Есть всякие сценарии типа в каждом ДЦ отдельный ансамбль, и что-то типа внешней репликации между ними: https://www.quora.com/Has-anyone-deployed-a-ZooKeeper-ensemble-across-data-centers

кх и так сейчас размазан географически по миру на разных континентах и ходит в зк местами через океан

строить надстройку для репликации хорошо когда софт стой, в случае же кх не вижу каких то вариантов таких

в принципе три зукипера есть , так что особых проблем с кворумом вроде бы и нет

ну там только проблема если ДЦ в котором зукеры стоят "отваливается". Все кликхаусы в остальных ДЦ переходят в readonly

а у кого нибудь работает зукипер кластер геораспределенно ?

У нас работает, но пока мало (всего порядка нескольких месяцев). Москва-Латвия. 2 ДЦ, в Москве "большинство". Разрывы связи, выпадения нод были, всё работает.

Обсуждал как-то с нашими ОПсами это. Вкратце - размазать ансамбль по географически удаленным ДЦ - плохая идея. Там в случае проблем с сетью будут появляться проблемы с кворумом, могут выбирать мастера так что клиенты зукипера и так будут ходить не в "свой" ДЦ, и т.д. Есть всякие сценарии типа в каждом ДЦ отдельный ансамбль, и что-то типа внешней репликации между ними: https://www.quora.com/Has-anyone-deployed-a-ZooKeeper-ensemble-across-data-centers

А как тогда etcd работает, который для этого и предназначен? В zookeeper не рафт, но какая разница в целом? Главное, чтобы консенсус не разваливался.

У нас работает, но пока мало (всего порядка нескольких месяцев). Москва-Латвия. 2 ДЦ, в Москве "большинство". Разрывы связи, выпадения нод были, всё работает.

Ну если кворум в Москве, то при разрыве латвийские зукиперы и латвийские клиенты этого ансамбля перестанут работать.

Т.е. результтат примерно такой же как если все серверы просто будут в москве.

Разница только такая что можно в Латвии поменять настройки серверов и продолжить работать, насовсем "забыв" о том что Московский ДЦ существовал.

ну это как то так себе

доброго дня. Обновляю clickhouse и после обновления ругается на метаданные Cannot create table from metadata file /home/clickhouse/data/metadata/default//npm_site_area_stat_cache.sql, error: DB::Exception: Syntax error (in file /home/clickhouse/data/metadata/default//npm_site_area_stat_cache.sql): failed at position 2126 (line 38, col 272): , 8192, block_request_count, block_view_count, external_first_request_count, external_view_requests, external_first_view_count, external_view_count, hit_count, . Expected one of: token, Arrow,

собственно вот описание таблицы:

ATTACH TABLE npm_site_area_stat_cache ( date Date DEFAULT toDate(event_time), interval UInt32 DEFAULT CAST((toRelativeMinuteNum(event_time) / 5) AS UInt32), event_time DateTime DEFAULT now(), user_id UInt32 DEFAULT toUInt32(0), site_id UInt32, site_area_id UInt32 DEFAULT toUInt32(0), adv_net_id UInt32 DEFAULT toUInt32(0), webmaster_net_id UInt32 DEFAULT toUInt32(0), stat_source UInt8 DEFAULT toUInt8(1), is_backup UInt8 DEFAULT toUInt8(0), npm_reject_type_id UInt32 DEFAULT toUInt32(0), block_request_count UInt32 DEFAULT toUInt32(0), block_view_count UInt32 DEFAULT toUInt32(0), external_first_request_count UInt32 DEFAULT toUInt32(0), external_view_requests UInt32 DEFAULT toUInt32(0), external_first_view_count UInt32 DEFAULT toUInt32(0), external_view_count UInt32 DEFAULT toUInt32(0), hit_count UInt32 DEFAULT toUInt32(0), adv_expense Float64 DEFAULT toFloat64(0.), partner_gain Float64 DEFAULT toFloat64(0.), webmaster_cur_id UInt32 DEFAULT toUInt32(0), advertiser_cur_id UInt32 DEFAULT toUInt32(0), adv_expense_base Float64 DEFAULT toFloat64(0.), partner_gain_base Float64 DEFAULT toFloat64(0.), sale_cost Float64 DEFAULT toFloat64(0.), sale_cost_base Float64 DEFAULT toFloat64(0.), adv_expense_gbp Float64 DEFAULT toFloat64(0.), partner_gain_gbp Float64 DEFAULT toFloat64(0.), sale_cost_gbp Float64 DEFAULT toFloat64(0.), read_only UInt8 DEFAULT toUInt8(0), block_first_request_count UInt32 DEFAULT toUInt32(0), block_first_view_count UInt32 DEFAULT toUInt32(0), partner_gain_before_uplift_sharing Float64 DEFAULT toFloat64(0.), partner_gain_base_before_uplift_sharing Float64 DEFAULT toFloat64(0.), partner_gain_gbp_before_uplift_sharing Float64 DEFAULT toFloat64(0.) ) ENGINE = ReplicatedSummingMergeTree('/clickhouse/tables/{shard}/npm_site_area_stat_cache', '{replica}', date, (date, site_id, site_area_id, adv_net_id, webmaster_net_id, stat_source, is_backup, npm_reject_type_id, user_id, webmaster_cur_id, advertiser_cur_id, interval), 8192, (block_request_count, block_view_count, external_first_request_count, external_view_requests, external_first_view_count, external_view_count, hit_count, adv_expense, partner_gain, adv_expense_base, partner_gain_base, sale_cost, sale_cost_base, adv_expense_gbp, partner_gain_gbp, sale_cost_gbp, block_first_request_count, block_first_view_count, partner_gain_before_uplift_sharing, partner_gain_base_before_uplift_sharing, partner_gain_gbp_before_uplift_sharing))

подскажите что сменилось в синтаксисе

ну это как то так себе

угу, о том и речь. Ансамбль зукипера сделан там чтобы ситуация разпиленного мозга (или как там на русский переводят "split-brain") была невозможна. Всегда должен быть кворум.

может быть потому что имя поля "interval" и в новых версиях это служебное слово ?

В тех частях (тех датацентрах) которые не будут иметь доступа к кворуму зукипера он просто не будет работать. Т.е. кликхаус перейдет в readonly, а локальные зукиперы будут без кворума возвращать ошибку. Т.е. в них (локальных зукиперах) как бы и смысла нет (только в качестве бекапа).

В тех частях (тех датацентрах) которые не будут иметь доступа к кворуму зукипера он просто не будет работать. Т.е. кликхаус перейдет в readonly, а локальные зукиперы будут без кворума возвращать ошибку. Т.е. в них (локальных зукиперах) как бы и смысла нет (только в качестве бекапа).

ну у меня все зукиперы прописаны в конфигах кх это вроде не проблема, вопрос наверно в том как часто будет рассыпаться кластер

Подскажите что за ошибка Error: Code: 33, e.displayText() = DB::Exception: Cannot read all data Выходит при запросе из питона. В запросе просто все столбы указазы через SELECT *. Указываю фильтр за один день, так тоже выходит ошибка. В табиксе этот же запрос работает

ну у меня все зукиперы прописаны в конфигах кх это вроде не проблема, вопрос наверно в том как часто будет рассыпаться кластер

Ну да, так и должно быть. Прописалы 3 сервера: скажем 1 москва, 1 франкфурт, 1 вирджиния. А мы в москве. Теперь РКН блокирует всю эту проклятую заграницу, и хотя мы по-прежнему без проблем можем подключиться к московсому сереву, но работать он не будет, будет отвечать что нет мол у него кворума.

ну у меня нет ничего в россии слава богу

в общем надо пробовать

ну у меня нет ничего в россии слава богу

Ну ладно, тогда всё менее экзотично - из-за проблем с рутингом в ДЦ теряем на 2 часа соединение с "некоторыми" частями мира. У нас во Франкфуртском ДЦ такое 2 раза случалось. :)

ну один зукипер в целом не так сташно потерять

сейчас они просто в одном месте и когда оно теряется все тоже лежит

прямо глобальных проблем со связностью в целом то не так уж и много

Ну на самом деле ничего не потяряно. Всё дальше работает. Но не в том ДЦ который отвалился

может быть потому что имя поля "interval" и в новых версиях это служебное слово ?

да в новой версии такого имени у поля быть не может - может кто то подскажет как в реплицируемой таблице это поменять ?

прямо глобальных проблем со связностью в целом то не так уж и много

угу, это скорее редкость.

В тех частях (тех датацентрах) которые не будут иметь доступа к кворуму зукипера он просто не будет работать. Т.е. кликхаус перейдет в readonly, а локальные зукиперы будут без кворума возвращать ошибку. Т.е. в них (локальных зукиперах) как бы и смысла нет (только в качестве бекапа).

Это пока два ДЦ. Если ДЦ больше (и это правильно), то уже всё ок.

прямо глобальных проблем со связностью в целом то не так уж и много

Вы просто не разворачивались в Азии и латаме

Вот уж где ад с точки зрения коннективити и маршрутизации

Там классический подход даже не вариант, ибо в любой момент можно потерять ДЦ на неопределенный срок

Всем привет, подскажите пожалуйста вот такая ошибка: Conversion from AggregateFunction(sum, Int64) to AggregateFunction(sum, Int32) is not supported. запрос делаю во View. Поле в таблице Int32. Как зафиксить?

может быть потому что имя поля "interval" и в новых версиях это служебное слово ?

похоже на то, в `` работает create table interval(a Date, interval String) Engine=MergeTree(a, (a,`interval`), 8192);

да - спасибо. Я уже так и запустил.

похоже на то, в `` работает create table interval(a Date, interval String) Engine=MergeTree(a, (a,`interval`), 8192);

однако похоже баг в КХ - я созал для теста новую таблицу где поле interval в обратных ковычках - но в файле мета он опять без ковычек и думаю при перезапуске бд будет ругаться

да - гарантировано воспроизводится

А у кого нибудь получалось инсертить данные, в которых есть массивы с Format JSONEachRow?

Cannot parse input: expected [ before: "[JSONEachRow]"}\n: (at row 1)

ошибка

А у кого нибудь получалось инсертить данные, в которых есть массивы с Format JSONEachRow?

У вас в данных скорее всего есть двойные кавычки, попробуйте заменить на одинарные

У вас в данных скорее всего есть двойные кавычки, попробуйте заменить на одинарные

пытаюсь отправить такую строку {"arr":[0, 1]} Cannot parse JSON string: expected opening quote: (at row 1)\n

c такой строкой - все ок {"arr":["0", "1"]} как мне int передать?

c такой строкой - все ок {"arr":["0", "1"]} как мне int передать?

А какая структура таблицы?

CREATE TABLE array ( arr Array(String) ) ENGINE = Memory

Ну там же массив строк

не?

а вы туда инты

а вы туда инты

ну ошибка то как-будто он не может json распарсить, а не то что данные не того формата

Ну он кавычки ожидает, раз сказано что будет текст

видимо, связано с оптимизацией сохранения

все значения в массиве должны быть обернуты в ковычки, в том числе и строки, оказалось так

не очевидная ошибка