@clickhouse_ru

Страница 687 из 723
Evgeny
04.10.2018
10:58:38
печально, но спасибо

Michal
04.10.2018
11:08:29
печально, но спасибо
https://github.com/Altinity/clickhouse-rpm тут скрипты для сборки rpm, все не страшно (но довольно долго).

Kirill
04.10.2018
11:08:30
Вообще, правильно пишут, всегда можно самому собрать

Google
Michal
04.10.2018
11:11:12
Вот тут https://repo.yandex.ru/clickhouse/rpm/testing/x86_64/
угу в принципе для каких-то проверок можно и оттуда взять. Правда там кривоватые rpm, сделанные путём перепаковки deb файлов. Но сами бинарки вполне переносимые.

Vyacheslav
04.10.2018
11:36:45
Вопрос наверное уже не раз поднимался и отвечался, но беглым поиском ответа не нашел. Какие есть плюсы и минусы варианта кластера, когда каждая нода содержит и шард и реплику одновременно? например как в известной статье Circular Replication Cluster Topology in ClickHouse. Или это вообще не рекомендованная и не поддерживаемая конфигурация?

Alexey
04.10.2018
11:40:58
ну у них там в конце статьи, Conclusion, перечислены плюсы и минусы

двойная нагрузка на запись. сложная неочевидная конфигурация

Kirill
04.10.2018
11:41:31
Vyacheslav
04.10.2018
11:58:47
Это скорее попытка повысить скорость селектов за счет реплик, а то несколько жаль что ресурсы простаивают

Wolf
04.10.2018
12:02:22
Это скорее попытка повысить скорость селектов за счет реплик, а то несколько жаль что ресурсы простаивают
так кх очень хорошо утилизирует ресурсы для селектов вроде , по крайней мере грузануть сервера на 100% вообще не проблема

Pavel Tyavin
04.10.2018
12:06:59
Привет. Partition by можно делать только по датам?

Artem
04.10.2018
12:08:11
https://clickhouse.yandex/docs/ru/operations/table_engines/custom_partitioning_key/#table_engines-custom_partitioning_key

Wolf
04.10.2018
12:09:12
Привет. Partition by можно делать только по датам?
по идее по любому полю , можно вообще без партиций

Kirill
04.10.2018
12:10:40
Это скорее попытка повысить скорость селектов за счет реплик, а то несколько жаль что ресурсы простаивают
Это проблема вашего бизнеса в том, что он вам данных нагнать не может, расслабьтесь и не пытайтесь выстрелить себе в ногу крос репликацией.

Evgeny
04.10.2018
12:23:40
Пытаюсь создать matview на 18.14.1 получаю : Code: 48. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Method index is not supported for ColumnUnique.. На 18.12.17 работало

Google
Evgeny
04.10.2018
12:23:50
кто-нибудь сталкивался?

Artem
04.10.2018
12:27:24
дайте полный трейс - сам вызов не интересен, нужна цепочка

Vyacheslav
04.10.2018
12:44:34
так кх очень хорошо утилизирует ресурсы для селектов вроде , по крайней мере грузануть сервера на 100% вообще не проблема
вроде как из реплики будет задействован только один сервер. На остальные запрос не пойдет

Wolf
04.10.2018
12:45:16
у вас проблема именно когда у вас в системе один запрос ?

если у вас там уже два запроса то уже нет такой по сути проблемы

Vyacheslav
04.10.2018
12:46:15
Это проблема вашего бизнеса в том, что он вам данных нагнать не может, расслабьтесь и не пытайтесь выстрелить себе в ногу крос репликацией.
В смысле данных нагнать не может? Нагнал ведь, хочется для обработки больше серверов использовать

Wolf
04.10.2018
12:46:24
а если запросов много то воообще о чем речь

В смысле данных нагнать не может? Нагнал ведь, хочется для обработки больше серверов использовать
делайте больше шардов или реплик в зависимости от того какие именно проблемы с перфомансом

Vyacheslav
04.10.2018
12:47:14
у вас проблема именно когда у вас в системе один запрос ?
Да, хочется на одном запросе ускориться. Аналитика-агрегаты

Как мне больше реплик помогут?

Wolf
04.10.2018
12:49:26
больше шардов а не реплик

Denis
04.10.2018
13:06:58
Да, хочется на одном запросе ускориться. Аналитика-агрегаты
1. вообще-то КХ умеет выполнять запрос на репликах (на ВСЕХ). 2. я бы на вашем месте поднял на каждой железке еще по одному контейнеру (или виртуальной машине) с КХ.

Vyacheslav
04.10.2018
13:09:49
1. вообще-то КХ умеет выполнять запрос на репликах (на ВСЕХ). 2. я бы на вашем месте поднял на каждой железке еще по одному контейнеру (или виртуальной машине) с КХ.
Где про это написанно? Я везде читаю про один из реплики. Иесои так - зачем поднимать второй? Они же друг дркгу мешать будут

Denis
04.10.2018
13:11:41
Где про это написанно? Я везде читаю про один из реплики. Иесои так - зачем поднимать второй? Они же друг дркгу мешать будут
в документации (не помню название параметра что-то про max_replica ... ), работает только на семплированных данных, не эффективно. > Они же друг дркгу мешать будут эээ. wut ? вы же этого и добиваетесь. сделайте с шифтом. Чтобы на железке были шард1 реплика0 и шард2 реплика1

Alexander
04.10.2018
13:14:24
https://clickhouse.yandex/docs/ru/operations/settings/settings/#load_balancing вот тут про балансировку между репликами

Denis
04.10.2018
13:15:42
а ну вот max_parallel_replicas

Vyacheslav
04.10.2018
13:17:16
>> Они же друг дркгу мешать будут > эээ. wut ? > вы же этого и добиваетесь. нет, я не добиваюсь того, что бы они мешали друг другу.

Vyacheslav
04.10.2018
13:21:03
а, в этом плане.

Google
Vsevolod
04.10.2018
13:32:53
требование ca исходит от нашей долбанутой security team

prll
04.10.2018
14:13:54
требование ca исходит от нашей долбанутой security team
да понятно что надо чтоб в итоге было, но для теста без него работает ?

Alex
04.10.2018
14:38:03
Приветствую, товарищи! Может подстажете, куда копать. Пытаюсь перенести данные с версии 1.1.54342 на последнюю stable . Если создавать таблицу по новому стилю (MergeTree() ORDER BY ... PARTITION BY ...), то старые данные не аттачатся. При этом ошибки нет, CH отвечает Ок, но данные не аттачатся.

Alex
04.10.2018
14:43:38
Кстати да, сейчас посмотрю =)

Alex
04.10.2018
14:47:20
а как вы пишете partition by ? если было date и вы написали PARTITION BY date, то это не одно и тоже, это месяц vs день
Было ENGINE ReplacingMergeTree(date, (time, cId), 8192) стало ENGINE ReplacingMergeTree ORDER BY (time, cId) PARTITION BY toYYYYMM(date)

Vitaliy
04.10.2018
14:47:28
/stat@combot

Combot
04.10.2018
14:47:29
combot.org/c/-1001080295593

Alex
04.10.2018
14:48:07
При старом/новом написании DDL будут разные форматы
Тогда как лучше мигрировать? Инсертами из таблицы старого формата?

Denis
04.10.2018
14:49:55
Анатолий
04.10.2018
14:52:56
/stat@combot

Combot
04.10.2018
14:52:57
combot.org/c/-1001080295593

Alex
04.10.2018
14:53:10
а зачем вам новый формат? оставьте старый
Заодно с миграцией данных сменить и формат, чтобы не было проблем с обновлением в будущем. В доке старый формат не рекомендуется.

Combot
04.10.2018
14:56:50
combot.org/c/-1001080295593

Daniel
04.10.2018
15:27:56
Можно ли как-то обнулить RejectedInserts в Clickhouse?

Max
04.10.2018
18:02:13
Привет! В доках кликхауса рекомендуют использовать софтверный RAID mdadm. Хотелось бы узнать подробности, почему именно софтверный и чем плох аппаратный, какие могут возникнуть проблемы.

Denis
04.10.2018
18:09:30
Потому что все аппаратные рейд карточки в серверах -- тормозное гуано.

Yuran
04.10.2018
18:09:55
бывают неплохие рейды с батарейкой вроде

Google
Denis
04.10.2018
18:11:10
Нет. Бывают дисковые массивы за мешок денег от $100к и тормозное гуано, между ними пустота.

Sergey
04.10.2018
18:13:07
Yuran
04.10.2018
18:13:56
Видимо USE_INTERNAL_LLVM_LIBRARY это для работы встроенного JIT?

Artem
04.10.2018
18:23:04
Видимо USE_INTERNAL_LLVM_LIBRARY это для работы встроенного JIT?
да, влияет только на производительность отдельных функций

Max
04.10.2018
19:01:22
Нет. Бывают дисковые массивы за мешок денег от $100к и тормозное гуано, между ними пустота.
Спасибо. Блин, везде противоречивая информация, в другом чатике говорят наоборот, sw raid тормозное говно. В принципе я больше доверяю опыту людей из яндекса, но хотелось бы больше подробностей.

Wolf
04.10.2018
19:04:23
ну просто софтовый рейд достинг очень высокого уровня надежности и скорости , плюс нет ни какой зависимости от вендора и железа

в свое время отказался от дорогих рейд конроллеров так как мдадм выдавал практически такие же результаты и не надо обслуживать батарейки

Alexey
04.10.2018
19:11:56
@kshvakov У кого-нибудь были проблемы с драйвером для Go, что при конкуррентной работе, могут возвращаться результаты для другого запроса, или вообще путаться пакеты, отправляемые сервером?

Kirill
04.10.2018
19:13:34
@kshvakov У кого-нибудь были проблемы с драйвером для Go, что при конкуррентной работе, могут возвращаться результаты для другого запроса, или вообще путаться пакеты, отправляемые сервером?
Привет, нет, мы не наблюдаем у себя такого, мне уже написал @alexanderzaitsev, попробуем сделать отладочную версию библиотеки и посмотреть что приходит/уходит.

Alexey
04.10.2018
19:14:57
Ок. Я слышал что-то похожее от другого клиента, постараюсь узнать подробности...

Dmitry
04.10.2018
19:17:45
Спасибо. Блин, везде противоречивая информация, в другом чатике говорят наоборот, sw raid тормозное говно. В принципе я больше доверяю опыту людей из яндекса, но хотелось бы больше подробностей.
это очень религиозный вопрос, можно часами спорить. самое главное - всегда имейте план. откуда брать такой же raid контроллер, если вдруг он умер. в остальном - дело личных пристрастий.

Alexey
04.10.2018
19:20:26
Привет! В доках кликхауса рекомендуют использовать софтверный RAID mdadm. Хотелось бы узнать подробности, почему именно софтверный и чем плох аппаратный, какие могут возникнуть проблемы.
Потому что мы сами используем software RAID. Проблемы есть, но все они известные. Именно с производительностью никаких проблем при правильно выбранных параметрах, которые описаны в руководстве рядом (скорость работы соответствует рассчётной).

Max
04.10.2018
19:25:52
@den_crane @stufently @milovidov_an Все понятно, спасибо.

Stanislav
04.10.2018
19:25:55
интересно узнать какие тормоза у них , в мдадм по сути все умирается диски
Например, рейд с батарейкой от hp. 12 дисков, raid6 и скорость что на запись, что на чтение упирается в ~80-90МБ/сек. Разбираем рейд, делаем 12 штук raid0 из одного диска (контроллер иначе не умеет), собираем mdadm raid6 из тех же 12 дисков - получаем порядка 200-250МБ/сек.

Yuran
04.10.2018
19:27:05
Кажется, что с 12 дисков линейное чтение должно быть ~1,2 Гб/сек примерно

Denis
04.10.2018
19:27:13
Stanislav
04.10.2018
19:27:27
Меня запись интеремсовала...

Да и там, похоже, в 1x PCI-e упирались

Google
Yuran
04.10.2018
19:31:16
Запись и чтение на HDD по скорости не должны сильно отличаться

Daniel
04.10.2018
20:33:54
Можно ли как-то отслеживать запросами в КХ такие события? Из лога грепать мониторингом не прикольно Detaching broken part /opt/clickhouse-data/data/clicks/log_2017_07/20170707_20170712_3491_6873_5 because it covers less than 2 parts. You need to resolve this manually

Из system.parts смотреть active - не вариант, там они как-то самопроизвольно то аттачатся, то детачатся. Полагаю, из-за мержей, но это делает непригодным к мониторингу.

Denis
04.10.2018
20:47:04
у нас мониторится find /var/lib/clickhouse/data/{$db}/*/detached/* -type d

Страница 687 из 723