
Konstantin
11.10.2017
13:25:08

Nikolai
11.10.2017
13:25:40

Bulat
11.10.2017
13:26:26

Vladimir
11.10.2017
13:28:04
ну да 28 мержей, может и они

Google

Vladimir
11.10.2017
13:28:33
начало кушать я посмотрел неделю назад

Nikolai
11.10.2017
13:29:15

Vladimir
11.10.2017
13:29:16
как раз в этот момент добавили partition drop для таблиц
хз как это могло спровоцировать
встявляю большими пачками
2 недели работало хорошо, сегодня заметил что процессор жрет
глянул историю - начало кушать давольно давно, как раз в то время добавили удаление партиции и ничего больше не трогали
попробую отключить удаление и понаблюдать

Stas
11.10.2017
13:31:54
точно есть, мы используем
Можно по нему вопрос - как он себя чувствует при большом потоке одинаковы данных? когда начинает схлопывать или вы принудительно OPTIMIZE шлёте?
У меня кейс в котором походе он мне нужен, хотелось бы все грабли заранее узнать =)

Павел Максимов
11.10.2017
13:34:30

prll
11.10.2017
13:35:16
открыт но только локалхост.
нужно слушать ::
в конфиге раскомментировать <!-- <listen_host>::</listen_host> -->
так сделано для безопасноти, чтоб доступ открывали только когда надо

Павел Максимов
11.10.2017
13:37:40
подскажите где он лежит пожалуйста

nikoinlove
11.10.2017
13:38:06
это не единица это ипв6 адрес ::1 :)

Google

prll
11.10.2017
13:38:25
если из пакета - то /etc/clickhouse-server/config.xml
::1 - это современное модное название старого и некрасивого 127.0.0.1

Павел Максимов
11.10.2017
13:43:27

prll
11.10.2017
13:44:22
да

Павел Максимов
11.10.2017
13:47:47
да
ура, заработало. Спасибо большое!
Есть еще вопрос, хочу разобраться, как делать бэкап. Нашел такую команду в справке ALTER TABLE [db.]table FETCH PARTITION 'name' FROM 'path-in-zookeeper' но, я как понял здесь указывается партиция за месяц типа 201701, а как просто всю таблицу за весь период забэкапить?

Andrey
11.10.2017
13:54:01

Павел Максимов
11.10.2017
13:55:42

Kirill
11.10.2017
14:17:10
Нормально. Они же по объёму тоже имеют ограничение, вроде.

Павел Максимов
11.10.2017
14:17:33

Kirill
11.10.2017
14:18:02
DROP PARTITION 'YYYYMM' дропнет их все

Павел Максимов
11.10.2017
14:18:31

Nick
11.10.2017
14:18:32
Я так понимаю партицирование это единственный способ удалять старые данные с CH ?

Vladimir
11.10.2017
14:19:14
вроде да

Konstantin
11.10.2017
14:33:17

Nick
11.10.2017
14:33:45
а старую удалять?)) не скажу что это удобный способ)

Konstantin
11.10.2017
14:36:15

Michal
11.10.2017
14:43:24
Прочитал в документации: Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются.
Какой тогда смысл вообще во всех этих пользователях и паролях, если есть условый root без пароля?

Roman
11.10.2017
14:46:16
существует initial_user у которого как раз и проверяются пароли и лимиты. Если с ними все ок - тогда будут выполнены distributed запросы

Google

Roman
11.10.2017
14:47:15
если включить логирование запросов, то в таблице query_log можно увидеть и initial_user и user

Oleh
11.10.2017
14:49:51
а как вы делаете джоины по 3 и больше таблицам? Нужно делать джоин парами? Или появился какой-то новый способ?

Михаил
11.10.2017
14:52:01

Roman
11.10.2017
14:54:27
попробуйте использовать прокси https://github.com/Vertamedia/chproxy для лимитирования и контроля доступа к КХ

Michal
11.10.2017
14:59:45

Александр
11.10.2017
15:00:26
У меня бывает и по 10 джоинов на запрос

Oleh
11.10.2017
15:00:56
а можешь пример показать?

Александр
11.10.2017
15:00:58
Которые разворачиваются в широкую таблицу
Если только чуть позже ) в дороге нахожусь, с телефона пишу

Oleh
11.10.2017
15:01:16
https://github.com/yandex/ClickHouse/issues/532#issuecomment-283441422
вот так ты делаешь?

Александр
11.10.2017
15:03:47
Да
Я сначала считаю факты и джойню их, затем если какие то эвенты надо размазать по времени джойню таблицу эвентов и уже провожу агрегацию по колонкам с фактами

Oleh
11.10.2017
15:07:47
понял, спасибо

Michal
11.10.2017
15:17:12
Вообще странно - быть может есть какая-то ошибка в документации про этого пользователя default. Ведь для Distributed можно указать user и password https://clickhouse.yandex/docs/ru/operations/access_rights.html vs. https://clickhouse.yandex/docs/ru/table_engines/distributed.html

Nikolai
11.10.2017
15:22:16
в чем ошибка?

Alex
11.10.2017
15:25:03
@kochetovnicolai Доброго вечерка вам. Подскажите можно ли как-то увеличить скорость отработки селект запроса за счет увеличения количества серверов. Я так понял, что репликаия это больше для инсертов, чтобы много принимать и реплицировать. А вот чтобы читать?
у нас пока один сервак стоит. но вот пришла пора расти

Paul
11.10.2017
15:25:38

Google

Paul
11.10.2017
15:25:59

Alex
11.10.2017
15:26:36
Так за счет быстрей подсчеты? Селекты на разные сервера или как то один запрос можно считать на разных серверах
@not_logan

Paul
11.10.2017
15:28:07

Alex
11.10.2017
15:28:32
ну все. вызывайте скорую.
мне плохо)

Michal
11.10.2017
15:29:08
в чем ошибка?
Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются. Если для Distributed можно явно указать user и password - тогда default не нужен, верно?

Alex
11.10.2017
15:29:30
Можете в три предложение рассказать про расположение данных на разных серверах и как это связано с репликацией. @not_logan

Paul
11.10.2017
15:29:33
https://clickhouse.yandex/docs/ru/introduction/distinctive_features.html#id5
скорая прибыла
вторая скорая прибыла вслед за первой: https://clickhouse.yandex/docs/ru/table_engines/replication.html#table-engines-replication

Alex
11.10.2017
15:31:04
я доку прочитал от и до:) но для первого раза это как бред сумасшедшего, для гения. ну или наоборот

Michal
11.10.2017
15:31:25

Paul
11.10.2017
15:31:40
а вы попробуйте. Если вы не верите в документацию - соберите стенд да попробуйте. В чем проблема, я не понимаю

Alex
11.10.2017
15:32:16
для того чтобы собрать стенд надо хотя бы логику уложить в голове.

Michal
11.10.2017
15:33:05
Я там выше приводил фрагмент из документации где написано что default дожлен быть, должен быть без пароля и ограничений. :)

Paul
11.10.2017
15:33:26

Alex
11.10.2017
15:33:41
У меня есть три таблицы. В них много данных. все это на одном серваке. как должно выглядеть картина с этими же данными, но на трех скажем серверах для ускорения селектов? @not_logan

Nikolai
11.10.2017
15:33:44

Paul
11.10.2017
15:34:01
тем более что дефолт может быть и с паролем, только он должен быть одинаковым на всех шардах

Google

Paul
11.10.2017
15:34:11

Michal
11.10.2017
15:34:56
ну если есть пользователь - тогда он есть, правда? И значит можно к базе подключиться просто написав clickhouse-client -m

Nikolai
11.10.2017
15:36:37

Атата
11.10.2017
15:37:12

Paul
11.10.2017
15:37:21

Michal
11.10.2017
15:37:32
В очередной раз процитирую фрагмент из документации (который как я надеюсь, неверен): "Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот". Ссылка: https://clickhouse.yandex/docs/ru/operations/access_rights.html

Paul
11.10.2017
15:37:36

Атата
11.10.2017
15:38:11

Michal
11.10.2017
15:39:18
Хотел бы я посмотреть на фаерволл который будет проверять какой логин пользователь указал при подключении по бинарному протоколу. :) Был ли это действительно его логин или defauly :)
КОнечно потом по логах можно найти кто положил базу. Но может быть поздно :)

Атата
11.10.2017
15:40:48

Michal
11.10.2017
15:41:33
Аналитики из интранета - это агрессивная среда? :)
Или джуниор программеры? :)

Атата
11.10.2017
15:43:45

Michal
11.10.2017
15:45:14
и рядом со всем этим царством безопасности - дырка в виде пользователя default с правами root и без пароля? :)

Атата
11.10.2017
15:45:57

Michal
11.10.2017
15:46:43
Все же хочется верить что это просто ошибка в документации.
Ну или иначе: неточность.

Mike
11.10.2017
15:47:25
Коллеги, а Пентаху уже кто-нибудь подружил с КХ? Очень уж хочется выкинуть вертику, но последние тесты месяца 2-3 назад успехом не увенчались..(

Michal
11.10.2017
15:47:55
Ведь если для Distributed можно явно указать логин и пароль для подключения, то зачем нужен default?