@clickhouse_ru

Страница 283 из 723
Konstantin
11.10.2017
13:25:08
Что-то можно сказать по метрикам этим?
может быть вот это кушает - │ Merge │ 28 │

Nikolai
11.10.2017
13:25:40
Bulat
11.10.2017
13:26:26
А ReplicatedReplacingMergeTree отсутствует, да?
точно есть, мы используем

Vladimir
11.10.2017
13:28:04
ну да 28 мержей, может и они

Google
Vladimir
11.10.2017
13:28:33
начало кушать я посмотрел неделю назад

Nikolai
11.10.2017
13:29:15
начало кушать я посмотрел неделю назад
вставляете не слишком часто?

Vladimir
11.10.2017
13:29:16
как раз в этот момент добавили partition drop для таблиц хз как это могло спровоцировать

встявляю большими пачками

2 недели работало хорошо, сегодня заметил что процессор жрет глянул историю - начало кушать давольно давно, как раз в то время добавили удаление партиции и ничего больше не трогали попробую отключить удаление и понаблюдать

Stas
11.10.2017
13:31:54
точно есть, мы используем
Можно по нему вопрос - как он себя чувствует при большом потоке одинаковы данных? когда начинает схлопывать или вы принудительно OPTIMIZE шлёте? У меня кейс в котором походе он мне нужен, хотелось бы все грабли заранее узнать =)

Павел Максимов
11.10.2017
13:34:30


prll
11.10.2017
13:35:16
открыт но только локалхост.

нужно слушать ::

в конфиге раскомментировать <!-- <listen_host>::</listen_host> -->

так сделано для безопасноти, чтоб доступ открывали только когда надо

Павел Максимов
11.10.2017
13:37:40
подскажите где он лежит пожалуйста

nikoinlove
11.10.2017
13:38:06
это не единица это ипв6 адрес ::1 :)

Google
prll
11.10.2017
13:38:25
если из пакета - то /etc/clickhouse-server/config.xml

::1 - это современное модное название старого и некрасивого 127.0.0.1

Павел Максимов
11.10.2017
13:43:27
в конфиге раскомментировать <!-- <listen_host>::</listen_host> -->
после этого, что-то нужно еще сделать? перезагрузить мб?

prll
11.10.2017
13:44:22
да

Павел Максимов
11.10.2017
13:47:47
да
ура, заработало. Спасибо большое!

Есть еще вопрос, хочу разобраться, как делать бэкап. Нашел такую команду в справке ALTER TABLE [db.]table FETCH PARTITION 'name' FROM 'path-in-zookeeper' но, я как понял здесь указывается партиция за месяц типа 201701, а как просто всю таблицу за весь период забэкапить?

Павел Максимов
11.10.2017
13:55:42


Kirill
11.10.2017
14:17:10
Нормально. Они же по объёму тоже имеют ограничение, вроде.

Павел Максимов
11.10.2017
14:17:33
Kirill
11.10.2017
14:18:02
DROP PARTITION 'YYYYMM' дропнет их все

Павел Максимов
11.10.2017
14:18:31
DROP PARTITION 'YYYYMM' дропнет их все
хорошо, буду уверен, что не задублируются

Nick
11.10.2017
14:18:32
Я так понимаю партицирование это единственный способ удалять старые данные с CH ?

Vladimir
11.10.2017
14:19:14
вроде да

Konstantin
11.10.2017
14:33:17
Я так понимаю партицирование это единственный способ удалять старые данные с CH ?
можно еще делать select в новую таблицу без старых данных)

Nick
11.10.2017
14:33:45
а старую удалять?)) не скажу что это удобный способ)

Konstantin
11.10.2017
14:36:15
а старую удалять?)) не скажу что это удобный способ)
я не говорил, что удачный, способ как способ =)

Michal
11.10.2017
14:43:24
Прочитал в документации: Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются. Какой тогда смысл вообще во всех этих пользователях и паролях, если есть условый root без пароля?

Roman
11.10.2017
14:46:16
существует initial_user у которого как раз и проверяются пароли и лимиты. Если с ними все ок - тогда будут выполнены distributed запросы

Google
Roman
11.10.2017
14:47:15
если включить логирование запросов, то в таблице query_log можно увидеть и initial_user и user

Oleh
11.10.2017
14:49:51
а как вы делаете джоины по 3 и больше таблицам? Нужно делать джоин парами? Или появился какой-то новый способ?

Roman
11.10.2017
14:54:27
попробуйте использовать прокси https://github.com/Vertamedia/chproxy для лимитирования и контроля доступа к КХ

Michal
11.10.2017
14:59:45
Я так понимаю, что профили это скорее для удобной манипуляцией настройками для разных точек входа в CH, нежели для секьюрности
как-то слабо верится что Яндекс-way это прикрутить кучу всяких квот с мониторингом и профилями пользователей, при том что есть default без пароля, которым каждый может сделать что угодно безо всех этих квот и профилей :) Про chproxy - посмотрю, спасибо.

Александр
11.10.2017
15:00:26
У меня бывает и по 10 джоинов на запрос

Oleh
11.10.2017
15:00:56
а можешь пример показать?

Александр
11.10.2017
15:00:58
Которые разворачиваются в широкую таблицу

Если только чуть позже ) в дороге нахожусь, с телефона пишу

Oleh
11.10.2017
15:01:16
https://github.com/yandex/ClickHouse/issues/532#issuecomment-283441422

вот так ты делаешь?

Александр
11.10.2017
15:03:47
Да

Я сначала считаю факты и джойню их, затем если какие то эвенты надо размазать по времени джойню таблицу эвентов и уже провожу агрегацию по колонкам с фактами

Oleh
11.10.2017
15:07:47
понял, спасибо

Michal
11.10.2017
15:17:12
Вообще странно - быть может есть какая-то ошибка в документации про этого пользователя default. Ведь для Distributed можно указать user и password https://clickhouse.yandex/docs/ru/operations/access_rights.html vs. https://clickhouse.yandex/docs/ru/table_engines/distributed.html

Nikolai
11.10.2017
15:22:16
в чем ошибка?

Alex
11.10.2017
15:25:03
@kochetovnicolai Доброго вечерка вам. Подскажите можно ли как-то увеличить скорость отработки селект запроса за счет увеличения количества серверов. Я так понял, что репликаия это больше для инсертов, чтобы много принимать и реплицировать. А вот чтобы читать?

у нас пока один сервак стоит. но вот пришла пора расти

Google
Alex
11.10.2017
15:26:36
Так за счет быстрей подсчеты? Селекты на разные сервера или как то один запрос можно считать на разных серверах

@not_logan

Paul
11.10.2017
15:28:07
Так за счет быстрей подсчеты? Селекты на разные сервера или как то один запрос можно считать на разных серверах
селекты считаются на разных серверах, так как на разных серверах разные данные :)

Alex
11.10.2017
15:28:32
ну все. вызывайте скорую.

мне плохо)

Michal
11.10.2017
15:29:08
в чем ошибка?
Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются. Если для Distributed можно явно указать user и password - тогда default не нужен, верно?

Alex
11.10.2017
15:29:30
Можете в три предложение рассказать про расположение данных на разных серверах и как это связано с репликацией. @not_logan

Paul
11.10.2017
15:29:33
https://clickhouse.yandex/docs/ru/introduction/distinctive_features.html#id5 скорая прибыла

вторая скорая прибыла вслед за первой: https://clickhouse.yandex/docs/ru/table_engines/replication.html#table-engines-replication

Alex
11.10.2017
15:31:04
я доку прочитал от и до:) но для первого раза это как бред сумасшедшего, для гения. ну или наоборот

Michal
11.10.2017
15:31:25
это именно yandex-way. Без квот первый же аналитик уложит проду
Это не вызывает сомнений. Сомнения вызывает что аналитики не воспользуются пользователем default *без пароля* если им приспичит чуть побольше запросить чем позволяет квота.

Paul
11.10.2017
15:31:40
а вы попробуйте. Если вы не верите в документацию - соберите стенд да попробуйте. В чем проблема, я не понимаю

Alex
11.10.2017
15:32:16
для того чтобы собрать стенд надо хотя бы логику уложить в голове.

Michal
11.10.2017
15:33:05
Я там выше приводил фрагмент из документации где написано что default дожлен быть, должен быть без пароля и ограничений. :)

Alex
11.10.2017
15:33:41
У меня есть три таблицы. В них много данных. все это на одном серваке. как должно выглядеть картина с этими же данными, но на трех скажем серверах для ускорения селектов? @not_logan

Nikolai
11.10.2017
15:33:44
@kochetovnicolai Доброго вечерка вам. Подскажите можно ли как-то увеличить скорость отработки селект запроса за счет увеличения количества серверов. Я так понял, что репликаия это больше для инсертов, чтобы много принимать и реплицировать. А вот чтобы читать?
ну, конкретно репликация влияет на чтение в виде того, что запрос идет на какую-либо одну из реплик. то есть скорость одного запроса, наверное, не увеличится. если добавить шардов, тогда дйествительно должно быть заметно быстрее

Paul
11.10.2017
15:34:01
тем более что дефолт может быть и с паролем, только он должен быть одинаковым на всех шардах

Google
Michal
11.10.2017
15:34:56
ну если есть пользователь - тогда он есть, правда? И значит можно к базе подключиться просто написав clickhouse-client -m

Атата
11.10.2017
15:37:12
Я там выше приводил фрагмент из документации где написано что default дожлен быть, должен быть без пароля и ограничений. :)
в любой нормальной инсталляции безопасность в первую очередь будет лежать на активке/фаерволах

Paul
11.10.2017
15:37:21
ну если есть пользователь - тогда он есть, правда? И значит можно к базе подключиться просто написав clickhouse-client -m
да, но это системный пользователь, который не должен использоваться вне системных функций. Юзеру надо создать роль, пусть в ней и живет

Michal
11.10.2017
15:37:32
В очередной раз процитирую фрагмент из документации (который как я надеюсь, неверен): "Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот". Ссылка: https://clickhouse.yandex/docs/ru/operations/access_rights.html

Paul
11.10.2017
15:37:36
Атата
11.10.2017
15:38:11
Michal
11.10.2017
15:39:18
Хотел бы я посмотреть на фаерволл который будет проверять какой логин пользователь указал при подключении по бинарному протоколу. :) Был ли это действительно его логин или defauly :)

КОнечно потом по логах можно найти кто положил базу. Но может быть поздно :)

Michal
11.10.2017
15:41:33
Аналитики из интранета - это агрессивная среда? :)

Или джуниор программеры? :)

Атата
11.10.2017
15:43:45
Аналитики из интранета - это агрессивная среда? :)
да. поэтому и acl и логопасы и ограничения по ресурсам

Michal
11.10.2017
15:45:14
и рядом со всем этим царством безопасности - дырка в виде пользователя default с правами root и без пароля? :)

Michal
11.10.2017
15:46:43
Все же хочется верить что это просто ошибка в документации.

Ну или иначе: неточность.

Mike
11.10.2017
15:47:25
Коллеги, а Пентаху уже кто-нибудь подружил с КХ? Очень уж хочется выкинуть вертику, но последние тесты месяца 2-3 назад успехом не увенчались..(

Michal
11.10.2017
15:47:55
Ведь если для Distributed можно явно указать логин и пароль для подключения, то зачем нужен default?

Страница 283 из 723