Что-то можно сказать по метрикам этим?

может быть вот это кушает - │ Merge │ 28 │

А ReplicatedReplacingMergeTree отсутствует, да?

вроде бы должен быть

А ReplicatedReplacingMergeTree отсутствует, да?

точно есть, мы используем

ну да 28 мержей, может и они

начало кушать я посмотрел неделю назад

начало кушать я посмотрел неделю назад

вставляете не слишком часто?

как раз в этот момент добавили partition drop для таблиц хз как это могло спровоцировать

встявляю большими пачками

2 недели работало хорошо, сегодня заметил что процессор жрет глянул историю - начало кушать давольно давно, как раз в то время добавили удаление партиции и ничего больше не трогали попробую отключить удаление и понаблюдать

точно есть, мы используем

Можно по нему вопрос - как он себя чувствует при большом потоке одинаковы данных? когда начинает схлопывать или вы принудительно OPTIMIZE шлёте? У меня кейс в котором походе он мне нужен, хотелось бы все грабли заранее узнать =)

открыт но только локалхост.

нужно слушать ::

в конфиге раскомментировать <!-- <listen_host>::</listen_host> -->

так сделано для безопасноти, чтоб доступ открывали только когда надо

подскажите где он лежит пожалуйста

это не единица это ипв6 адрес ::1 :)

если из пакета - то /etc/clickhouse-server/config.xml

::1 - это современное модное название старого и некрасивого 127.0.0.1

в конфиге раскомментировать <!-- <listen_host>::</listen_host> -->

после этого, что-то нужно еще сделать? перезагрузить мб?

да

да

ура, заработало. Спасибо большое!

Есть еще вопрос, хочу разобраться, как делать бэкап. Нашел такую команду в справке ALTER TABLE [db.]table FETCH PARTITION 'name' FROM 'path-in-zookeeper' но, я как понял здесь указывается партиция за месяц типа 201701, а как просто всю таблицу за весь период забэкапить?

Есть еще вопрос, хочу разобраться, как делать бэкап. Нашел такую команду в справке ALTER TABLE [db.]table FETCH PARTITION 'name' FROM 'path-in-zookeeper' но, я как понял здесь указывается партиция за месяц типа 201701, а как просто всю таблицу за весь период забэкапить?

FREEZE PARTITION вам нужно. Но оно тоже по партициям

FREEZE PARTITION вам нужно. Но оно тоже по партициям

понятно, спасибо

Нормально. Они же по объёму тоже имеют ограничение, вроде.

Нормально. Они же по объёму тоже имеют ограничение, вроде.

хорошо, спасибо

DROP PARTITION 'YYYYMM' дропнет их все

DROP PARTITION 'YYYYMM' дропнет их все

хорошо, буду уверен, что не задублируются

Я так понимаю партицирование это единственный способ удалять старые данные с CH ?

вроде да

Я так понимаю партицирование это единственный способ удалять старые данные с CH ?

можно еще делать select в новую таблицу без старых данных)

а старую удалять?)) не скажу что это удобный способ)

а старую удалять?)) не скажу что это удобный способ)

я не говорил, что удачный, способ как способ =)

Прочитал в документации: Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются. Какой тогда смысл вообще во всех этих пользователях и паролях, если есть условый root без пароля?

существует initial_user у которого как раз и проверяются пароли и лимиты. Если с ними все ок - тогда будут выполнены distributed запросы

если включить логирование запросов, то в таблице query_log можно увидеть и initial_user и user

а как вы делаете джоины по 3 и больше таблицам? Нужно делать джоин парами? Или появился какой-то новый способ?

Прочитал в документации: Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются. Какой тогда смысл вообще во всех этих пользователях и паролях, если есть условый root без пароля?

Я так понимаю, что профили это скорее для удобной манипуляцией настройками для разных точек входа в CH, нежели для секьюрности

попробуйте использовать прокси https://github.com/Vertamedia/chproxy для лимитирования и контроля доступа к КХ

Я так понимаю, что профили это скорее для удобной манипуляцией настройками для разных точек входа в CH, нежели для секьюрности

как-то слабо верится что Яндекс-way это прикрутить кучу всяких квот с мониторингом и профилями пользователей, при том что есть default без пароля, которым каждый может сделать что угодно безо всех этих квот и профилей :) Про chproxy - посмотрю, спасибо.

а как вы делаете джоины по 3 и больше таблицам? Нужно делать джоин парами? Или появился какой-то новый способ?

Оборачиваю в подзапросы и в итоге получается одна широкая таблица

У меня бывает и по 10 джоинов на запрос

а можешь пример показать?

Которые разворачиваются в широкую таблицу

Если только чуть позже ) в дороге нахожусь, с телефона пишу

https://github.com/yandex/ClickHouse/issues/532#issuecomment-283441422

вот так ты делаешь?

Да

Я сначала считаю факты и джойню их, затем если какие то эвенты надо размазать по времени джойню таблицу эвентов и уже провожу агрегацию по колонкам с фактами

понял, спасибо

Вообще странно - быть может есть какая-то ошибка в документации про этого пользователя default. Ведь для Distributed можно указать user и password https://clickhouse.yandex/docs/ru/operations/access_rights.html vs. https://clickhouse.yandex/docs/ru/table_engines/distributed.html

в чем ошибка?

@kochetovnicolai Доброго вечерка вам. Подскажите можно ли как-то увеличить скорость отработки селект запроса за счет увеличения количества серверов. Я так понял, что репликаия это больше для инсертов, чтобы много принимать и реплицировать. А вот чтобы читать?

у нас пока один сервак стоит. но вот пришла пора расти

как-то слабо верится что Яндекс-way это прикрутить кучу всяких квот с мониторингом и профилями пользователей, при том что есть default без пароля, которым каждый может сделать что угодно безо всех этих квот и профилей :) Про chproxy - посмотрю, спасибо.

это именно yandex-way. Без квот первый же аналитик уложит проду

@kochetovnicolai Доброго вечерка вам. Подскажите можно ли как-то увеличить скорость отработки селект запроса за счет увеличения количества серверов. Я так понял, что репликаия это больше для инсертов, чтобы много принимать и реплицировать. А вот чтобы читать?

точно так же. Больше серверов – быстрее подсчеты

Так за счет быстрей подсчеты? Селекты на разные сервера или как то один запрос можно считать на разных серверах

@not_logan

Так за счет быстрей подсчеты? Селекты на разные сервера или как то один запрос можно считать на разных серверах

селекты считаются на разных серверах, так как на разных серверах разные данные :)

ну все. вызывайте скорую.

мне плохо)

в чем ошибка?

Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются. Если для Distributed можно явно указать user и password - тогда default не нужен, верно?

Можете в три предложение рассказать про расположение данных на разных серверах и как это связано с репликацией. @not_logan

https://clickhouse.yandex/docs/ru/introduction/distinctive_features.html#id5 скорая прибыла

вторая скорая прибыла вслед за первой: https://clickhouse.yandex/docs/ru/table_engines/replication.html#table-engines-replication

я доку прочитал от и до:) но для первого раза это как бред сумасшедшего, для гения. ну или наоборот

это именно yandex-way. Без квот первый же аналитик уложит проду

Это не вызывает сомнений. Сомнения вызывает что аналитики не воспользуются пользователем default *без пароля* если им приспичит чуть побольше запросить чем позволяет квота.

а вы попробуйте. Если вы не верите в документацию - соберите стенд да попробуйте. В чем проблема, я не понимаю

Это не вызывает сомнений. Сомнения вызывает что аналитики не воспользуются пользователем default *без пароля* если им приспичит чуть побольше запросить чем позволяет квота.

им его не дадут

для того чтобы собрать стенд надо хотя бы логику уложить в голове.

Я там выше приводил фрагмент из документации где написано что default дожлен быть, должен быть без пароля и ограничений. :)

Я там выше приводил фрагмент из документации где написано что default дожлен быть, должен быть без пароля и ограничений. :)

так он системный, как я понимаю. Его не дают юзерам

У меня есть три таблицы. В них много данных. все это на одном серваке. как должно выглядеть картина с этими же данными, но на трех скажем серверах для ускорения селектов? @not_logan

@kochetovnicolai Доброго вечерка вам. Подскажите можно ли как-то увеличить скорость отработки селект запроса за счет увеличения количества серверов. Я так понял, что репликаия это больше для инсертов, чтобы много принимать и реплицировать. А вот чтобы читать?

ну, конкретно репликация влияет на чтение в виде того, что запрос идет на какую-либо одну из реплик. то есть скорость одного запроса, наверное, не увеличится. если добавить шардов, тогда дйествительно должно быть заметно быстрее

тем более что дефолт может быть и с паролем, только он должен быть одинаковым на всех шардах

У меня есть три таблицы. В них много данных. все это на одном серваке. как должно выглядеть картина с этими же данными, но на трех скажем серверах для ускорения селектов? @not_logan

google://шардирование

ну если есть пользователь - тогда он есть, правда? И значит можно к базе подключиться просто написав clickhouse-client -m

Также пользователь default используется при распределённой обработки запроса - система ходит на удалённые серверы под ним. Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот - иначе распределённые запросы сломаются. Если для Distributed можно явно указать user и password - тогда default не нужен, верно?

Звучит логично. Подозреваю, что если указывать везде пользователя и пароль, то default не обязателен

Я там выше приводил фрагмент из документации где написано что default дожлен быть, должен быть без пароля и ограничений. :)

в любой нормальной инсталляции безопасность в первую очередь будет лежать на активке/фаерволах

ну если есть пользователь - тогда он есть, правда? И значит можно к базе подключиться просто написав clickhouse-client -m

да, но это системный пользователь, который не должен использоваться вне системных функций. Юзеру надо создать роль, пусть в ней и живет

В очередной раз процитирую фрагмент из документации (который как я надеюсь, неверен): "Поэтому, у пользователя default должен быть пустой пароль и не должно быть выставлено существенных ограничений или квот". Ссылка: https://clickhouse.yandex/docs/ru/operations/access_rights.html

в любой нормальной инсталляции безопасность в первую очередь будет лежать на активке/фаерволах

хотел бы я посмотреть на фаерволл с квотой по запросам к базе

хотел бы я посмотреть на фаерволл с квотой по запросам к базе

ну смотря от кого мы защищаемся, да

Хотел бы я посмотреть на фаерволл который будет проверять какой логин пользователь указал при подключении по бинарному протоколу. :) Был ли это действительно его логин или defauly :)

КОнечно потом по логах можно найти кто положил базу. Но может быть поздно :)

Хотел бы я посмотреть на фаерволл который будет проверять какой логин пользователь указал при подключении по бинарному протоколу. :) Был ли это действительно его логин или defauly :)

ну если вы пускаете кх в агрессивную среду напрямую - ссзб )

Аналитики из интранета - это агрессивная среда? :)

Или джуниор программеры? :)

Аналитики из интранета - это агрессивная среда? :)

да. поэтому и acl и логопасы и ограничения по ресурсам

и рядом со всем этим царством безопасности - дырка в виде пользователя default с правами root и без пароля? :)

и рядом со всем этим царством безопасности - дырка в виде пользователя default с правами root и без пароля? :)

ограничени по адресам?

Все же хочется верить что это просто ошибка в документации.

Ну или иначе: неточность.

Коллеги, а Пентаху уже кто-нибудь подружил с КХ? Очень уж хочется выкинуть вертику, но последние тесты месяца 2-3 назад успехом не увенчались..(

Ведь если для Distributed можно явно указать логин и пароль для подключения, то зачем нужен default?