@clickhouse_ru

Страница 514 из 723
Nikolai
28.04.2018
10:36:04
да, выглядит правильно

LeiDruid
28.04.2018
10:36:46
спасибо

Michael
28.04.2018
11:05:57
Добрый день. Отправляю даные из logstash плагином logstash-output-clickhouse пачками по 60 тыс. строк. В настройке хоста указываю логин/пароль: http_hosts => ["http://user:pasword@xxx.xxx.xxx.xxx:xxxx"] Первый чанк проходит и записывается, на все последующие приходит ошибка авторизации (user - "default"). В настройках плагина можно указать передачу заголовка headers => ["Authorization", "Basic YWRtaW46cGFzc3dvcmQxMjM="] . Подскажите, а где раздобыть этот самый токен авторизации?

Denys
28.04.2018
11:34:12
base64-encoding of user:password

Google
LeiDruid
28.04.2018
12:42:12
Делаю CREATE TABLE db.t1 ( ... ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/t1', 'server1', EVENT_DATE_INDEX, (USER_ID, EVENT_DATE_INDEX),8192) в ответ Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception В чем может быть проблема? Из текста ошибки что-то нипанятна

LeiDruid
28.04.2018
12:45:08
неа

В зк - точно

Tima
28.04.2018
12:47:21
1. Попробуйте создать обычную таблицу 2. Попробуйте сменить имя таблицы 3. посмотрите в файлах КХ, нет ли там папки с таким именем "ls -la /CLICKHOUSE_PATH/data/db"

LeiDruid
28.04.2018
12:53:13
ok, погляжу

Michael
28.04.2018
13:03:18
sha-bang
28.04.2018
13:03:36
Приветствую. Кто-нибудь может подсказать как ковычки mysql отпрвлять в mysql через CH? Code: 47. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown identifier: key.

имеется ввиду когда делаешь что-то типа select key from mysql(….)

где key - это название столбца в mysql

Alexey
28.04.2018
13:08:02
change column `key` `klyuch`

Самое правильное )))

sha-bang
28.04.2018
13:09:02
поменять название колонки в mysql?

Google
sha-bang
28.04.2018
13:09:59
Самое правильное )))
То есть КХ не умеет такие символы экранировать как-то?

Sergey
28.04.2018
13:55:07
после обновления до 1.1.54380 — перестал стартовать на убунте, не было ни у кого?

Wolf
28.04.2018
14:01:16
А что в логах ?

?
28.04.2018
14:19:03
у меня было, писал что порт уже используется, вылечилось оставлением только :: в конфиге

Evgenii
28.04.2018
14:22:37
Версия - 1.1.54370 на всех нодах вдруг стал писать в лог <Warning> TCPHandler: Client has not sent any data. с сетью проблем нет

что может быть?

Daniel
28.04.2018
15:23:47
Передаёт ли Clickhouse какую-то телеметрию в Яндекс?

Victor
28.04.2018
15:25:55
Wolf
28.04.2018
15:28:29
Передаёт ли Clickhouse какую-то телеметрию в Яндекс?
это было бы эпично , но слава богу опенсоурс )

хотя на повторяемость сборки наверно никто не проверял

Daniel
28.04.2018
15:29:29
хотя на повторяемость сборки наверно никто не проверял
В этом-то и дело. Безопасники за жабры взяли, будем изучать, значит...

это было бы эпично , но слава богу опенсоурс )
Та же Перкона мониторинг тул передаёт, кстати. В докер сборке у них флажок можно поставить, чтобы не передавал, но по умолчанию передаёт.

?
28.04.2018
16:27:04
а я правильно понимаю, что когда мы делаем CREATE MATERIALIZED VIEW из SELECT, то в этом вью не появятся данные ДО ТЕХ ПОР пока не произойдет какой-нибудь INSERT? то есть вот я создаю обычный VIEW – и там сразу данные есть, добавляю аттрибут MATERIALIZED, и он пустой после создания – это ок?

Nikolai
28.04.2018
16:29:31
View не хранит данные, а действует как алиас для запроса в исходную таблицу.

Mat. View хранит, но по-умолчанию не вставляет данные, которые были в таблице, а только добавляет новые на инсерт.

можно указать параметр POPULATE при создании, тогда данные вставятся

?
28.04.2018
16:31:58
ага, вот про POPULATE прочитал, но не осознал. спасибо.

Tima
28.04.2018
16:41:21
ага, вот про POPULATE прочитал, но не осознал. спасибо.
Осторожно, в доке написано, что пока populate не выполнится, в мат вьюху новые данные от исходной таблицы не попаду

?
28.04.2018
16:42:36
да, спасибо, но там все статично. интересно конечно какая там логика, если у меня три джойна там в селекте, как он выбирает когда кого апдейтить

Nikolai
28.04.2018
16:44:58
у меня есть опасения, что совсем не будет

Google
Alexey
28.04.2018
17:54:11
+1 :)

Мат.вьюха только от 1 таблицы

Он ничего не апдейтит, он берет ваш кусок данных из инсерта, применяет к нему селект из вьюхи, и кладет эту выборку в таблицу как в обычную

Чем больше кусок, тем меньше строк во вьюхе

?
28.04.2018
18:00:42
но вот если есть селект из одной таблицы с тремя джойнами к ней из трех других таблиц, и из этих данных еще потом селект, с расчетами, и все это в итоге в матвью идет, то в каком случае у него триггер на добавление данных ?

Alexey
28.04.2018
18:09:59
Кх не создаст такую мат.вью

?
28.04.2018
18:11:43
ммм. создал.

Alexey
28.04.2018
18:12:40
Мат.вью создал? С джойнами на несколько таблиц?

?
28.04.2018
18:13:27
да

точнее там одна на выборку из самой себя, а вторая на еще одну отдельную

Alexey
28.04.2018
18:15:52
Вы сказали сначала про три другие таблицы, а теперь переобулись

Одна вьюха - одна таблица

Нельзя сделать одну мат.вьюху с селектом из разных таблиц

Может я ошибаюсь конечно...

?
28.04.2018
18:17:10
простите, разные запросы. но вот в этой конкретной вью – два джойна, один из которых на постороннюю таблицу.

Alexey
28.04.2018
18:19:04
Щас я попробую тоже

был неправ, создается

но, не работает, естественно

?
28.04.2018
18:36:10
вставка не происходит?

Alexey
28.04.2018
18:36:34
в мат.вьюху нет

Google
Alexey
28.04.2018
18:41:31
не знаю почему он позволяет создать такую мат.вьюху, оно логически непонятно как должно работать

Alexander
28.04.2018
21:14:16
Всем привет! Наверное, все уже спят, но вдруг кто знает дружат ли между собой AggregatingMergeTree и Distributed?

Особенно с квантилями и средними значениями

Wolf
29.04.2018
10:18:14
прав видимо где то не хватает

Andrey
29.04.2018
13:34:51
на логи/конфиги прав точно хватает?

?
29.04.2018
14:37:35
А табикс который на ui.tabix.io или самосборка? была такая проблема с Insert запрос выполнялся а писал что ошибка
а где табикс содержимое sql вкладок хранит? там есть глюки с удалением, удалял несколько вкладок подряд, а удалились другие. сейчас не воспроизведу, но одна важная потерялась :( ее уже никак не вытянуть?

Михаил
29.04.2018
15:20:38
а где табикс содержимое sql вкладок хранит? там есть глюки с удалением, удалял несколько вкладок подряд, а удалились другие. сейчас не воспроизведу, но одна важная потерялась :( ее уже никак не вытянуть?
К сожалению, нет. Табикс хранит в локальном хранилище браузера. Удаляет по индексам, норм удаляет с последних вкладок. В противоположном случае происходит смещение индекса вкладки с запросом и индекса в хранилище.

?
29.04.2018
15:22:00
? Спасибо, понял

Dmitriy
29.04.2018
15:33:00
багу в гитхабе заведите пожалуйста

Igor
29.04.2018
18:26:21
Harry
29.04.2018
19:05:04
Подскажите размер таблицы 3,5 Гига, увеличил память на сервере с 1 гига до 6, но смотрю свободной памяти более 5 гигабайтов. Как так?

Wolf
29.04.2018
19:07:05
Ну это же не редис это кликхаус

Slach
29.04.2018
19:07:25
Подскажите размер таблицы 3,5 Гига, увеличил память на сервере с 1 гига до 6, но смотрю свободной памяти более 5 гигабайтов. Как так?
что конкретно смущает? что Clickhouse память не жрет как не в себя? ну так это потому что данные с диска в основном читаются и кешируются только mrk файлы и данные словарей сервер то под нагрузкой?

iostat -x 1 смотрите на util

Harry
29.04.2018
19:10:43
что конкретно смущает? что Clickhouse память не жрет как не в себя? ну так это потому что данные с диска в основном читаются и кешируются только mrk файлы и данные словарей сервер то под нагрузкой?
Просто по рекомендации с туториала получается - Для небольших объемов данных (до \~200 Гб в сжатом виде) лучше всего использовать столько памяти не меньше, чем объем данных. А в результате она не используется.

Wolf
29.04.2018
19:13:11
Что то я не помню такой рекомендации, у меня примерно 18 гигов на 1.5 Тб данных

Wolf
29.04.2018
19:15:54
Ну можно видимо игнорить

Google
Harry
29.04.2018
19:18:22
Slach
29.04.2018
19:18:57
да и там явно перевод косячит =) в целом да clickhouse на сложных запросах может отожрать памяти но видимо у вас в основном вставка пока?

Slach
29.04.2018
19:24:08
простой селект с аггрегацией.
он будет последовательно блоки вычитывать через thread pool с буферами под каждую колонку а потом через другой thread pool будет аггрегацию делать с выделением буферов необходимых для эффективной работы аггрегирующих функций (всякие sum, avg память не жрут, uniq жрет копейки)

так что да, гиг оперативы не так уж много

Igor
29.04.2018
19:39:05
Нзч)

?
30.04.2018
06:27:47
после создания материализованного вью появилась таблица с префиксом .inner. - это то, куда он промежуточные результаты скидывает?

?
30.04.2018
06:34:20
спасибо. а форматтера у нас для кх-версии sql никакого нет? если еще и с vscode совместимого – вообще мечта ?

а, в табиксе же есть, все норм

а это же не очень нормально что SHOW CREATE TABLE выдает результат, который потом не исполняется из-за синтаксической ошибки?

Александр
30.04.2018
06:43:30
Особенно для всяких ReplicatedMergeTree

Надо убрать слэши перед кавычками

?
30.04.2018
06:44:10
ага, 'text' превращается в \'text\'

Страница 514 из 723