и сколько у вас разных (ip, streamname,useragent) ?

и какая средняя длина у строк

Коллеги, подскажите, пожалуйста. В локальной сети на выделенную машину поставил CH в дефолтовых настройках. Как подключиться с dev машины к CH через Tabix в реализации "без инсталляции", если такое вообще возможно. Перепробовал все, коннекта нет

с дефолтными настройками подключиться из сети нельзя.

надо править listen_host

я комментарии убрал

<http_server_default_response>... понял, сейчас попробую

и сколько у вас разных (ip, streamname,useragent) ?

всего их около 2 млн, разных где-то в три раза меньше. Ширина думаю под килобайт

Как-то странно, что отжирает настолько много памяти

ок, разберусь ещё

@maxlapshin вот пример по нашей базе. SELECT * FROM ( SELECT COUNT() AS c, UserIP FROM impressions WHERE EventDate >= '2017-05-20' GROUP BY UserIP ORDER BY c DESC ) LIMIT 5 5 rows in set. Elapsed: 1.612 sec. Processed 145.22 million rows, 1.93 GB (90.09 million rows/s., 1.20 GB/s.)

ОЗУ скушало копейки

Если начинать добавлять в связку GROUP BY - после этого растёт потребление памяти, что в принципе логично, но не настолько критично как у вас. Возможно получается всё же слишком много записей? Стоит попробовать как-то групировать пользователей сразу, к примеру генерировать какой-то fingerprint

поставил <listen_host>::</listen_host> и рестартовал. но сервер через tabix все равно не доступен

может еще что надо сделать?

netstat -natp | grep LISTEN

Если начинать добавлять в связку GROUP BY - после этого растёт потребление памяти, что в принципе логично, но не настолько критично как у вас. Возможно получается всё же слишком много записей? Стоит попробовать как-то групировать пользователей сразу, к примеру генерировать какой-то fingerprint

хорошо, я попробую разобраться с тем, что я делаю не так

может еще что надо сделать?

Или посмотреть что говорит curl -i http://host:port

хм, сказал Ок

я пытаюсь зайти, используя http://ui.tabix.io/#/login

Вы curl на сервере делали или на своей тачке?

curl на сервере с использованием внешнего IP, на локальной win машине открыл браузером

curl на сервере с использованием внешнего IP, на локальной win машине открыл браузером

Браузером "Ок" увидели?

да

В tabbix указываете с портом или без?

Порт у вас стандартный?

с портом

8123

А что в консоли браузера при подключении через tabbix?

Хост: http://10.0.0.234:8123, login default, pass пустой.... ВЫдает "ошибка доступа"

Direct CH

В консоли, не на странице

В хроме под виндой открывается по F12 вроде

/#/login:1 XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query.

OPTIONS http://10.0.0.234:8123/s1/query 501 (Not Implemented)

/#/login:1 XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query. Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://ui.tabix.io' is therefore not allowed access. The response had HTTP status code 501.

/#/login:1 XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query. Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://ui.tabix.io' is therefore not allowed access. The response had HTTP status code 501.

Вот оно

Ребзя, а как это в CH настраивается? Cors в смысле

всего их около 2 млн, разных где-то в три раза меньше. Ширина думаю под килобайт

а агрегируете как, суммы или уники? может можно группироать по хешам фиксированной ширины, а потом джойнить к ним исходные строки.

SELECT ip, name, type, user_id, country, referer, useragent, dictGetString('useragents','browser_type',tuple(useragent)) AS ua_browser_type, sum(deleted_at - created_at) AS view_time, um(bytes_sent) AS bytes_sent, min(toUnixTimestamp(created_at)) AS created_at_, max(toUnixTimestamp(deleted_at)) AS deleted_at_, min(id) AS id_, count(distinct id) AS count FROM sessions WHERE account_id=19446 AND created_at_date='2017-06-02' AND created_at > (toDateTime(1495148194)) GROUP BY ip, name, type, user_id, country, referer, useragent, created_at_date ORDER BY created_at_ asc LIMIT 200

вот, даже без вложенного селекта

я группирую всё, что похожее и вот оно не влезает в 9 гигабайт

count(distinct id) =uniq(id)

referer и useragent - длинные строки. Используйте hash функции, намного сэкономите памяти при Group By

т.е. тяжелый агрегат, тяжелые ключи. миллион кардинальность. может, так и должно быть.

была где-то ссылка здесь на то, как делать Group By, если не влезает в память. Поищите.

GROUP BY и Memory limit exceeded

https://events.yandex.ru/lib/talks/4556/

вообще, если память у вас есть, и никому кроме себя вы не мешаете, то ставьте сколько нужно. иногда можно оценить какой у вас рост данных в этом запросе будет в ближайшие пару лет, т.е. когда этот вопрос встанет опять.

да, у меня очень много строк после group by остается

окей, следующий вопрос: если я задеру max_query_memory до, скажем, 24 гигабайт при том, что на сервере сейчас 32 гига памяти, кликхаус может упасть с OOM из-за этого?

https://events.yandex.ru/lib/talks/4556/

супер, это именно мой вопрос!

Еще вопрос есть. Как с помощью https://github.com/yandex/clickhouse-odbc подключиться к базе из R (Win)? поставил релиз 64 бит, R 64 бит. Пишу library(DBI) con <- dbConnect(odbc::odbc(), driver = "ClickHouse ANSI", # database = "default", uid = "default", #pwd = "password", host = "10.0.0.234", port=8123L ) Выдает ошибку: Error: nanodbc/nanodbc.cpp:950: HY000: Cannot parse port number.

Ооо, group_by_overflow='any' !!

Вот пример, как hash позволяет уменьшить время запроса и потребление памяти: Запрос 1 - используем hash: select fromDomainHash, any(fromDomain), count() from test group by fromDomainHash order by count() desc format JSON "rows": 375, "statistics": { "elapsed": 0.026554691, "rows_read": 1636501, "bytes_read": 39930314 } Второй запрос - без использования hash: select fromDomain, count() from test group by fromDomain order by count() desc format JSON "rows": 375, "statistics": { "elapsed": 0.024187994, "rows_read": 1636501, "bytes_read": 53022322 } В первом случае памяти потребовалось в 1,35 раза меньше!

а domainHash при этом надо сохранить при записи? Т.е. мне надо хранить hash(useragent) для этого?

Привет! никто не подскажет match(haystack, pattern) можно сделать icase

?

хотя нет, это для like/position

а domainHash при этом надо сохранить при записи? Т.е. мне надо хранить hash(useragent) для этого?

хранить при чтении быстрее, иначе придется читать длинную колонку и считать по ней хеши.

хранить при записи в смысле?

да, сохранять при записи. например добавить колонку с default hash(domain)

Мы используем fieldHash Uint64 materialezed cityHash64(field)

ну в любом случае надо сделать новую таблицу и туда все данные перелить, верно?

Не помню, почему не подошел default, а materialized сработал

> Такой столбец не может быть указан при INSERT, то есть, он всегда вычисляется.

а он вычисляется один раз при вставке или всегда потом при каждом обращении?

Судя по информации bytesRead, при вставке

помогло!

Итак, что у меня было. Запрос с group by, оставляющий очень много строк, не влезал в память. Я сделал alter table sessions add column ref_hash UInt64 materialized cityHash64(referer); и поменял с group by referer на group by ref_hash Теперь всё стало сильно лучше и влезает в 10 гигабайт.

а исходные рефереры ответе не нужны?

неа

мне надо по ним сгруппировать

Итак, что у меня было. Запрос с group by, оставляющий очень много строк, не влезал в память. Я сделал alter table sessions add column ref_hash UInt64 materialized cityHash64(referer); и поменял с group by referer на group by ref_hash Теперь всё стало сильно лучше и влезает в 10 гигабайт.

Вот тут опять про номрмализацию строк, и у меня такая же проблема.

и ещё я поменял вложенный селект с count distinct на uniqCombined((field1,field2,field3))

Я думал где-то с месяц назад написать конвертер из InfluxDB в CH. Имя метрики - таблица. Но пока застопорилось на том что кажется надо свою библиотечку для КХ писать.

Какой таргет язык?

подскажите пожалуйста какой сейчас Go коннектор к кликхаусу считается самым тру?

Я с вопросом про размер query. Это вообще разумно поднимать max query memory до 20 или 30 гигабайт? Т.е. я задрать могу, а насколько это оправдано? Может я просто не так пользуюсь и это уже неправильное использование инструмента?

А сколько join в запросах?

нисколько

у меня одна таблица

я группирую всё, что похожее и вот оно не влезает в 9 гигабайт

От Алексея был доклад по способам группировки. Месяц или 2 назад

даа, здесь выше выложили

я его прослушал уже

подскажите пожалуйста какой сейчас Go коннектор к кликхаусу считается самым тру?

https://github.com/kshvakov/clickhouse Или свой писать

Какой таргет язык?

Го

А что?

https://github.com/kshvakov/clickhouse Или свой писать

спасибо

Да думал может попрактиковаться

практикуемся на С++ :)))

на го три либы, а на плюсах одна, даешь конкуренцию :)

уже три? :О

я нашел две более-менее активных

ок, две, могу ошибаться:)

вот плюсовому драйверу очень не хватает батчера, красивого

в проекте я нечто на коленке написал, что задачку решает, но блокирует поток приема данных, некрасиво