alias - нет

есть такие вот, и на них судя по всему, ругань и идет ssid │ UInt64 │ DEFAULT │ cityHash64(session_id) в них даныне не вставляются из TabSeparated явно, но эти дефолты прописаны и в локальной, и в дистрибутед таблице

причем, такое ощущение, что работать перестало после обновления до последней версии

есть такие вот, и на них судя по всему, ругань и идет ssid │ UInt64 │ DEFAULT │ cityHash64(session_id) в них даныне не вставляются из TabSeparated явно, но эти дефолты прописаны и в локальной, и в дистрибутед таблице

Релиз ClickHouse 1.1.54362, 2018-03-11...... "Удалена настройка strict_insert_defaults. Если вы использовали эту функциональность, напишите на clickhouse-feedback@yandex-team.com." https://github.com/yandex/ClickHouse/search?utf8=%E2%9C%93&q=strict_insert_defaults&type= Если [strict_insert_defaults=1](../operations/settings/settings.md#settings-strict_insert_defaults), то столбцы, для которых не определены DEFAULT, необходимо перечислить в запросе. ....

Релиз ClickHouse 1.1.54362, 2018-03-11...... "Удалена настройка strict_insert_defaults. Если вы использовали эту функциональность, напишите на clickhouse-feedback@yandex-team.com." https://github.com/yandex/ClickHouse/search?utf8=%E2%9C%93&q=strict_insert_defaults&type= Если [strict_insert_defaults=1](../operations/settings/settings.md#settings-strict_insert_defaults), то столбцы, для которых не определены DEFAULT, необходимо перечислить в запросе. ....

все без DEFAULT перечислены

в общем, когда и в distributed, и в локальных таблицах есть одни и те же дефолты, и когда их не указываешь при инсерте - ругань. если из дистрибутед убрать неуказываемые столбцы, то все работает

а кроме цепочки селектов есть возможность дубли по некоторым колонкам отфильтровать или, другими словами, делать выборки только по уникальным строкам? пример, есть сырые данные с дублями IP | UA | 127.0.0.1 | 123 | 127.0.0.1 | 123 | 127.0.0.1 | 123 | 127.0.0.2 | 234 | 127.0.0.2 | 234 | 127.0.0.2 | 345 | 127.0.0.2 | 345 | надо выбирать из сгруппированных по ip+ua, в данном случае из такой таблицы 127.0.0.1 | 123 | 127.0.0.2 | 234 | 127.0.0.2 | 345 | в чем разница: в первом случае COUNT(*) .... GROUP BY IP будет 3 4 а во втором 1 2

Не знаю как в кх но в SQL можно группировать по двум полям в гроупбай

это вроде бы немного другой случай, если сделать GROUP BY IP, UA по первой таблице то все равно будет не 1,2, а 3,2,2 то есть мне надо по одному результату от каждой "уникальной" строки получить, и с этим уже работать

Не очень понял почему у вас должно получиться 1, 2

select max(ua) from table group by ip

или наоборот min

"посчитай мне количество строк, относящихся к группе 127.0.0.1-123" "посчитай мне количество строк, относящихся к группе 127.0.0.2-234" "посчитай мне количество строк, относящихся к группе 127.0.0.2-345"

и это в подзапрос

вот и получается 3, 2, 2

Не очень понял почему у вас должно получиться 1, 2

потому что там по сути SELECT из SELECT'a, я там выше пример привел в чем разница

select max(ua) from table group by ip

вот похоже на то что нужно, но думал есть вариант без подзапроса обойтись, хотя это вроде достаточно элегантно тоже

select ip,ua, count(*) from table group by ip,ua чем не подходит?

в случае он 3 2 2 и вернет

во втором 1 1 1

почему там 1,2 то должно быть?

потому что там SELECT COUNT(*) ... GROUP BY IP без UA

а нужно то сколько получить?

1,2 ?

я всеравно ничего не понял)

ага, то есть мне нужно сначала выбрать уникальные по некоторым колонкам, например IP+UA, а потом уже с этой выборкой работать :) двойным селектом то можно это все сделать, но думал есть способы отфильтровать сразу дубли

я не понял смысла

почему нельзя добавить в group by ua

ну это пример синтетический, у меня таблица на сотню колонок в реальности. потому что, если, выражаясь в терминах веб-сессий, у меня записано много хитов, а потом надо посчитать количество уникальных пользователей с IE, например, то группируя по IP, UA я все равно получу их хиты. поэтому мне надо сначала свернуть их до уникальных пользователей, а их уже считать.

можно сделать группировку по конкатенации двух полей, не?

что-то вроде select max(ip), max(ua), count(*) from table group by ip || ua;

сейчас попробую, спасибо

Друзья, всем привет есть простая таблица вида url_hash | value_type | value делаю преобразование в столбцы по value_type вида SELECT url_hash, sumIf(value, value_type = 1) AS count_value_type_1, sumIf(value, value_type = 2) AS count_value_type_2, sumIf(value, value_type = 3) AS count_value_type_n from data_raw group by url_hash подскажите, как подобное провернуть, когда value - это массив?

sumIf поменять на sumArrayIf

а кроме цепочки селектов есть возможность дубли по некоторым колонкам отфильтровать или, другими словами, делать выборки только по уникальным строкам? пример, есть сырые данные с дублями IP | UA | 127.0.0.1 | 123 | 127.0.0.1 | 123 | 127.0.0.1 | 123 | 127.0.0.2 | 234 | 127.0.0.2 | 234 | 127.0.0.2 | 345 | 127.0.0.2 | 345 | надо выбирать из сгруппированных по ip+ua, в данном случае из такой таблицы 127.0.0.1 | 123 | 127.0.0.2 | 234 | 127.0.0.2 | 345 | в чем разница: в первом случае COUNT(*) .... GROUP BY IP будет 3 4 а во втором 1 2

я наверное не очень внятно сформулировал, поэтому и непонятно всем. по сути, вопрос к первой таблице такой: сколько уникальных пользователей пришло с каждого из айпи? ответ будет именно 1 и 2. вот можно ли это посчитать одним селектом?

sumIf поменять на sumArrayIf

спасибо! в моем случае значения по value_type уникальны, заменил на anyIf

я наверное не очень внятно сформулировал, поэтому и непонятно всем. по сути, вопрос к первой таблице такой: сколько уникальных пользователей пришло с каждого из айпи? ответ будет именно 1 и 2. вот можно ли это посчитать одним селектом?

select uniq(user) group by ip?

я наверное не очень внятно сформулировал, поэтому и непонятно всем. по сути, вопрос к первой таблице такой: сколько уникальных пользователей пришло с каждого из айпи? ответ будет именно 1 и 2. вот можно ли это посчитать одним селектом?

SELECT IP, uniq(UA) FROM table GROUP BY IP

Есть идеи как поискать утечки памяти в СH ? Два тестовых сервера (1.1.54343) один clickhouse-server --daemon сожрал 60 ГБ, его реплика 30ГБ 1. VIRT 66GB RES 35GB (сюда идет бесконечная загрузка create TinyLog , insert into TinyLog from TSV, insert into *MergeTree select from TinyLog, drop TinyLog, таблиц много (соответственно заливающих запросов тоже много), данных ТБ-ы) 2. VIRT 30GB RES 12GB (реплика первого). mem type: 1 / 2 Dictionaries: memory taken: 6.15 GB / 6.15 GB PK allocated memory: 2.26 GB / 2.07 GB PK in memory : 1.35 GB / 1.35 GB на графике 1-го (VIRT) есть ступеньки вверх +~10GB

можно посмотреть на значения метрик generic.current_allocated_bytes и generic.heap_size из system.asynchronous_metrics. heap_size должен быть близок к размеру потребляемой памяти. если current_allocated_bytes небольшой, то память просто занимается кучей для экономии

еще можно посмотреть на memory_usage таблице system.query_log. возможно, что память занимают выполняющиеся запросы

можно посмотреть на значения метрик generic.current_allocated_bytes и generic.heap_size из system.asynchronous_metrics. heap_size должен быть близок к размеру потребляемой памяти. если current_allocated_bytes небольшой, то память просто занимается кучей для экономии

1. VIRT 66GB RES 35GB select metric, formatReadableSize(value) from system.asynchronous_metrics where metric like ('%generic.%') generic.heap_size 51.97 GiB generic.current_allocated_bytes 28.74 GiB 2. VIRT 30GB RES 12GB generic.heap_size 18.80 GiB generic.current_allocated_bytes 9.44 GiB т.е. утечки нет?

Похоже, что все нормально.

то есть мы не получили подтвержения, что утечка есть :)

Похоже, что все нормально.

ОК, понял, спасибо.

Кажется мне нужно лямбда выражение, а не очень понимаю как это работает. Мне нужно подсчитать количество элементов массива, удовлетворяющих определенной регулярке, может быть есть какой-то мануал, который по полочкам у меня в голове всё расставит?

Опубликована презентация с Субботника по базам данных: https://clickhouse.yandex/presentations/database_saturday_2018/

Кажется мне нужно лямбда выражение, а не очень понимаю как это работает. Мне нужно подсчитать количество элементов массива, удовлетворяющих определенной регулярке, может быть есть какой-то мануал, который по полочкам у меня в голове всё расставит?

arrayCount(x -> match(x, 'regexp'), arr)

arrayCount(x -> match(x, 'regexp'), arr)

Спасибо большое, то что нужно! Если вдруг попадётся на глаза удобное руководство про лямбда функции для чайников - тоже буду благодарен :)

есть еще arrayExists , если подойдет булевый результат. вроде как работает шустрее

есть еще arrayExists , если подойдет булевый результат. вроде как работает шустрее

Да, спасибо! Кстати именно arrayExists используется Метрикой для формирования отчётов с фильтрами)

Добрый день

Будет ли резервныый канал на случай, если телеграм закроют?

Будет ли резервныый канал на случай, если телеграм закроют?

Так а прокси?

За исключением прокси, VPN и т.п.

группа в гугле есть)

подскажите, плиз, ошибка точь-в-точь как в ишью, куда копнуть чтобы долго и мучительно не выяснять в чем проблема? https://github.com/yandex/ClickHouse/issues/1617

покопавшись в логах, выяснил что проблема в "Received signal Illegal instruction (4)." при определенных операциях на клиенте и после этого сервер падает. Ну а потом по истории этой группы выяснил, что для использования активной сборки нужно расширение SSE4.2, а на серваке сейчас стоит старенький Intel Xeon E5450. Написал для тех, у кого подобная проблема возникнет.

Добрый день! Наткнулся на странное поведение. Есть таблица на 16 миллонов строк. Делаю запрос SELECT count(), uniq(tr_viol_id) FROM default.simple_tmp получаю результат 16299674 и 16285919 Делаю второй запрос SELECT tr_viol_id FROM default.simple_tmp group by tr_viol_id having count() > 1 получаю пустой результат. Поле не ключевое. Как такое может быть?

P.S. Запрос select count() from ( SELECT tr_viol_id FROM default.simple_tmp group by tr_viol_id) дает 16299674

А кто-то может подсказать как для ReplicatedReplacingMergeTree использовать новый синтаксис с партиционированием? Там просто есть колонка version

ну значит они всем там у вас разные не больше 1 по кол-ву, uniq считает приближенно

uniqExact точно считает

Спасибо

А кто-то может подсказать как для ReplicatedReplacingMergeTree использовать новый синтаксис с партиционированием? Там просто есть колонка version

да также, например: CREATE TABLE ... ( ... ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/table_local', '{replica}') PARTITION BY day ORDER BY (show_id, campaign_id, flight_id, creative_id, day) SETTINGS index_granularity = 8192

да также, например: CREATE TABLE ... ( ... ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/table_local', '{replica}') PARTITION BY day ORDER BY (show_id, campaign_id, flight_id, creative_id, day) SETTINGS index_granularity = 8192

А как version указать?

сорян, про версию пропустил как-то

Вижу, доку, там пишут, что вроде просто version передают после номера реплики

А как version указать?

ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/table_local', '{replica}', ver)

Спасибо!

Всем привет! Хочу обновить КХ. Возникает такая проблема alexm93@alexm93-VirtualBox:~/chtest$ sudo apt-get update Ign:1 http://repo.yandex.ru/clickhouse/xenial stable InRelease Hit:2 http://ru.archive.ubuntu.com/ubuntu xenial InRelease Ign:3 http://repo.yandex.ru/clickhouse/deb/stable main/ InRelease Hit:4 http://ru.archive.ubuntu.com/ubuntu xenial-updates InRelease Hit:5 http://ru.archive.ubuntu.com/ubuntu xenial-backports InRelease Ign:6 http://repo.yandex.ru/clickhouse/xenial stable Release Hit:7 http://ppa.launchpad.net/webupd8team/java/ubuntu xenial InRelease Hit:8 http://repo.yandex.ru/clickhouse/deb/stable main/ Release Ign:9 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 Packages.diff/Index Ign:10 http://repo.yandex.ru/clickhouse/xenial stable/main i386 Packages.diff/Index Ign:11 http://repo.yandex.ru/clickhouse/xenial stable/main all Packages Ign:12 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en_US Ign:13 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en Hit:14 http://security.ubuntu.com/ubuntu xenial-security InRelease Ign:15 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 DEP-11 Metadata Ign:16 http://repo.yandex.ru/clickhouse/xenial stable/main DEP-11 64x64 Icons Ign:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 Packages Ign:18 http://repo.yandex.ru/clickhouse/xenial stable/main i386 Packages Ign:11 http://repo.yandex.ru/clickhouse/xenial stable/main all Packages Ign:19 https://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.6 InRelease Ign:12 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en_US Ign:13 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en Hit:20 https://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.6 Release Ign:15 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 DEP-11 Metadata Ign:16 http://repo.yandex.ru/clickhouse/xenial stable/main DEP-11 64x64 Icons Ign:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 Packages Ign:18 http://repo.yandex.ru/clickhouse/xenial stable/main i386 Packages Ign:11 http://repo.yandex.ru/clickhouse/xenial stable/main all Packages Ign:12 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en_US Ign:13 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en Ign:15 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 DEP-11 Metadata Ign:16 http://repo.yandex.ru/clickhouse/xenial stable/main DEP-11 64x64 Icons Ign:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 Packages Ign:18 http://repo.yandex.ru/clickhouse/xenial stable/main i386 Packages Ign:11 http://repo.yandex.ru/clickhouse/xenial stable/main all Packages Ign:12 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en_US Ign:13 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en Ign:15 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 DEP-11 Metadata Ign:16 http://repo.yandex.ru/clickhouse/xenial stable/main DEP-11 64x64 Icons Ign:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 Packages Ign:18 http://repo.yandex.ru/clickhouse/xenial stable/main i386 Packages Ign:11 http://repo.yandex.ru/clickhouse/xenial stable/main all Packages Ign:12 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en_US Ign:13 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en Ign:15 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 DEP-11 Metadata Ign:16 http://repo.yandex.ru/clickhouse/xenial stable/main DEP-11 64x64 Icons Ign:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 Packages

Ign:18 http://repo.yandex.ru/clickhouse/xenial stable/main i386 Packages Ign:11 http://repo.yandex.ru/clickhouse/xenial stable/main all Packages Ign:12 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en_US Ign:13 http://repo.yandex.ru/clickhouse/xenial stable/main Translation-en Ign:15 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 DEP-11 Metadata Ign:16 http://repo.yandex.ru/clickhouse/xenial stable/main DEP-11 64x64 Icons Err:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64 Packages 404 Not Found [IP: 213.180.204.183 80] Ign:18 http://repo.yandex.ru/clickhouse/xenial stable/main i386 Packages Reading package lists... Done W: The repository 'http://repo.yandex.ru/clickhouse/xenial stable Release' does not have a Release file. N: Data from such a repository can't be authenticated and is therefore potentially dangerous to use. N: See apt-secure(8) manpage for repository creation and user configuration details. E: Failed to fetch http://repo.yandex.ru/clickhouse/xenial/dists/stable/main/binary-amd64/Packages 404 Not Found [IP: 213.180.204.183 80] E: Some index files failed to download. They have been ignored, or old ones used instead.

Сто лет как сменился репо , смотрите закрепленный пост

использую репозиторий из https://clickhouse.yandex/#quick-start

даже по ссылке которую вы дали уже измененный репо

делаю как раз по этой интсрукции sudo apt-key adv —keyserver keyserver.ubuntu.com —recv E0C56BD4 # optional sudo apt-add-repository "deb http://repo.yandex.ru/clickhouse/deb/stable/ main/" sudo apt-get update sudo apt-get install -y clickhouse-server clickhouse-client sudo service clickhouse-server start clickhouse-client

Ну а кто старый то репо удалять будет )

Err:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64

этол откуда у вас ?

Привет! Подскажите пожалуйста, кто-нибудь использует Clickhouse в воркбуках Tableau через web-интерфейс tableau?

Всех приветствую. Вопрос: можно ли использовать КХ для полнотекстового поиска по комментариям и постам из вк????

Всех приветствую. Вопрос: можно ли использовать КХ для полнотекстового поиска по комментариям и постам из вк????

можно

не лучшая идея , все таки не тот юзкейс, вам в еластик сфинкс

Всех приветствую. Вопрос: можно ли использовать КХ для полнотекстового поиска по комментариям и постам из вк????

Конечно можно, и это даже будет работать. Но все таки кликхаус в меньшей степени про работу с текстовыми данными, и другие специализированные решения подойдут вам лучше. Расскажите про ваш кейс, объёмы и структуры данных, думаю вам помогут подобрать правильный инструмент.

Возникла такая же ошибка при поиске по полю типа UUID в таблицах семейства MergeTree. При запросе вылехает ошибка DB::Exception: Bad type of Field. https://github.com/yandex/ClickHouse/issues/1770 Если кто сталкивался, скажите как решали проблему?

Конечно можно, и это даже будет работать. Но все таки кликхаус в меньшей степени про работу с текстовыми данными, и другие специализированные решения подойдут вам лучше. Расскажите про ваш кейс, объёмы и структуры данных, думаю вам помогут подобрать правильный инструмент.

Кейс: надо хранить для нескольких групп надо хранить все посты, все комменты, все лайки, всех подписчиков с инфой о них

Искать по постам, комментам, инфе в профиле по ключевым словам

постгрес, разложить по вектору и повесить GIN индекс

тут еще надо уточнять – какой объем данных и какие требования к отчетам

Объём : пользователи ~10 млн Посты ~5 млн Комменты~50*посты Лайки~1000*посты Хотел с этого начать, но не хочу чтобы это было верхней границей Отчёты:: Текстовые поля 1) все посты с ключевыми словами (в идеале с морфологией) Числовые и даты 1)все агрегации и джойны

в кликхаусе нет полнотекствого индекса - значит любой like %% будет читать-сравнивать слишком много данных

Объём : пользователи ~10 млн Посты ~5 млн Комменты~50*посты Лайки~1000*посты Хотел с этого начать, но не хочу чтобы это было верхней границей Отчёты:: Текстовые поля 1) все посты с ключевыми словами (в идеале с морфологией) Числовые и даты 1)все агрегации и джойны

вам точно в постгрес

Всем спасибо, что подняли веки)))