а это вам обязательно?

это все расходует неимоверное кол-во памяти во время вставки

насколько я понял,это единственный способ построить по ним индекс? думаю можно будет сильно сэкономить..пока я это сделал для теста) а так в ключ наверное около 50-200 колонок надо бы

почитайте https://medium.com/@f1yegor/clickhouse-primary-keys-2cf2a45d7324#.qsgpp1xfy

Спасибо!буду разбираться!

у меня 232 млн строк. Не по ключу селектит за 0.306 сек

там по русски если что

Так ли нужны вам все поля в индексе?

https://groups.google.com/forum/#!searchin/clickhouse/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%7Csort:relevance/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ

это колонки по типу свойств товаров яндекс.маркета.. возможно и не нужны,надо провести небольшое исследование.. БД с продукцией электротехнической..у нее гигантское количество свойст и возможных значений этих свойств..

колонки в таблице очень разряженные..там на 99% товаров значение может быть -1..вместо null)

сперва сделал тест просто в лоб..и даже так очень классные результаты)

Ну я крайне советую протестировать без всех полей в индексе. У меня без индекса отбегает оч быстро хотя виртуалка всего 4 ядра

сперва сделал тест просто в лоб..и даже так очень классные результаты)

а, тестировали уже

попробую,отпишусь о результатах.. возможно кому-то окажется полезным)

запустил без ключей точно время вставки не замерял,но по ощущениям быстрее раза в два-три вставилось.. запросы мелкие с where 10-20 штук условий не изменились..60-140мс запросы с большим количеством условий 150-200 штук выполняются дольше..600-800мс.. всего пару раз попалось ~1400мс,но это походу просто какие-то внезапные тормоза системы тесты антинаучные!) время учитывает оверхед на сеть т.к. измерялось на клиенте,да и много других факторов..данные искуственные

ну что, выглядит более чем логично

чем больше полей в индексе, тем дольше вставка.

Чем меньше полей в индексе тем дольше селект с вашими where

Привет! Может не нада такую подставу делать? :) <yandex> <logger> <level>trace</level>

Привет! Подскажите, пожалуйста, в чем ошибка (ссылка на раздел документации была бы вообще супер) SELECT Count(user_id2), build_id FROM ( SELECT Max(timestamp_of) AS timestamp_of, user_id2 FROM stat_event GROUP BY user_id2 ) LEFT JOIN stat_event USING (timestamp_of, user_id2) GROUP BY build_id ↖️ Progress: 78.30 million rows, 1.10 GB (2.46 million rows/s., 34.38 MB/s.) Received exception from server: Code: 49. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Logical error: unknown combination of JOIN.

ANY или ALL забыли указать

https://clickhouse.yandex/reference_ru.html#Секция%20JOIN

Респект!

Пропустил этот момент

SAMPLE для такого запроса можно писать? Возвращает "Expected end of query"

SELECT uniq(user_id2), build_id FROM ( SELECT Max(timestamp_of) AS timestamp_of, user_id2 FROM stat_event GROUP BY user_id2 ) ANY LEFT JOIN stat_event USING (timestamp_of, user_id2) SAMPLE 0.1 GROUP BY build_id;

Сэмплирование таблица поддерживает, т.е. без JOIN срабатывает корректно

ANY/ALL у джойна снова не указаны и SAMPLE судя по документации должен практически в самом начале стоять, перед джойном https://clickhouse.yandex/reference_ru.html#SELECT

Да, ты прав по обоим пунктам. А сэмплирование для вложенного SELECT не поддерживается (что понятно)

В моем случае смысл имеет такой (корректный) запрос SELECT uniq(user_id2), build_id FROM ( SELECT Max(timestamp_of) AS timestamp_of, user_id2 FROM stat_event SAMPLE 0.1 GROUP BY user_id2 ) ANY LEFT JOIN stat_event USING (timestamp_of, user_id2) GROUP BY build_id;

Еще вопрос: бывает ли одностороннее реплицирование? Чтобы изменения, которые случайно могут произойти на реплике не затронули мастер-сервер

Нет, а зачем нужен такой кейс?

staging сервера?

Более того, мастера как такового нет

Есть лидер который отвечает за мержи, но он выбирается заново каждый раз

а как выбирается, кворумом?

paxos/raft/etc?

ZK

Нет, а зачем нужен такой кейс?

Для анализа нужно много памяти. Для самого сохранения - немного. Сервер бэкэнда занимается только сбором данных, а аналитикам отдается сервер реплики. Если реплику повредят (выполнят нештатный запрос), чтобы это не затронуло "бэкэнд"-сервер. Или это правами доступа надо решать?

Для анализа нужно много памяти. Для самого сохранения - немного. Сервер бэкэнда занимается только сбором данных, а аналитикам отдается сервер реплики. Если реплику повредят (выполнят нештатный запрос), чтобы это не затронуло "бэкэнд"-сервер. Или это правами доступа надо решать?

Правами доступа - выставить readonly.

Для отдельной базы это можно сделать, да? Чтобы можно было создавать другие базы в рамках того же инстанса

Это задаётся на уровне профиля пользователя. В users.xml смотрите profile для user-а. А сама настройка указывается в соответствующем profile.

Понял. Спасибо!

А есть или планируется input плагин для логсташ?

как у них сделан для pg

было бы очень удобно

А есть или планируется input плагин для логсташ?

читать логи из кликхауса?

есть подозрение, что LogStash захлебнется потоком данных от CH

есть подозрение, что LogStash захлебнется потоком данных от CH

мне кажется это даже проверялось когда-то давно )

ставлю на это стакан красного и огурец! :)

Мы делали output в clickhouse, но не полетело и выкинули

досадно :)

там была проблема в том, что ЛШ падал, а стейтом у него являлась точка, на которой остановился input. Таким образом, львиная доля логов пролюбливалась и понимания, где остановилось -(считывание)- отправка, не было

мммм, ребят

а давно прав 777 на файлы данных Clickhouse?

drwxrwxrwx 2 clickhouse clickhouse 4096 Mar 3 23:51 default drwxrwxrwx 3 clickhouse clickhouse 4096 Mar 4 22:08 mydata drwxrwxrwx 2 clickhouse clickhouse 4096 Mar 3 23:51 system

Так было изначально, но в последней версии уже отменено.

оч хорошо :)

хочется странного, вот есть две таблицы одного типа, но там разные значения. Как найти их пересечение?

то есть выбрать типы которые есть в обоих таблицах

SELECT x FROM t1 WHERE x IN (SELECT x FROM t2)

мощно

спасибо :)

еще вопрос, а автодополнение имен таблиц по табу не работает вообще или у меня только?

Вообще.

ок, не горит) смиримся

у меня в clickhouse-cli есть но автодополнения полей еще нет

Добрый день! Возник вопрос - планируется много пользователей на фронтенде которые будут дергать кх. Вопрос как организовать прослойку. Прокси? Или дополнительно что то. Как организовано в метрике? Хотя бы схематично

для чего? если для балансировки то Haproxy ок.

Наверняка и nginx прекрасно подходит.

Ок. Спасибо.

В Метрике отдельные демона реализуют API

Потому что пользователи ходят в CH не на языке CH

А есть где то этот демон? Или это на откуп общественности?

Писать raw connector

Ну, мы используем jdbc драйвер

https://github.com/yandex/clickhouse-jdbc

Ок. Понял. Спасибо это уже лучше:-)

Я снова с глупыми вопросами ) Есть относительно большая (40 млн. записей) таблица, созданная так CREATE TABLE default.stat_event ( ch_date Date DEFAULT today(), timestamp_of DateTime, user_id2 UInt64, type_id UInt32, distrib_id UInt32, event_id UInt32, <и еще десяток полей> ) ENGINE = MergeTree(ch_date, user_id2, (event_id, user_id2, timestamp_of), 8192); Делаю запрос с limit, отсоритированный по PK SELECT * FROM stat_event ORDER BY event_id, user_id2, timestamp_of limit 100 FORMAT TabSeparated; Ожидаю, что прочитана будет только сотня записей, но по факту с диска читается вся таблица. Почему так?

В этом месте сейчас к сожалению нету оптимизации

Можно уточнить, в каком именно месте ?:) вообще с применением limit ?

Да тоже интересует данный вопрос.

Леша писал где-то выше по чату. Кажется в сортировках не используется PK

А как можно эффективно разбить запрос на несколько порций? Таблица в этот момент уже не обновляется

А напомните пожалуйста, кх умеет в несколько БД или там как в вертике, один сервер - одна БД?

умеет конечно

Спасибо

CREATE DATABASE, USE, вот это все

combot.org/chat/-1001080295593

Приветствую! Если ли какая-то батарейка для джанги?

батарейка?

(модуль)

из известных мне(я не разработчик) только 2 либы для python: 1. https://github.com/Infinidat/infi.clickhouse_orm 2. https://github.com/cloudflare/sqlalchemy-clickhouse

нашел еще такое https://github.com/ppodolsky/clickhouse-python

для мониторинга пытаюсь приспособить select toInt64OrZero(count()) from system.replication_queue но на нереплицируемых нодах (а мониторить надо универсально) оно возвращает пустоту вместо нуля. Есть способы борьбы?