Рассмотрим по порядку имя первого куска: 20140317_20140323_2_2_0. 20140317 - минимальная дата данных куска 20140323 - максимальная дата данных куска 2 - минимальный номер блока данных 2 - максимальный номер блока данных 0 - уровень куска - глубина дерева слияний, которыми он образован (из доки)

А как clickhouse-client хранит историю запросов? Мне нужно из истории выдрать запрос :) Есть возможность как то локально прошерстить историю?

В файле ~/.clickhouse-client-history

В файле ~/.clickhouse-client-history

Представим, что есть select ... where <условие1>. Мне нужно выполнить сразу 500 подобных запросов. Что кликхаусу не рекомендуется. Но в целом select ... where <условие1> or <условие2> ... <условие 500> меня устроит. Только я вот думаю, так нормально или этим способом КХ не обмануть.

Смотря какие условия. Если там условия из серии where userId = 1 or userId = 2 or userId = 3, то можно временную таблицу использовать

А сделать where user id in temp_table

Добрый вечер. Наткнулся на непонятное поведение Enum. :) select * from Order where Rebill='yes'; SELECT * FROM Order WHERE Rebill = 'yes' Received exception from server: Code: 49. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown element 'yes' for type Enum8('no' = 0, 'yes' = 1). 0 rows in set. Elapsed: 0.068 sec. :) select Rebill,Count(*) from Order group by Rebill; SELECT Rebill, Count(*) FROM Order GROUP BY Rebill ┌─Rebill─┬─Count()─┐ │ no │ 390136 │ │ yes │ 302973 │ └────────┴─────────┘ 2 rows in set. Elapsed: 0.011 sec. Processed 693.11 thousand rows, 693.11 KB (61.00 million rows/s., 61.00 MB/s.) Что может быть?

Представим, что есть select ... where <условие1>. Мне нужно выполнить сразу 500 подобных запросов. Что кликхаусу не рекомендуется. Но в целом select ... where <условие1> or <условие2> ... <условие 500> меня устроит. Только я вот думаю, так нормально или этим способом КХ не обмануть.

А зачем делать 500 запросов за раз?

Вопрос больше не в том зачем ( мне 500 or условий даже лучше ), а как с точки зрения разработчиков субд это может повлиять на производительность, ибо для сотен запросов в секунду база не предназначена, а ситуация с or условиями весьма похожа на отдельные запросы.

Всем привет, если я делаю запрос select a,b,c from t where .. таблица t имеет первичный ключ (a,b). то данные гаранированно буду отсортированы по a,b? т.е. смысла дописывать order by a,b нет?

Подскажите, пожалуйста, два шарда по две реплики. Очень редко, но бывает "part *** is lost forever". Посмотрел комментарии в исходниках. Сеть не падала, сервер не выключался и тому подобное. Интересует дальнейший механизм. Скажем, сервер написал "lost forever", допустим part-данных удалилась с реплики. Происходит какая-то проверка в дальнейшем, которая автоматически (средствами КХ) определит расхождение в данных на репликах шарда и восстановит "утраченное"? Или нужно что-то придумывать после того, как увидел подобную ошибку в логах?

https://clickhouse.yandex/docs/ru/table_engines/replication.html#id3

Да, спасибо, еще раз посмотрел, но сервер продолжает работать штатно, проблем в зукипере не наблюдается, detached - пустая. Можно ли считать обнадеживающим в этом случае (циатата из мана) "Если имеются небольшие несоответствия, то система устраняет их, синхронизируя данные с реплик" ?

Вообще должно работать автоматически, да. Где то в чатике поднимали вопрос о том как принудительно синхронизироваться с другой репликой. Нужно поискать

Не факт. Смотря сколько блоков данных прочитается. Они всегда могут быть в случайном порядке, но внутри блока должны быть отсортированы по ключу, да.

из документации: Большинство операций с числами и со строками не имеет смысла и не работают для Enum-ов: например, к Enum-у нельзя прибавить число. Для Enum-а естественным образом определяется функция toString, которая возвращает его строковое значение. кажется, что все верно, и нужно использовать toString

Что за ошибка Expected end of line это в конце файла не хватает _eof или в конце строки?

Да не у меня просто csv

ВАУ! Спасибо, это решило проблему!! Давайте предложим тем ребятам pull request if 'mssql' not in str(conn.dialect) and 'clickhouse' not in str(conn.dialect):

(если это линукс, конечно)

Вопрос больше не в том зачем ( мне 500 or условий даже лучше ), а как с точки зрения разработчиков субд это может повлиять на производительность, ибо для сотен запросов в секунду база не предназначена, а ситуация с or условиями весьма похожа на отдельные запросы.

а сеть ?)

@milovidov_an спасибо за odbc драйвер

День добрый! Мощно инсертим в клик, и наблюдаем следующую картину: Load average высокий, а общее потребление не очень высокое. В htop вижу попеременно BackgrProcPool и ParalInputProc. С какими настройками поиграться, чтобы LA отбросить? Тюнятся размеры этих пулов?

Да, спасибо, еще раз посмотрел, но сервер продолжает работать штатно, проблем в зукипере не наблюдается, detached - пустая. Можно ли считать обнадеживающим в этом случае (циатата из мана) "Если имеются небольшие несоответствия, то система устраняет их, синхронизируя данные с реплик" ?

Расхождения между репликами устраняются. Но part is lost forever говорит о том, что некоторого куска не будет на всех репликах и достать его неоткуда.

Добрый день, подскажите пожалуйста по внешнему словарю. complex_key_cache смотрит в постгрес. Когда не находит записи по ключу, то кидает "RecordSet contains 0 columns while 5 expected", а в постгресе вижу висит запрост PREPARE ... с этим ключем. Вопрос примерно: почему иногда он умеет доставать несуществующую запись и заполнять дефолтными значениями, а иногда отваливается?

почему-то помогло выполнить команду drop partition 5-6 раз подряд, дропнулась :\

День добрый! Мощно инсертим в клик, и наблюдаем следующую картину: Load average высокий, а общее потребление не очень высокое. В htop вижу попеременно BackgrProcPool и ParalInputProc. С какими настройками поиграться, чтобы LA отбросить? Тюнятся размеры этих пулов?

Следующий ClickHouse Meetup состоится в Берлине, 5 октября. https://www.meetup.com/ClickHouse-Meetup-Berlin/ Это первый крупный англоязычный митап. Мы рады пригласить всех, кто сможет приехать! Участие бесплатно. Необходимо зарегистрироваться: https://events.yandex.com/events/meetings/05-10-2017/register/

А язык будет английский или немецкий?

было бы в UK...

было бы в UK...

недалеко, но виза кончилась недавно

И конечно имеет смысл пригласить коллег. Можно хотя бы одного человека отправить вместо делегации :)

а вы подаваетесь на фосдем в этом году, кстати?

уже CFP

У меня стоит пункт, что надо податься. Ещё ничего не продумал и не смотрел. Спасибо, что напомнили про CFP. А то в прошлый раз было довольно грустно - огромная толпа народа, а возможности по-нормальному рассказать нет.

20 сентября - это что? Чтобы сказать - я буду делать свой devroom или чтобы вписаться в существующий?

До 20 сентября можно организовать деврум

Скорее всего это не вариант для нас.