еще добавил подсказку про .deb - https://github.com/yandex/clickhouse-odbc/blob/master/README.md#building-linux-debian-based-deb-package

Здорово! Спасибо)

привет завел неделю назад тикет про то, что local join не работает с шардингом, пока не получил ответа https://github.com/yandex/ClickHouse/issues/3196 кто-то может подтвердить, что это действительно проблема? и может, кто-то знает какие-то способы обхода этого ограничения?

читал код, где это происходит - в принципе понятно, почему такое поведение сейчас, но непонятно, задумано ли так или просто упущение

начинается эта проблема здесь: https://github.com/yandex/ClickHouse/blob/master/dbms/src/Interpreters/InJoinSubqueriesPreprocessor.cpp#L161 там делается поиск стореджа в текущем контексе, но в это время имя таблицы уже отображено в шард, а база пустая. я пробовал перетащить эту проверку на уровень ниже, что дает возможность сначала узнать, разрешен ли local join, а потом искать сторедж, но не разобрался, каким образом указывать, что нужно смотреть на remote-базы

привет а верно ли что e.displayText() = DB::Exception: Bad checksums format version означает что старая версия clickhouse не может в новый формат от более свежей реплики?

если версии разные то да

да, печаль ?

приведите прост овсе к одной и заработает

попробую, спасибо

Достопочтимые господа, пытаюсь задать полю в словаре тип "Enum8" через xml конфиг, но получаю обидный ответ: { Error: Unknown type Enum8('admin' = 1, 'shop' = 2) Где можно раздобыть информацию по этой проблеме. Гугл молчит.

Попробуйте max_query_size увеличить, может обрезаться если не влазит

Спасибо за совет! Помогло. О настройке знал, но как-то раньше не приходилось ее использовать, нормально все отрабатывало, хотя объем данных и не изменился.

поделитесь как лучше подружить КХ с Talend?

Тем временем кликхаус перешагнул 5K звезд на гитхабе. Ура, товарищи :)

Поздравляем!

В КХ есть настройка, чтобы он при выводе не обрезал "пустые" группы, а проставлял для них нули?

Т.е. у меня при одних и тех же фильтрах, но разных аггрегатных функциях приезжает разное число строк.

В КХ есть настройка, чтобы он при выводе не обрезал "пустые" группы, а проставлял для них нули?

Он их не обрезает, если не выводит значит таких групп не было в исходных данных. Т.е. если например вы по минутам группируете и какая-то минута пропущена в результатах - это не значит что кликхаус подумал "тут нули, не буду выводить", а просто в этой минуте действительно не было исходных данных. Есть способы это обойти - например нагеренить "пустые" данные с полным набором значений из нужного вам диапазона и добавить их с помощью UNION ALL к исходным данным. Или вы про что-то другое справшивали?

Т.е. у меня при одних и тех же фильтрах, но разных аггрегатных функциях приезжает разное число строк.

эээ... Покажите пример.

Наверное самая распространенная причина какого-то непоследовательного поведения КХ - это использование алиасов названия которых совпадают с названиями колонок в таблице.

В этом случае алиасы "заслоняют" реальные колонки.

SELECT dt, p_id, sum(sign) as page_views, uniq(visit_id) as visits FROM table PREWHERE (toRelativeDayNum(dt) >= toRelativeDayNum(today()) - 30) GROUP BY dt, p_id Если page_views и visits считать раздельно, то разное число строк.

Я просто не могу в одном считать, в память не влезает.

и page_views тоже разный получается?

а сколько кстати строк, сотни тысяч?

десятки миллионов

Да вроде результат одинаковый. Просто, если считать метрики в разных запросах, то разное число строк приезжает.

а max_rows_to_group_by у вас сколько

Как узнать?

и group_by_overflow_mode какой

Скорее всего дефолтные

SELECT * FROM system.settings WHERE name LIKE '%group%'

а если с одним набором величин, то запрос хотя бы одинаковое количество строк выдает от раза к разу?

?

Всем привет! При вставки в CH даты(Date) через golang drive дата инсертится всегда в UTC,хотя с datetime все хорошо. Кто сталкивался с такой проблемой?

уже разобрался. ранее обсуждали в чате

Тем временем кликхаус перешагнул 5K звезд на гитхабе. Ура, товарищи :)

заработаю денег, продоначу криптой клянусь сатоши! Супер проект clickhouse, реально решает. Непонятно куда переводить - дайте адрес

Тем временем кликхаус перешагнул 5K звезд на гитхабе. Ура, товарищи :)

Спасибо!

Товарищи, а что у нас из версий нынче stable считается?

ну та которая лежит в оф репо

Меня больше интересует, что у кого на проде обосновалось, откаты после свежака

Про репу это ж очевидно

все по-разному используют, наступают на разные грабли, поэтому у каждого свой stable

^^^

Всем привет. Пробовали сделать alter table modify column на табличке в пару ТБ. Через 2 часа даунтайма надоело. + ощущение, что он тупо завис. Нет нагрузки на cpu\io. Нажали ctrl+c, но нода КХ до сих пор лежит. Все другие запросы валяться с DB::Exception: Too many simultaneous queries. Maximum: 100.

С остальных нод табличка видна и без лока

Стоит ли делать restart у ноды или ждать?

норм. restart - ноль реакции. forcerestart - помоглоо

У меня приложение бот, ходит по сайтам отзывов раз день и берет рейтинг и количество комментариев объектов. Результат - график изменения рейтинга и активность комментариев за день. В моем случае кх не нужен?

У меня приложение бот, ходит по сайтам отзывов раз день и берет рейтинг и количество комментариев объектов. Результат - график изменения рейтинга и активность комментариев за день. В моем случае кх не нужен?

Смотря сколько данных. Если несколько десятков тысяч в день, то достаточно обычного SQL.

Смотря сколько данных. Если несколько десятков тысяч в день, то достаточно обычного SQL.

ууу. нет. 1000 записей в день максимум

ууу. нет. 1000 записей в день максимум

Тогда ответ очевиден

ууу. нет. 1000 записей в день максимум

Единственное где возможен выигрыш, это очень сложные запросы.

Единственное где возможен выигрыш, это очень сложные запросы.

Например?

Что подразумевается под сложными

Много Group by и join, статистика (типа перцентелей)

Однако, 1000 в день в оперативку влезет

А если строить рейтинг с учётом колебаний за все время?

А если строить рейтинг с учётом колебаний за все время?

Это select rating where Id=.... ?

Это select rating where Id=.... ?

Group by day

Group by day

Короче, с этим справится и обычный sql

а какой опцией задается максимальный размер парта никак не могу найти в доке

а какой опцией задается максимальный размер парта никак не могу найти в доке

t.me/clickhouse_ru/66756

t.me/clickhouse_ru/66756

спс

Пытаюсь создать табличку с колонкой типа Decimal(10, 4) SET allow_experimental_decimal_type = 1 CREATE TABLE lines ( price Decimal(10, 4) DEFAULT CAST(0 AS Decimal(10, 4)) ) ENGINE ODBC('DSN=ssmssql', '' , lines) Выдет ошибку Syntax error: Expected one of: NULL, number, literal, подскажите в чем проблема? Версия кх 18.12.17.

Всем привет. Только изучаю документацию, не смог окончательно прояснить некоторые моменты. 1) Я поднимаю кластер(3хшард, без реплик=1) - есть ли простой способ проверить текущее состояние кластера? аля cluster check status, а в ответ - node1 ok, node2 ok, node 3 fail. 2) получается таблица любая, даже distributed создается только на конкретной ноде и чтобы она появилась на другой ноде - нужно создать её самостоятельно? тогда получается - любой изменение схемы нужно также самостоятельно выполнять на каждой ноде? и что будет если схемы будут отличаться?

Всем привет. Только изучаю документацию, не смог окончательно прояснить некоторые моменты. 1) Я поднимаю кластер(3хшард, без реплик=1) - есть ли простой способ проверить текущее состояние кластера? аля cluster check status, а в ответ - node1 ok, node2 ok, node 3 fail. 2) получается таблица любая, даже distributed создается только на конкретной ноде и чтобы она появилась на другой ноде - нужно создать её самостоятельно? тогда получается - любой изменение схемы нужно также самостоятельно выполнять на каждой ноде? и что будет если схемы будут отличаться?

По п.1 можно попробовать сделать select * from system.cluster

Всем привет. Только изучаю документацию, не смог окончательно прояснить некоторые моменты. 1) Я поднимаю кластер(3хшард, без реплик=1) - есть ли простой способ проверить текущее состояние кластера? аля cluster check status, а в ответ - node1 ok, node2 ok, node 3 fail. 2) получается таблица любая, даже distributed создается только на конкретной ноде и чтобы она появилась на другой ноде - нужно создать её самостоятельно? тогда получается - любой изменение схемы нужно также самостоятельно выполнять на каждой ноде? и что будет если схемы будут отличаться?

Да надо на каждой, ну разве результаты запросов к разным дистрибьютед таблицам, в целом такие вещи делаются через on cluster через один запрос

@count0ru @stufently. Понял, спасибо!

Пытаюсь создать табличку с колонкой типа Decimal(10, 4) SET allow_experimental_decimal_type = 1 CREATE TABLE lines ( price Decimal(10, 4) DEFAULT CAST(0 AS Decimal(10, 4)) ) ENGINE ODBC('DSN=ssmssql', '' , lines) Выдет ошибку Syntax error: Expected one of: NULL, number, literal, подскажите в чем проблема? Версия кх 18.12.17.

SET и CREATE - это два разных запроса. Не хватает точки с запятой после SET allow_experimental_decimal_type = 1 Если вы выполняете в клиенте командной строки, то выполните просто по-отдельности. Если через HTTP интерфейс, то настройку можно передать в URL, вот так: ...&allow_experimental_decimal_type=1

SET и CREATE - это два разных запроса. Не хватает точки с запятой после SET allow_experimental_decimal_type = 1 Если вы выполняете в клиенте командной строки, то выполните просто по-отдельности. Если через HTTP интерфейс, то настройку можно передать в URL, вот так: ...&allow_experimental_decimal_type=1

Спасибо помогло!

А подскажите еще когда ждать исправления табличной функции odbc? Я про ошибку DB::Exception: Cannot read all data. Bytes read: 3. Bytes expected: 4

Проверьте, не исправлена ли эта проблема в последнем testing? (18.14.1) https://repo.yandex.ru/clickhouse/deb/testing/main/

Спасибо помогло!

Табличка создалась, а селектить не дает Unsupported type Decimal(10, 4) ?

Проверьте, не исправлена ли эта проблема в последнем testing? (18.14.1) https://repo.yandex.ru/clickhouse/deb/testing/main/

ок, проверю

@milovidov_an кстати на гитхабе вы только что выложили v18.5.2-testing, номер версии странный...

Табличка создалась, а селектить не дает Unsupported type Decimal(10, 4) ?

Это возможно, если используется старая версия clickhouse-client, или используется другой клиент с Native интерфейсом.

@milovidov_an кстати на гитхабе вы только что выложили v18.5.2-testing, номер версии странный...

По просьбе одной из групп в Яндексе, это - версия 18.5.1, в которую добавлен один патч - возможность настроить zookeeper operation timeout. В этой версии не хватает других серьёзных исправлений и я не рекомендую её использовать.

а в clickhouse-client можно как то посмотреть его версию?

Извините за возможный оффтоп, но, возможно, есть отдельный чат по catboost? Интересует одно из значений, которое может принимать параметр eval_metric обучаемой модели

Коллеги завели чаты по CatBoost: https://t.me/catboost_ru https://t.me/catboost_en

а в clickhouse-client можно как то посмотреть его версию?

clickhouse-client --version

А также он всегда пишет это первой строкой при запуске в интерактивном режиме.

Коллеги завели чаты по CatBoost: https://t.me/catboost_ru https://t.me/catboost_en

? finally!

clickhouse-client --version

ClickHouse client version 18.12.17.

ClickHouse client version 18.12.17.

SELECT CAST(1 AS Decimal(10, 4)) AS x, toTypeName(x) - Ok?

Unsupported type видимо для конкретной функции?

SELECT line_id, price FROM lines LIMIT 100

Есть возможно посмотреть, из какого места выдаётся сообщение Unsupported type. Для этого, запустите клиент с опцией --stacktrace и повторите запрос.