Как есть вообще без вариантов?

В атрибутах можно добавить expression - произвольное выражение, которое вставляется в SELECT при загрузке данных. Пример: <name>EndDate</name> <expression>DATE(EndDate)</expression>

О! Попробую

Работает! <attribute> <name>token</name> <expression>cast(token AS VARCHAR)</expression> <type>String</type> <null_value></null_value> </attribute> Огромное спасибо!

Да, там после 54327 было много правок, можете оформить issue на github и сразу vavrusa можете в копию поставить

Нужно обязательно описание этого бага на GitHub. Дело в том, что без него шанс на исправление получается довольно низкий из-за того, что движок Kafka - сторонняя разработка, которая не используется в Яндексе, и для которой нет тестов.

Нужно обязательно описание этого бага на GitHub. Дело в том, что без него шанс на исправление получается довольно низкий из-за того, что движок Kafka - сторонняя разработка, которая не используется в Яндексе, и для которой нет тестов.

Я попробую его воспроизвести и понять что там не так, после чего опишу или поправлю

Привет,кто нибудь сталкивался,что jdbc к ClickHouse при select c resultset зависает на 300000-330000 rows?

Поспрашивал у коллег - такой проблемы нет.

хмм, кажется еще более подробно разобрался, сообщения с кафки тянутся отлично, в кафкаэнджайн ложатся, НО, материалайзед вью хавает с него, но почему то флушит только раз в таблицу

Можно хоть минимальный кейс, вроде: создаем таблицу, вешаем materialized view которое читает с kafka engine, пишем в кафку столько-то строк и получаем не то что ожидаем, ожидаемое поведение такое-то, а получаем вот это. Можно не на GitHub, а в личку

у меня в 1.1.54342 вроде норм все

В атрибутах можно добавить expression - произвольное выражение, которое вставляется в SELECT при загрузке данных. Пример: <name>EndDate</name> <expression>DATE(EndDate)</expression>

Значит ли это, что теперь пгшные массивы тоже можно более или менее нормально обрабатывать, задавая для них в expression приведение к массиву? В какой версии это появилось?

Значит ли это, что теперь пгшные массивы тоже можно более или менее нормально обрабатывать, задавая для них в expression приведение к массиву? В какой версии это появилось?

Хм, или не очень... Тип ж все равно string будет :(

Значит ли это, что теперь пгшные массивы тоже можно более или менее нормально обрабатывать, задавая для них в expression приведение к массиву? В какой версии это появилось?

Массивы в качестве значений для словарей не поддерживаются. Есть только менее эффективный способ - читать как строки, а затем преобразовывать (CAST) в массив. Но и с этим есть сложность - в том, что массивы в Postgres записываются чуть-чуть в другом виде. Если я правильно помню - в фигурных скобках.

Массивы в качестве значений для словарей не поддерживаются. Есть только менее эффективный способ - читать как строки, а затем преобразовывать (CAST) в массив. Но и с этим есть сложность - в том, что массивы в Postgres записываются чуть-чуть в другом виде. Если я правильно помню - в фигурных скобках.

Дада, я автор того issue про массивы в словарях. Увидел ключевое слово - вот и среагировал :) Если кому вдруг булет полезно: like делать быстрее, чем кастовать в массив примерно раза в два

народ, такой вопрос. а при использовании таблицы buffer может ли результат запроса отличаться от раза к разу?

у меня меняется, но у меня 3 реплики с независимыми буферами на каждой

то есть, невозможно предсказать, на какой запрос придёт инсерт и с какого буфера будет селект

ну у меня нет реплики, пока только разбираюсь

ну вот, все как в большинстве случаев. это не продукт работает не так, а руки не оттуда.. вопрос снят

подскажите, какой тип движка взять для небольшой по количеству строк таблицы (15 к примерно) но с одним тяжелым полем (SomeData строка размеров 15-30кб) где выборка по SomeID. Set вроде не подходит потому что надо селекты делать и в памяти все держать не охота. Структура такая: SomeID UInt32, SomeData String, Count UInt32

а зачем тут кликхаус?

если память не нужна, выборка по id

ну потому что данные тянутся оттуда и я не хочу в инфраструктуру еще одну базу тянуть

я думаю это архитектурный косяк

это стартап, тут все архитектурный косяк ) мне проще сделать INSERT INTO ... SELECT SomeID, SomeData FROM mainlog .... чем заниматься перекидыванием туда-сюда, тут все на ходу переделывается

а потом этот стартап с этими косяками в крупный проект вырастет

и будут люди через пару лет много разных слов про тебя говорить

дай-то бог ) сейчас мне надо быстро проверить одну гипотезу, и вот я начну ставить прогресс, разбираться как перекидывать выборки, синхронизировать, тыр-пыр.. надо из глины и палок быстро сделать )

дай-то бог ) сейчас мне надо быстро проверить одну гипотезу, и вот я начну ставить прогресс, разбираться как перекидывать выборки, синхронизировать, тыр-пыр.. надо из глины и палок быстро сделать )

https://clickhouse.yandex/docs/ru/dicts/external_dicts.html

без перекидывания туда-сюда

только "туда"

да спасибо, но я уже добавил Date и в него today() )

вам же хуже)

потом обновлять захотите ещё

а с обновлением проблем не вижу вроде бы

хотя словари поковыряю обязательно, выглядит интересно

А куда пропало видео доклада «что такое кликхаус»?

Я заметил такую штуку, что логи хочется по умолчанию сортировать в обратном порядке. А эта сортировка люто тормозит весь запрос. Есть какие-нибудь фишки, чтобы ее ускорить или по дефолту в MergeTree выставить хитрый индекс?

Я заметил такую штуку, что логи хочется по умолчанию сортировать в обратном порядке. А эта сортировка люто тормозит весь запрос. Есть какие-нибудь фишки, чтобы ее ускорить или по дефолту в MergeTree выставить хитрый индекс?

Использовать в качестве первичного ключа N-timestamp и сортировать по нему:)

N-timestamp? Я запилил обычный timestamp с миллисекундами в int64. Но вместе с ним есть ещё поля типа user ID и строка. И без сортировки 0.014ms, а с сортировкой 5s. И вот было бы круто если бы они "лежали в индексе" по убыванию даты. И выдавали те же миллисекунды, так как для логов это практически всегда самая актуальная сортировка по дефолту

N-timestamp? Я запилил обычный timestamp с миллисекундами в int64. Но вместе с ним есть ещё поля типа user ID и строка. И без сортировки 0.014ms, а с сортировкой 5s. И вот было бы круто если бы они "лежали в индексе" по убыванию даты. И выдавали те же миллисекунды, так как для логов это практически всегда самая актуальная сортировка по дефолту

Engine = MergeTree(timestamp (id), 8192) PARTITION BY toYYYYMM(timestamp) ORDER BY timestamp DESC ?

N-timestamp? Я запилил обычный timestamp с миллисекундами в int64. Но вместе с ним есть ещё поля типа user ID и строка. И без сортировки 0.014ms, а с сортировкой 5s. И вот было бы круто если бы они "лежали в индексе" по убыванию даты. И выдавали те же миллисекунды, так как для логов это практически всегда самая актуальная сортировка по дефолту

Так и я об этом)

Приветы. В какую сторону копать, т.е. есть ли встроенная фича такая: есть записи, около 20-30кк, но не так важно, надо эти записи отфильтровать по каким-либо полям и сохранить либо фильтр (как вьюшка) или сдампить в другую таблицу результат.. Задача: дать человеку доступ до определенных записей, а не до всей таблицы. Как сделать?

Загрузить в постгрес и там настроить

Приветы. В какую сторону копать, т.е. есть ли встроенная фича такая: есть записи, около 20-30кк, но не так важно, надо эти записи отфильтровать по каким-либо полям и сохранить либо фильтр (как вьюшка) или сдампить в другую таблицу результат.. Задача: дать человеку доступ до определенных записей, а не до всей таблицы. Как сделать?

Для пользователя ограничить доступ с помощью allow_databases. https://clickhouse.yandex/docs/ru/operations/access_rights.html?highlight=allow_databases Скопировать кусок исходной таблицы в отдельную таблицу в указанной базе данных.

Для пользователя ограничить доступ с помощью allow_databases. https://clickhouse.yandex/docs/ru/operations/access_rights.html?highlight=allow_databases Скопировать кусок исходной таблицы в отдельную таблицу в указанной базе данных.

Спасибо

Для пользователя ограничить доступ с помощью allow_databases. https://clickhouse.yandex/docs/ru/operations/access_rights.html?highlight=allow_databases Скопировать кусок исходной таблицы в отдельную таблицу в указанной базе данных.

Эх, на лету не сделать

Изменения должны применяться без перезагрузки - для новых пользовательских соединений.

Engine = MergeTree(timestamp (id), 8192) PARTITION BY toYYYYMM(timestamp) ORDER BY timestamp DESC ?

Очень похоже на то, что мне нужно. Большое спасибо - буду пробовать.

combot.org/chat/-1001080295593

/stat@combot

combot.org/chat/-1001080295593

https://github.com/yandex/ClickHouse/pull/1922 о, прямо исторический момент =) Clickhouse все больше избавляется от родовых травм @milovidov_an спасибо

/stat@combot

combot.org/chat/-1001080295593

combot.org/chat/-1001080295593

Важный вопрос, а движок "ReplicatedReplacingMergeTree" будет реализован или может быть уже реализован?

Давно реализован.

Пожалуйста, добавьте строчку с этим движком в документацию (https://clickhouse.yandex/docs/ru/table_engines/replication.html)

Пожалуйста, добавьте строчку с этим движком в документацию (https://clickhouse.yandex/docs/ru/table_engines/replication.html)

Это opensource, вы можете сами внести вклад )

Это opensource, вы можете сами внести вклад )

Не делал так никогда)

Надо создать fork?

и пулл-реквест

Спасибо)

Не делал так никогда)

Находим файл, нажимаем edit, вносим плавки и создаём пулл. Ребята очень активно и охотно их принимают

Находим файл, нажимаем edit, вносим плавки и создаём пулл. Ребята очень активно и охотно их принимают

Спасибо, очень здорово

гм, а какой рекоммендуемый способ запуска tabbix без выставления кликхауса голой жопой в интернет?

гм, а какой рекоммендуемый способ запуска tabbix без выставления кликхауса голой жопой в интернет?

На вскидку base_auth nginx и ограничение по IP

да хрен там, сам tabbix base auth не обучен делать

можно проксировать через жаву

tabbix же по http идет

то есть, галочка там есть, но она не работает

include credentials показывают base auth, но эти данные почему-то затем суются в ch с закономерным результатом

в общем, методом проб и ошибок установил, что надо включить pass credentials, а затем указать явно пользователя default, а также обрезать в nginx хедер Authorization: proxy_set_header Authorization "";

https конешно же?

ну да

такой вопрос когда примерно ожидать в релизе появления запросов UPDATE/DELETE ?

Доброе утро! 2 вопроса к разработчикам или опытным пользователям CH: 1) Какой тип лучше указывать для domain (динамическая длина или нет, если нет то какая используется в проектах Метрики)? Аналогично, насолько приемлимо хранить URL без указания длины? 2) Максимальный размер записи (все столбцы) около 1500 байт. Размер индекса 130 байт (не включает тектовые данные). Планируется получать данные, идущие подряд от 20 шт. Гранулированность индекса хочу задать 20 кб (всето по умолчанию 8кб). Таким образом, это должно снизить число поднимаемых кусочков, увеличить их рамзер и улучшить сжатие данных. Данный подход верный? Насколько большим можно задавать гранулированность индекса (на практике планиурется получение данных идущих подряд по 200 шт.)?

Привет всем. Кто-то знает, как заставить КХ слать короткий hostname в собственных метриках ?

Доброе утро! 2 вопроса к разработчикам или опытным пользователям CH: 1) Какой тип лучше указывать для domain (динамическая длина или нет, если нет то какая используется в проектах Метрики)? Аналогично, насолько приемлимо хранить URL без указания длины? 2) Максимальный размер записи (все столбцы) около 1500 байт. Размер индекса 130 байт (не включает тектовые данные). Планируется получать данные, идущие подряд от 20 шт. Гранулированность индекса хочу задать 20 кб (всето по умолчанию 8кб). Таким образом, это должно снизить число поднимаемых кусочков, увеличить их рамзер и улучшить сжатие данных. Данный подход верный? Насколько большим можно задавать гранулированность индекса (на практике планиурется получение данных идущих подряд по 200 шт.)?

1. String 2. 8192, насколько я помню, это не байты, а штуки строк.

1. String 2. 8192, насколько я помню, это не байты, а штуки строк.

String не фиксированный?

домен же разной длины бывает.

Почему зукипер может жаловаться что не может удалить блоки

2018-02-19 09:50:22,872 - INFO [ProcessThread(sid:2 cport:-1)::PrepRequestProcessor@651] - Got user-level KeeperException when processing sessionid:0x2618998ca66000c type:setData cxid:0x5a8aa496 zxid:0x3000003f3 txntype:-1 reqpath:n/a Error Path :/clickhouse/tables/2/events/block_numbers/201802/block-0000040761 Error:KeeperErrorCode = NoNode for /clickhouse/tables/2/ events/block_numbers/201802/block-0000040761