Здравствуйте! Проблема с запросом в БД. При увеличении диапазона, количество записей выдает меньше Может это связано с типом столбца Float? Как можно решить данную проблему. Between тоже не помогает

/stat@combot

combot.org/chat/-1001080295593

Забавно)

А сколько rows processed во втором случае?

таблица реплицирована? может, второй запрос уходит на реплику, куда еще недолились данные?

Столбец x входит в первичный ключ?

И какой у него тип?

во стором случае processed 47.06

да, столбец входит в первичный ключ тип x Float64

таблица нереплецированная

Я как раз вчера исправил неприятный баг - сравнения с float-первичным ключом работали неверно. Правда, в случае с Float64 он не должен проявляться, только с Float32...

/stat@combot

combot.org/chat/-1001080295593

/stat@combot

combot.org/chat/-1001080295593

combot.org/chat/-1001080295593

Ребята, не пойму куда копать. Все работало прекрасно, а сейчас вставка работает катастрофически медленно. Через клиента 74 СЕКУНДЫ! на одну строку. Таблица в которую делаю вставку - не реплицированная, но рядом есть реплицированные. В логах такое: 2017.05.25 11:47:50.085540 [ 24 ] <Error> void DB::StorageReplicatedMergeTree::queueUpdatingThread(): Code: 287, e.displayText() = DB::Exception: Unknown ReplicatedMergeTreeLogEntry format version: 4, e.what() = DB::Exception, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x1e6eab6] 1. clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1f) [0x10be16f] 2. clickhouse-server(DB::ReplicatedMergeTreeLogEntryData::readText(DB::ReadBuffer&)+0xd5b) [0x1fc5eab] 3. clickhouse-server(DB::ReplicatedMergeTreeLogEntry::parse(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, Stat const&)+0x152) [0x1fc61f2] 4. clickhouse-server(DB::ReplicatedMergeTreeQueue::pullLogsToQueue(std::shared_ptr<zkutil::ZooKeeper>, std::shared_ptr<Poco::Event>)+0xe0c) [0x1fcee4c] 5. clickhouse-server(DB::StorageReplicatedMergeTree::pullLogsToQueue(std::shared_ptr<Poco::Event>)+0x60) [0x1f32ad0] 6. clickhouse-server(DB::StorageReplicatedMergeTree::queueUpdatingThread()+0x64) [0x1f34f74] 7. clickhouse-server() [0x36c3daf] 8. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7fa3a205e6ba] 9. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7fa3a167f82d] Вставка идет именно в MergeTree. В логах ошибки про ReplicatedMergeTree

Select прекрасно работает

Всем привет! Есть таблица с полями ts, name, amount. Нужно сделать запрос на сумму по amount за последнюю неделю с гранулярностью 15 минут. причем в некоторых интервалак может не быть данных и должна быть строка с 0 и временем интервала, как сделать??

кажется вы это спрашивали вчера. а, может не быть данных. тогда надо left join

Ребята, не пойму куда копать. Все работало прекрасно, а сейчас вставка работает катастрофически медленно. Через клиента 74 СЕКУНДЫ! на одну строку. Таблица в которую делаю вставку - не реплицированная, но рядом есть реплицированные. В логах такое: 2017.05.25 11:47:50.085540 [ 24 ] <Error> void DB::StorageReplicatedMergeTree::queueUpdatingThread(): Code: 287, e.displayText() = DB::Exception: Unknown ReplicatedMergeTreeLogEntry format version: 4, e.what() = DB::Exception, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x1e6eab6] 1. clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1f) [0x10be16f] 2. clickhouse-server(DB::ReplicatedMergeTreeLogEntryData::readText(DB::ReadBuffer&)+0xd5b) [0x1fc5eab] 3. clickhouse-server(DB::ReplicatedMergeTreeLogEntry::parse(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, Stat const&)+0x152) [0x1fc61f2] 4. clickhouse-server(DB::ReplicatedMergeTreeQueue::pullLogsToQueue(std::shared_ptr<zkutil::ZooKeeper>, std::shared_ptr<Poco::Event>)+0xe0c) [0x1fcee4c] 5. clickhouse-server(DB::StorageReplicatedMergeTree::pullLogsToQueue(std::shared_ptr<Poco::Event>)+0x60) [0x1f32ad0] 6. clickhouse-server(DB::StorageReplicatedMergeTree::queueUpdatingThread()+0x64) [0x1f34f74] 7. clickhouse-server() [0x36c3daf] 8. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7fa3a205e6ba] 9. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7fa3a167f82d] Вставка идет именно в MergeTree. В логах ошибки про ReplicatedMergeTree

Это происходит, если одну реплику обновить до свежей версии, а другую - нет. В этом случае репликация не работает и данные не мержатся. Надо обновить оставшиеся реплики - тогда данные дореплицируются и всё будет Ок.

Это происходит, если одну реплику обновить до свежей версии, а другую - нет. В этом случае репликация не работает и данные не мержатся. Надо обновить оставшиеся реплики - тогда данные дореплицируются и всё будет Ок.

Так я вставляю в обычную таблицу, не реплицируемую

Версии серверов одинаковы в любом случае на обоих репликах. На втором сервере даже нет такой базы.

Всем привет! Есть таблица с полями ts, name, amount. Нужно сделать запрос на сумму по amount за последнюю неделю с гранулярностью 15 минут. причем в некоторых интервалак может не быть данных и должна быть строка с 0 и временем интервала, как сделать??

например так SELECT number, sum(v) FROM ( SELECT number FROM system.numbers WHERE (number % 15) = 0 LIMIT 4 ) ANY LEFT JOIN ( SELECT number, 1 AS v FROM system.numbers WHERE ((number % 15) = 0) AND (number NOT IN (15, 45)) LIMIT 4 ) USING (number) GROUP BY number ORDER BY number ASC

Это происходит, если одну реплику обновить до свежей версии, а другую - нет. В этом случае репликация не работает и данные не мержатся. Надо обновить оставшиеся реплики - тогда данные дореплицируются и всё будет Ок.

Да, на самом деле версии серверов разные оказались. Но ведь я вставлял в обычную таблицу, не реплицируемую. Единственный момент, что названия таблиц одинаковые, только базы разные. Server1: dev.table1 (not replicated) dev.table2 (not replicated) prod.table1 (replicated) prod.table2 (replicated) Server2: prod.table1 (replicated) prod.table2 (replicated) Вставляю на dev.table1

Может причина в этом: CREATE TABLE prod.table1 ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/table1', {replica} ... CREATE TABLE dev.table1 ENGINE = MergeTree(.. Имена таблиц одинаковы.

всем привет! у меня проблема с материализованным представлением. обновились данные в исходной таблице, используется в запросе для представления. само представление осталось без изменений. Как его заставить пересчитаться?

А как у вас изменились данные?

изменился атрибут в справочнике

всем привет! у меня проблема с материализованным представлением. обновились данные в исходной таблице, используется в запросе для представления. само представление осталось без изменений. Как его заставить пересчитаться?

пересоздать с указанием POPULATE

это очень тяжелый способ...

получается, данные в мат. представлении никогда не обновляются?

ну да. Они туда кладутся только.

P.S. Если я не прав и такое уже возможно. Тагните меня плз в ответе!)

печаль

У мат вью основной кейс как я понял по доке это слушать таблицу с сырыми данными и агрегировать их на лету например.

Для случая когда нужны и агрегаты и сырые данные

но при этом "Например, при наличии GROUP BY, данные будут агрегироваться при вставке, но только в рамках одной пачки вставляемых данных."...

Версии серверов одинаковы в любом случае на обоих репликах. На втором сервере даже нет такой базы.

Проверьте количество реплик и их очереди с помощью SELECT * FROM system.replicas Посмотрите на множество реплик в ZK в ноде replicas. Иногда бывает так, что есть реплики, про которые забыли.

Прочитал ниже, что уже разобрались.

Может причина в этом: CREATE TABLE prod.table1 ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/table1', {replica} ... CREATE TABLE dev.table1 ENGINE = MergeTree(.. Имена таблиц одинаковы.

Имена таблиц никак не зависят от пути в ZK (который для удобства может содержать в себе имя таблицы).

как сложить 2 DateTime, делаю так toDateTime('2016-06-15 23:00:00') + toDateTime(number) ошибка DB::Exception: Illegal type DateTime of second argument of function plus.

Можно складывать DateTime с числом секунд.

спасибо!!

Вопрос: я правильно понимаю что нет ни одного поколоночного формата для вставки кроме native? (Который не рекомендуется)

Да. Native уже можно рекомендовать, так как он используется некоторыми драйверами для C++, Go, .Net, Python, R. Совместимость гарантируется. Фразу про не рекомендуется можно убрать.

Спасибо.

Вопрос: я правильно понимаю что нет ни одного поколоночного формата для вставки кроме native? (Который не рекомендуется)

Поколоночная вставка? А можно поподробнее?

Поколоночная вставка? А можно поподробнее?

Не очень уверен про КХ, но смысл в том, что данные передаются в формате: колонка1: массив1 данных; колонка2: массив2 и ТД => для вставки не надо делать flip, а по сути достаточно одного memcpy

@milovidov_an Алексей, а нету планов сделать нэтив / официальную либо для С++?

по-моему к официальной либе для С++ ближе всего artpaul )

текущая вполне спарвляется с задачей, но есть несколько неприятных бажков и хочется оптимизации без выделения памяти на каждом шагу:(

А он тут есть? :)

затяните его)

затяните его)

Я не знаю что такое с artpaul, но мой клиент на нём тормозит жутко. 20 вставок в секунду.

Не думаю что проблема на стороне КХ

у меня вроде около 200 вставок, но есть жалобы на потерю данных :/

хз на чьей они стороне вот, вряд ли на кликхаусе

Жалобы на клиент https://github.com/artpaul/clickhouse-cpp ?

угумс:(

Ну, просто учитывая 6000 простым post'ом, начинает казаться что что-то с клиентом не то.

cамое вот страшное вот это https://github.com/artpaul/clickhouse-cpp/issues/18

приложение разносит вдребезги при перезапуске CH демона + подозрения на потери данных где-то перед вставкой

Можно писать в личку @artmkin Этот драйвер разрабатывается независимо, в свободное время.

И, я может не понял, но почему там в коде делается insert values ? Хотя навеоное просто не понимаю.

там нужно собирать столбцы данных

имя - aaa, bbb, ccc

возраст - 11, 22, 44

и потом инсертом вгонять в базу

А это норм? Я просто для понимания. Немного смущает.

не, оно работает - это железно

не, оно работает - это железно

Всё равно не понимаю

echo 'INSERT INTO t VALUES (1),(2),(3)' | POST 'http://localhost:8123/'

ну вот пример из документации

Так это не нативный формат, хотя и формирования строки под values я там с ходу не обнаружил.

не, там дальше идет вставка блоками

// TODO check connection

не хватает только вот этой штуки :)

Для нативного протокола, отправляется запрос INSERT без данных. Затем отдельными блоками - данные в родном формате.

Т.е. в данном примере values просто игнорируется? Тогда всё логично.

Values на скрине это кусок запроса

Values на скрине это кусок запроса

Понял.

Я как раз вчера исправил неприятный баг - сравнения с float-первичным ключом работали неверно. Правда, в случае с Float64 он не должен проявляться, только с Float32...

так что посоветуете? Хранить данные в float32 и Обновить clickhouse?

Как раз со столбцом Float64 проблемы быть не должно. Вы точно уверены, что столбец типа Float64?

ого..не float64, a float32

Вы правы

обновление clickhouse решить проблему? Или лучше float64 использовать

Фикс пока не в релизе. В качестве временного решения можно обернуть float-литералы в toFloat32: x < toFloat32(63.58). Так должно работать.