Хотелось бы вытащить JSON в виде строки

Хотелось бы вытащить JSON в виде строки

Строки из таблицы, представленные в виде JSON?

В общем, jdbc вам такое не даст

В общем, jdbc вам такое не даст

ок, понял, спасибо за ответ!

Если только вы не сформируете руками в запросе json (что довольно нелепо)

Приветствую. Подскажите пожалуйста, как правильно делать перешардирование кластера? пробовал через alter table tablename reshard … пишет что не что такое reshard

Добрый день, помогите пожалуйста пытаюсь создать таблицу из select-а CREATE TABLE testTable ENGINE = ENGINE AS SELECT CAST(now(), 'Date'), TimeF, SumBytes, dictGetString('GEOIP', 'Owner', tuple(IPv4StringToNum(DSTIP))) AS Owner, dictGetString('GEOIP', 'ASN', tuple(IPv4StringToNum(DSTIP))) AS ASN FROM ( SELECT toStartOfHour(TimeFlow) AS TimeF, sum(Bytes) AS SumBytes, DstIP AS DSTIP, SrcIP AS SRCIP FROM flow WHERE (CAST(TimeFlow, 'DateTime') >= CAST('2018-10-09 12:00:00', 'DateTime')) AND (CAST(TimeFlow, 'DateTime') <= CAST('2018-10-09 12:10:00', 'DateTime')) GROUP BY toStartOfHour(TimeFlow), DstIP, SrcIP ) Received exception from server (version 18.10.3): Code: 56. DB::Exception: Received from 0.0.0.0:9000. DB::Exception: Unknown table engine ENGINE.

> DB::Exception: Unknown table engine ENGINE может, в этом дело?

ENGINE = ENGINE

да, говорит что нет такого engine но по документации CREATE [TEMPORARY] TABLE [IF NOT EXISTS] [db.]name ENGINE = engine AS SELECT ...

вместо = Engine надо подставить значение одного из движков

https://clickhouse.yandex/docs/ru/operations/table_engines/

https://clickhouse.yandex/docs/ru/operations/table_engines/

Большое спасибо заработало !)

да, говорит что нет такого engine но по документации CREATE [TEMPORARY] TABLE [IF NOT EXISTS] [db.]name ENGINE = engine AS SELECT ...

если вы хотите наследовать движок то это не работает для запросов, только для таблиц

если вы хотите наследовать движок то это не работает для запросов, только для таблиц

Ок, буду знать, большое спасибо!

Подскажите пожалуйста, правильно ли я понимаю что сейчас нет возможности шардирования текущий таблиц, только через создание новых таблиц?

Нужно создать таблицу с движком Distribited от существующих таблиц, это и будет шардированная таблица по идее

прошу прощения не так выразился, перешардирование текущий таблиц интересует

Если подумать то перешардирование - это delete + insert. Вряд ли кликхаус такое автоматически делает

ну как минимум какое то время назад делал ?

судя по документации на readthedocs.io

Ну там все плохо и криво

Тут проще в дистрибьютед писать только в новую

понятно, ну не сильно проще, места нужно х2 временно (

прошу прощения не так выразился, перешардирование текущий таблиц интересует

Есть вот такая штука https://clickhouse.yandex/docs/ru/single/#clickhouse-copier

Да, видел, но на сколько я понимаю там схема такая же, старая и новая таблицы и данные просто переливаются

Да, видел, но на сколько я понимаю там схема такая же, старая и новая таблицы и данные просто переливаются

Можете руками при желании сделать чтоб места не х2 требовалось

День добрый, подскажите правильно ли я понимаю, что данные в таблице CollapsingMergeTree будут самостоятельно (в недетерменированное время) очищаться и только по одинаковым первичным ключам т.е. если прочии поля не входящие в первичный ключ будут различны, то это не будет учитываться? Ну и традиционный вопрос (может уже что-то поменялось) как ускорить процесс схлопывания данных?

День добрый, подскажите правильно ли я понимаю, что данные в таблице CollapsingMergeTree будут самостоятельно (в недетерменированное время) очищаться и только по одинаковым первичным ключам т.е. если прочии поля не входящие в первичный ключ будут различны, то это не будет учитываться? Ну и традиционный вопрос (может уже что-то поменялось) как ускорить процесс схлопывания данных?

Тут нет правильного ответа, нас устраивает что они периодически схлопываются, в некоторых случаях мы используем FINAL, но это "дорого"

Ребята подскажите а с чем может быть связано 2018.10.09 15:51:24.839084 [ 1735155 ] <Error> ServerErrorHandler: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 37. Bytes expected: 110., e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x16) [0x56d06c6] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x22) [0x2da2d92] 2. /usr/bin/clickhouse-server(DB::ReadBuffer::readStrict(char*, unsigned long)+0x1c1) [0x2db4bc1] 3. /usr/bin/clickhouse-server(DB::readStringBinary(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&, DB::ReadBuffer&, unsigned long)+0x59) [0x2db4d89] 4. /usr/bin/clickhouse-server(DB::TCPHandler::receiveHello()+0x3b0) [0x2dacc80] 5. /usr/bin/clickhouse-server(DB::TCPHandler::runImpl()+0x1ab) [0x2daf6db] 6. /usr/bin/clickhouse-server(DB::TCPHandler::run()+0x2b) [0x2db07ab] 7. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x58c510f] 8. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x16a) [0x58c54ea] 9. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x77) [0x59668f7] 10. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x59627b8] 11. /usr/bin/clickhouse-server() [0x930310f] 12. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76db) [0x7f6e420506db] 13. /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f) [0x7f6e417d788f]

Сингл хост без кластера, шардов и прочего

Ну какие то данные у вас поломаны

Ну какие то данные у вас поломаны

Как идентифицировать и как лечить?

Всем привет! От чего зависит скорость репликации и можно ли на нее влять? История такая: графана балансирует и попадает в разные метрики, так иногда график показывает данные пришедшие в текущую минуту , а иногда - нет, причем , данные "пропадают", или репликация "синхронна" и я копаю не там ?

Ну тут возможны проблемы с процом диском памятью ,

Всем привет! От чего зависит скорость репликации и можно ли на нее влять? История такая: графана балансирует и попадает в разные метрики, так иногда график показывает данные пришедшие в текущую минуту , а иногда - нет, причем , данные "пропадают", или репликация "синхронна" и я копаю не там ?

Репликация асинхронна, графана у меня обычно если не брать последнюю минуту показывает одно и тоже

Как идентифицировать и как лечить?

Проблемы описал выше идентифицировать читая все логи и дмесг плюс провести тесты

Проблемы описал выше идентифицировать читая все логи и дмесг плюс провести тесты

а сами сталкивались или это на уровне - читайте логи?

Ребята подскажите а с чем может быть связано 2018.10.09 15:51:24.839084 [ 1735155 ] <Error> ServerErrorHandler: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 37. Bytes expected: 110., e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x16) [0x56d06c6] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x22) [0x2da2d92] 2. /usr/bin/clickhouse-server(DB::ReadBuffer::readStrict(char*, unsigned long)+0x1c1) [0x2db4bc1] 3. /usr/bin/clickhouse-server(DB::readStringBinary(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&, DB::ReadBuffer&, unsigned long)+0x59) [0x2db4d89] 4. /usr/bin/clickhouse-server(DB::TCPHandler::receiveHello()+0x3b0) [0x2dacc80] 5. /usr/bin/clickhouse-server(DB::TCPHandler::runImpl()+0x1ab) [0x2daf6db] 6. /usr/bin/clickhouse-server(DB::TCPHandler::run()+0x2b) [0x2db07ab] 7. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x58c510f] 8. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x16a) [0x58c54ea] 9. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x77) [0x59668f7] 10. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x59627b8] 11. /usr/bin/clickhouse-server() [0x930310f] 12. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76db) [0x7f6e420506db] 13. /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f) [0x7f6e417d788f]

Кто-нибудь сталкивался с подобной проблемой? Если да то как побороли?

а сами сталкивались или это на уровне - читайте логи?

Ну про такое тут писали и раньше, вывод сделан логично, у меня проблем с диском памятью и процом не наблюдается

Ну а побороли это из разряда поменяли диск проц или битую память

Ребята подскажите а с чем может быть связано 2018.10.09 15:51:24.839084 [ 1735155 ] <Error> ServerErrorHandler: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 37. Bytes expected: 110., e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x16) [0x56d06c6] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x22) [0x2da2d92] 2. /usr/bin/clickhouse-server(DB::ReadBuffer::readStrict(char*, unsigned long)+0x1c1) [0x2db4bc1] 3. /usr/bin/clickhouse-server(DB::readStringBinary(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&, DB::ReadBuffer&, unsigned long)+0x59) [0x2db4d89] 4. /usr/bin/clickhouse-server(DB::TCPHandler::receiveHello()+0x3b0) [0x2dacc80] 5. /usr/bin/clickhouse-server(DB::TCPHandler::runImpl()+0x1ab) [0x2daf6db] 6. /usr/bin/clickhouse-server(DB::TCPHandler::run()+0x2b) [0x2db07ab] 7. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x58c510f] 8. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x16a) [0x58c54ea] 9. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x77) [0x59668f7] 10. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x59627b8] 11. /usr/bin/clickhouse-server() [0x930310f] 12. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76db) [0x7f6e420506db] 13. /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f) [0x7f6e417d788f]

Он у вас на хендшейке не смог прочитать ответ клиента, что вы конкретно делаете? Что за сервер/клиент?

Он у вас на хендшейке не смог прочитать ответ клиента, что вы конкретно делаете? Что за сервер/клиент?

Сервер 18.10.3

а клиент - надо уточнить. Мы коннектимся через несколько клиентов.

А есть рекомендации по версионности?

Вот, кто -то там сбоит у вас, ищите того кто через нативный ходит

А есть рекомендации по версионности?

Есть, проверяйте все и если у вас все работает - это ваша версия )

Вот, кто -то там сбоит у вас, ищите того кто через нативный ходит

Спасибо ! как говорится, ""будем искать"

Всем привет! Кто-нибудь может подсказать как при группировке выводить только группы из топ-K?

Есть ли в КХ какой-то подход, позволяющая выполнять select into outfile для нескольких идентичных по структуре таблиц, чтобы на выходе был один файл?

сделайте таблицу Merge на эти таблицы и из нее делайте селект

сделайте таблицу Merge на эти таблицы и из нее делайте селект

Круто, похоже, то, что нужно. Если с Distributed заведётся - вообще отлично)

а можно ли как-то сделать цепочку из mat view, чтобы они триггерили друг друга по очереди?

Всем привет! Кто-нибудь может подсказать как при группировке выводить только группы из топ-K?

Having?

Having?

Как он поможет?

В условии группировки указать выводить только топ к

В условии группировки указать выводить только топ к

И что это за условие такое? Я же не знаю границу отсечения. Она в каждой группе разная.

И что это за условие такое? Я же не знаю границу отсечения. Она в каждой группе разная.

Тогда вычисляйте подзапрсом, можно сделать сложный in (a,b) in subselect, только кх напряжется нкмного

Кажется это нельзя подзапросом сделать.

как тогда хотите что бы кх показал то что нельзя вычислить?

У меня есть колонки, допустим date и user_agent, я делаю по ним group by и считаю какую нибудь метрику. Мне нужно вывести топ 5 user_agent для каждого дня на основе этой метрики.

Order by count desc limit 5

LImit 5 ограничит число строк до 5 при выводе. А мне надо ограничить внутри каждой группы только.

limit 5 by group_id

Что делает LIMIT BY?

В доках не нашел что то описание

ограничивает внутри каждой группы?

select v,g from ( select 1 v,1 g union all select 2 v,1 g union all select 1 v,2 g ) order by g,v limit 1 by g

По первому столбцу он ограничил, передаю первый и второй — не ограничвает.

По первому столбцу он ограничил, передаю первый и второй — не ограничвает.

я не распарсил

А все, я разобрался. Спасибо!

а можно ли как-то сделать цепочку из mat view, чтобы они триггерили друг друга по очереди?

какая вообще глубина вложенности у них?

какая вообще глубина вложенности у них?

нельзя, нулевая глубина. mat view срабатывает на insert, вешайте все MV на основную таблицу, в которую идет вставка.

ясно, спасибо

Привет, создал 2 таблицы с движками ReplicatedMergeTree('/clickhouse/tables/01/hits', 'wikistat', date, (path, time), 8192) ReplicatedMergeTree('/clickhouse/tables/02/hits', 'wikistat', date, (path, time), 8192) но данные не реплецируются ( В чем может быть проблемма?

так у вас разные шарды 01 02

а должны быть одинаковые

а викистат должны быть разные имена

"дебиановский пакет кликхауса сделан так, что не работает в докере, убунтовский работает." - о как

удалите и пересоздайте

наткнулись тут на EPERM при запуске в ci

Друзья, нужна помощь! Хотим для синхронизации данных сервера clickhouse copier. Не знаем куда правильно будет файл zookeeper.xml. Рядом с обычным конфигом xml в папке clickhouse server? Подскажите плез

удалите и пересоздайте

все равно пусто

как создали то ?

ReplicatedMergeTree('/clickhouse/tables/01/wikistat', 'wikistat01', date, (path, time), 8192) ReplicatedMergeTree('/clickhouse/tables/01/wikistat', 'wikistat02', date, (path, time), 8192)

Друзья, нужна помощь! Хотим для синхронизации данных сервера clickhouse copier. Не знаем куда правильно будет файл zookeeper.xml. Рядом с обычным конфигом xml в папке clickhouse server? Подскажите плез

https://www.altinity.com/blog/2018/8/22/clickhouse-copier-in-practice — там есть примеры и объяснения

Друзья, нужна помощь! Хотим для синхронизации данных сервера clickhouse copier. Не знаем куда правильно будет файл zookeeper.xml. Рядом с обычным конфигом xml в папке clickhouse server? Подскажите плез

а зачем вам копир ? кх из коробки умеет в репликейтер мерджтри репликцию

ReplicatedMergeTree('/clickhouse/tables/01/wikistat', 'wikistat01', date, (path, time), 8192) ReplicatedMergeTree('/clickhouse/tables/01/wikistat', 'wikistat02', date, (path, time), 8192)

смотрите логи кх

зукипер кластер надеюсь у вас один ?

Реплики таблиц отображаются, но данные между ними не реплицируются(не переливаются), смотрели

ну значит у вас у каждого свой зукипер

Да, так и есть. Но с одним зукипером у нас в принципе тогда нифига не отображается