я тоже, но как правильно не понятно

то есть если мой сервер, на котором развернут сервер clickhouse называется server_1. то в макросе я пишу <>server_1</replica>

я тоже, но как правильно не понятно

На всех машинах должно быть разное, а IP или Hostname неважно, можно что угодно писать туда

разное оно и так будет, я к тому что туда вписывать - себя или свою реплику?

разное оно и так будет, я к тому что туда вписывать - себя или свою реплику?

пишите hostname и 100% все будет работать

чей? Свой или своей реплики?)

чей? Свой или своей реплики?)

Машины на которой конфиг

Машины на которой конфиг

верно

спасибо

Использование словарей как-то на зукипере может сказываться? Наблюдаю подозрительный скачок нагрузки и трафика на зк с момента деплоя конфига со словарем.

здравствуйте. такой вот вопрос: sumMap(k, v) в качестве k умеет работать только с интами и флоатами(по крайней мере, для 18.6.0 это так, как я экспериментальным путём выяснил). есть ли в планах расширение функционала до строк? как временное решение, сделали из строк енум, суммап его ожидаемо корректно обработал, но если нам енума не хватит, будет неприятно.

а как можно суммировать строки?

так строки и не надо. строки хотелось бы использовать в качестве ключей

Протупил, прости

Использование словарей как-то на зукипере может сказываться? Наблюдаю подозрительный скачок нагрузки и трафика на зк с момента деплоя конфига со словарем.

Нет, не должно.

здравствуйте. такой вот вопрос: sumMap(k, v) в качестве k умеет работать только с интами и флоатами(по крайней мере, для 18.6.0 это так, как я экспериментальным путём выяснил). есть ли в планах расширение функционала до строк? как временное решение, сделали из строк енум, суммап его ожидаемо корректно обработал, но если нам енума не хватит, будет неприятно.

Пока можно использовать функции хеширования для преобразования строк в Int64 и таким образом решить проблему, но, с sumMap есть еще одна фича, данные должны помещаться в память, что не всегда возможно (вот это надо править).

Пока можно использовать функции хеширования для преобразования строк в Int64 и таким образом решить проблему, но, с sumMap есть еще одна фича, данные должны помещаться в память, что не всегда возможно (вот это надо править).

вы только что натолкнули меня на мысль, что строки то у меня короткие, до 5-7 символов(утф8 правда), так что теоретически можно попробовать реинтерпретировать строку в фиксд стринг(8) а потом в инт. спасибо, добрый человек, доберусь до консоли, попробую

Стоит ли использовать ch для оперативных отчётов без агрегации с выборкой большого количества колонок с фильтрация по датам, Пробовал погираться, уперлось в memory limit, может быть есть хорошая практика как это делать или не делать.

Стоит ли использовать ch для оперативных отчётов без агрегации с выборкой большого количества колонок с фильтрация по датам, Пробовал погираться, уперлось в memory limit, может быть есть хорошая практика как это делать или не делать.

Да, просто настрйки max_bytes_before_external_sort, max_bytes_before_external_group_by и max_memory_usage_*** покрутите

Спасибо!

Всем привет. SELECT programId, countIf(windowId={know_this_value_for_each_programId}) as firstWindow, countIf(windowId={know_this_value_for_each_programId}) as lastWindow FROM smth WHERE programId IN (1,2,…) GROUP BY programId как мне подставить know_this_value_for_each_program_id? Словарь вида {programId: {‘firstWindowId’: x, ‘lastWindowId’: y}} могу составить в приложении, а дальше что? Создание временной таблицы и инсерта данных всех элементов, встречающихся в IN, при каждом селекте? Или внешний словарь? Что лучше?

подскажите плиз)

Всем привет. SELECT programId, countIf(windowId={know_this_value_for_each_programId}) as firstWindow, countIf(windowId={know_this_value_for_each_programId}) as lastWindow FROM smth WHERE programId IN (1,2,…) GROUP BY programId как мне подставить know_this_value_for_each_program_id? Словарь вида {programId: {‘firstWindowId’: x, ‘lastWindowId’: y}} могу составить в приложении, а дальше что? Создание временной таблицы и инсерта данных всех элементов, встречающихся в IN, при каждом селекте? Или внешний словарь? Что лучше?

А это не одно и то же? Как внутри работают словари?

левый график - select sum(num_parts) from system.merges правый - select count() from system.merges

Потому, что куски в партиции нужно смотреть в system.parts ;)

Например SELECT database, table, partition, COUNT() AS parts FROM system.parts WHERE active GROUP BY database, table, partition ORDER BY parts DESC LIMIT 20

Потому, что куски в партиции нужно смотреть в system.parts ;)

спасибо

LeiDruid (0) увеличил репутацию Kirill Shvakov (1)

Я почему-то думал, что эта ошибка относится к кол-ву партиций в мержах

Привет! слышал, тут отвечают на вопросы по кликхаусу. Мне надо посчитать runningDifference вместе с group by, или посчитать разницу между соседними элементами массива. Есть сейчас такая возможность? более подробно на stack overflow: https://stackoverflow.com/questions/51856397/clickhouse-running-diff-with-grouping Спасибо.

ответил на SO.

ответил на SO.

Спасибо. Скоро посмотрю.

JetBrains выкатил апдейт DataGrip с поддержкой ClickHouse! https://blog.jetbrains.com/datagrip/2018/08/15/datagrip-2018-2-2-clickhouse-support-and-bugfixes/

JetBrains выкатил апдейт DataGrip с поддержкой ClickHouse! https://blog.jetbrains.com/datagrip/2018/08/15/datagrip-2018-2-2-clickhouse-support-and-bugfixes/

Так DataGrip и так же поддерживало ClickHouse

Мы его как минимум месяца два используем

¯\_(ツ)_/¯

С нативной поддержкой синтаксиса используете, да?

Всем привет. Пытаюсь вставить несжатых данных 30гб в clickhouse через chproxy curl -XPOST -T "./db1.table2.dump" -u username:password "http://chproxy:9090/?query=INSERT%20INTO%20db1.table2%20FORMAT%20Native" chproxy возвращает DEBUG: 2018/08/16 10:18:00 proxy.go:115: [ Id: 154B3C1CDF2C71F3; User "global-writer"(1) proxying as "default"(1) to "clickhouse1:8123"(1); RemoteAddr: "192.168.1.5:45926"; LocalAddr: "192.168.1.10:9090"; Duration: 1m0.006860656s ]: request failure: non-200 status code 499; query: Не могу понять на какое ограничение натыкаюсь, данные напрямую в clickhouse льются без проблем. Может быть кто-нибудь сталкивался и сможет подсказать в какую сторону копать?

Ошибка на стороне clickhouse если заливать через chproxy: <Error> HTTPHandler: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 5. Bytes expected: 8., e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x16) [0x56d1436] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x22) [0x2db80f2] 2. /usr/bin/clickhouse-server(DB::ReadBuffer::readStrict(char*, unsigned long)+0x1c1) [0x2dc9ed1] 3. /usr/bin/clickhouse-server() [0x47bbe0c] 4. /usr/bin/clickhouse-server(DB::DataTypeString::deserializeBinaryBulk(DB::IColumn&, DB::ReadBuffer&, unsigned long, double) const+0x160) [0x47bcbb0] 5. /usr/bin/clickhouse-server(DB::NativeBlockInputStream::readData(DB::IDataType const&, DB::IColumn&, DB::ReadBuffer&, unsigned long, double)+0x113) [0x476e593] 6. /usr/bin/clickhouse-server(DB::NativeBlockInputStream::readImpl()+0x967) [0x476f2c7] 7. /usr/bin/clickhouse-server(DB::IProfilingBlockInputStream::read()+0x25a) [0x4768cfa] 8. /usr/bin/clickhouse-server(DB::InputStreamFromASTInsertQuery::readImpl()+0x28) [0x4ef3408] 9. /usr/bin/clickhouse-server(DB::IProfilingBlockInputStream::read()+0x25a) [0x4768cfa] 10. /usr/bin/clickhouse-server(DB::copyData(DB::IBlockInputStream&, DB::IBlockOutputStream&, std::atomic<bool>*)+0x81) [0x477f3d1] 11. /usr/bin/clickhouse-server(DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::function<void (std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)>)+0x1a3) [0x4ef2a53] 12. /usr/bin/clickhouse-server(DB::HTTPHandler::processQuery(Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&)+0x3147) [0x2dd2a37] 13. /usr/bin/clickhouse-server(DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)+0x248) [0x2dd4b48] 14. /usr/bin/clickhouse-server(Poco::Net::HTTPServerConnection::run()+0x332) [0x58cce02] 15. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x58c56af] 16. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x16a) [0x58c5a8a] 17. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x77) [0x5966e97] 18. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x5962d58] 19. /usr/bin/clickhouse-server() [0x938cc0f] 20. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76db) [0x7f584972d6db] 21. /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f) [0x7f5848eb488f]

Ошибка на стороне clickhouse если заливать через chproxy: <Error> HTTPHandler: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 5. Bytes expected: 8., e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x16) [0x56d1436] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x22) [0x2db80f2] 2. /usr/bin/clickhouse-server(DB::ReadBuffer::readStrict(char*, unsigned long)+0x1c1) [0x2dc9ed1] 3. /usr/bin/clickhouse-server() [0x47bbe0c] 4. /usr/bin/clickhouse-server(DB::DataTypeString::deserializeBinaryBulk(DB::IColumn&, DB::ReadBuffer&, unsigned long, double) const+0x160) [0x47bcbb0] 5. /usr/bin/clickhouse-server(DB::NativeBlockInputStream::readData(DB::IDataType const&, DB::IColumn&, DB::ReadBuffer&, unsigned long, double)+0x113) [0x476e593] 6. /usr/bin/clickhouse-server(DB::NativeBlockInputStream::readImpl()+0x967) [0x476f2c7] 7. /usr/bin/clickhouse-server(DB::IProfilingBlockInputStream::read()+0x25a) [0x4768cfa] 8. /usr/bin/clickhouse-server(DB::InputStreamFromASTInsertQuery::readImpl()+0x28) [0x4ef3408] 9. /usr/bin/clickhouse-server(DB::IProfilingBlockInputStream::read()+0x25a) [0x4768cfa] 10. /usr/bin/clickhouse-server(DB::copyData(DB::IBlockInputStream&, DB::IBlockOutputStream&, std::atomic<bool>*)+0x81) [0x477f3d1] 11. /usr/bin/clickhouse-server(DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::function<void (std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)>)+0x1a3) [0x4ef2a53] 12. /usr/bin/clickhouse-server(DB::HTTPHandler::processQuery(Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&)+0x3147) [0x2dd2a37] 13. /usr/bin/clickhouse-server(DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)+0x248) [0x2dd4b48] 14. /usr/bin/clickhouse-server(Poco::Net::HTTPServerConnection::run()+0x332) [0x58cce02] 15. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x58c56af] 16. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x16a) [0x58c5a8a] 17. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x77) [0x5966e97] 18. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x5962d58] 19. /usr/bin/clickhouse-server() [0x938cc0f] 20. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76db) [0x7f584972d6db] 21. /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f) [0x7f5848eb488f]

похоже на какую-то ошибку формата передачи данных. можно попробовать сделать tcpdump и посмотреть wireshark-ом разницу между вставкой через прокси и напрямую. Выглядит так, что кликхаус ждет больше данных, чем ему передали

Господа, подскажите пожалуйста где и в каком формате кликхаус хранит словари

не конфиги, а сами данные, которые он засинкал уже

В памяти вообще то

нет ли способа проверить по определенному айдишнику наличие записи в словаре?

https://clickhouse.yandex/docs/ru/query_language/functions/ext_dict_functions/#dicthas

Спасибо

нет ли способа проверить по определенному айдишнику наличие записи в словаре?

create database dictionaries ENGINE = Dictionary, потом заселектить из таблицы

2018.08.05 05:18:34.078510 [ 4 ] <Error> ServerErrorHandler: Poco::Exception. Code: 1000, e.code() = 11, e.displayText() = Timeout, e.what() = Timeout

кто-нибудь встречал такую ошибку?

Всем привет! Подскажите, пожалуйста, как Кликхаус определят живость реплики? Можно ли как-то тюнить это процесс?

Всем привет! Подскажите, пожалуйста, как Кликхаус определят живость реплики? Можно ли как-то тюнить это процесс?

Можно настроить отставание в секундах для distributed запросов, а так смотрит на флажек в ZK при кворумной вставке и на лаг для distributed запросов если он выставлен

Добрый день! А возможно ли как-то передать сохранённый в текстовом файле запрос в командную строку?

Вместо clickhouse-client --query="SELECT shell, count() AS c FROM passwd GROUP BY shell ORDER BY c DESC", например, clickhouse-client --e query.txt

Вместо clickhouse-client --query="SELECT shell, count() AS c FROM passwd GROUP BY shell ORDER BY c DESC", например, clickhouse-client --e query.txt

cat filename возможно поможет

Можно ли как-нибудь вручную вызвать обновленние словарей?

Можно ли как-нибудь вручную вызвать обновленние словарей?

system reload dictionaries

огромное спасибо

Можно настроить отставание в секундах для distributed запросов, а так смотрит на флажек в ZK при кворумной вставке и на лаг для distributed запросов если он выставлен

А как вообще определятся что реплика доступна на чтение при дистрибьютед запросах? Ноды кх как-то пингуют друг друга?

Что должно произойти, чтобы реплика была исключена из списка "живых"?

А как вообще определятся что реплика доступна на чтение при дистрибьютед запросах? Ноды кх как-то пингуют друг друга?

Сервер просто ретраит запросы

Можно ли как-нибудь вручную вызвать обновленние словарей?

system reload dictionary ddddd; или все сразу system reload dictionaries;

спасибо

ну или touch dddd.xml

Сервер просто ретраит запросы

Моя не понимат) Есть какой-то таймаут на коннект или на выполнение запроса после которого запрос пойдет на другую реплику?

а chproxy не умеет вести access log?

Моя не понимат) Есть какой-то таймаут на коннект или на выполнение запроса после которого запрос пойдет на другую реплику?

Вот тут всё есть https://github.com/yandex/ClickHouse/blob/d8ca4345b62afd2be166a430c5c136960eca5baf/dbms/src/Interpreters/ClusterProxy/SelectStreamFactory.cpp ;)

Вот тут всё есть https://github.com/yandex/ClickHouse/blob/d8ca4345b62afd2be166a430c5c136960eca5baf/dbms/src/Interpreters/ClusterProxy/SelectStreamFactory.cpp ;)

Ох, я опасался такой ссылки, спасибо)

Еще проверял Pentaho, не работает по тем же причинам

Можно подробности получить? У меня получилось заставить работать как оперативные отчеты так и MDX, так же удалось подцепить query designer, schema workbench

Тестирую на тестовых данных, результат агрегации в Pivot4j сходится с результатами из консоли

Может кто-то объяснить про internal_replication ? Из документации не очень ясно

Можно подробности получить? У меня получилось заставить работать как оперативные отчеты так и MDX, так же удалось подцепить query designer, schema workbench

Деталей я не помню уже, помню что ни один инструмент по итогу не заработал. Может что-то с тех пор поменялось в кх или пентахо? Как настраивал? Были танцы с бубном?

Может кто-то объяснить про internal_replication ? Из документации не очень ясно

Для distributed таблиц значит что нужно ли им самим писать во все реплики или в кластере или достаточно в одну т.к. та реплицируется сама. Плюс примерно тоже самое для ALTER TABLE ON CLUSTER X

ну вот у меня create table расбрасывается по всем нодам класетера без этой опции, а вот alter работает на всех только при включенной опции <internal_replication>true</internal_replication>

ну вот у меня create table расбрасывается по всем нодам класетера без этой опции, а вот alter работает на всех только при включенной опции <internal_replication>true</internal_replication>

ДА

учитывая что машин в кластере может быть много и они могут добавляться, почему по умолчанию эта опция выключена? Это же чертовски удобно

учитывая что машин в кластере может быть много и они могут добавляться, почему по умолчанию эта опция выключена? Это же чертовски удобно

Потому, что это афектит запись в distributed таблицы, а шардов не так много и можно на каждом альтер забубенить

т.е. лучше ее выключенной держать?

да

ясно. Спасибо

если пишите в distributed и под ней лежат реплицируемые таблицы

Тут статью в википедии собираются удалять https://ru.wikipedia.org/wiki/Википедия:К_удалению/15_августа_2018#ClickHouse

Тут статью в википедии собираются удалять https://ru.wikipedia.org/wiki/Википедия:К_удалению/15_августа_2018#ClickHouse

Кто-нибудь в курсе как этому можно помешать?

Поробовать залогиниться и оставить коментарий