короче из за тго что у ipv4numtostring и ipv6numtostring разные аргументы не удонбого оба хранить в fixedstring

Как понять в FixedString 16 ipv6 или ipv4 ?

по умолчанию все ipv4 мапятся в ipv6 с такой маской - ::ffff:xxxx:xxxx

тоесть хранить ipv4 вообще не нужно, храним все в ipv6 а то что это именно ipv4 понимаем по ::ffff:

так мы обсуждали fixedString ) для хранения айпишников) на самом деле функций особо нет потому можно string хранить

и перед этим v4 в v6 конвертить

Добрый день. Еслить ли разница в запросе SELECT count() для MergeTree таблицы и для MATERIALIZED VIEW MergeTree

выглядит так, что для таблицы count() считается с разреженного индекса, а для materialized view с какой-то из колонок

если для таблицы сделать SELECT count(id) то скорость выполнения, и прочитанные объё данных становится похожим с SELECT count() для materialized view. Размеры таблицы и представления соизмеримы, 5 и 6 миллиардов

Подскажите возможно поменять адреса zookeeper-ов в конфигах clickhouse без перезагрузки сервера?

нет

Добрый день, подскажите пожалуйста, можно ли изменить партиционирование таблици MergeTree с YYYYMM на YYYYMMDD? Заранее благодарю!

Нет

Добрый день, подскажите пожалуйста, можно ли изменить партиционирование таблици MergeTree с YYYYMM на YYYYMMDD? Заранее благодарю!

Мы создавали новую таблицу с нужным партиционированием и делали insert select. Затем заменяли старую на новую.

спасибо за оперативность, просто у меня очень много записей и они не поместятся в диске если их продублировать, а alter delete where-ом не работат(

переливайте по частям

Много записей в одной партиции? Если раскиданы по месяцам то переливайте по месяцу и удаляйте партицию

спасибо за оперативность, просто у меня очень много записей и они не поместятся в диске если их продублировать, а alter delete where-ом не работат(

Работает

Много записей в одной партиции? Если раскиданы по месяцам то переливайте по месяцу и удаляйте партицию

да в одной партиции около 400gb в месяц

Работает

у меня возврашает "ОК" но данные не удаляются

Ну у вас место свободное есть для мутации?

Должно быть 2х партиции в которой проходит мутация

Ну у вас место свободное есть для мутации?

к сожалению нет ((

Ну тогда мутация не сможет запуститься

А что вам мешает дроп партиции старой сделать

Добрый день, подскажите пожалуйста можно ли как-то вывести into outfile ... format CSV без двойных ковычек?

А что вам мешает дроп партиции старой сделать

у меня места только на месяц )). Спасибо большое! Попробую агрегировать

ну это вы маху дали ))) нынче же диски довольно большие , я уж на серверах меньше 2 тб особо не встречал много лет

ну это вы маху дали ))) нынче же диски довольно большие , я уж на серверах меньше 2 тб особо не встречал много лет

точно, плохой расчет ))

ну это вы маху дали ))) нынче же диски довольно большие , я уж на серверах меньше 2 тб особо не встречал много лет

Везет =)

Имеется проблема с установкой старых версий КХ, т.к некоторые пакеты имеют новую версионность root@ch1:~# apt-get install clickhouse-client=1.1.54390 clickhouse-server=1.1.54390 Reading package lists... Done Building dependency tree Reading state information... Done Some packages could not be installed. This may mean that you have requested an impossible situation or if you are using the unstable distribution that some required packages have not yet been created or been moved out of Incoming. The following information may help to resolve the situation: The following packages have unmet dependencies: clickhouse-client : Depends: clickhouse-common-static (= 1.1.54390) but 18.14.8 is to be installed or clickhouse-server-base (= 1.1.54390) clickhouse-server : Depends: clickhouse-common-static (= 1.1.54390) but 18.14.8 is to be installed E: Unable to correct problems, you have held broken packages.

apt-get install clickhouse-client=1.1.54390 clickhouse-server=1.1.54390 clickhouse-common-static=1.1.54390

apt-get install clickhouse-client=1.1.54390 clickhouse-server=1.1.54390 clickhouse-common-static=1.1.54390

Да, так поставилось, спасибо. Почему apt-get сразу не подхватывает версии, раз они есть в репе ?

потому что он туповат, бывает aptitude умеет разрулить

нынче в моде просто apt install

он такой-же тупой как и apt-get

Да, так поставилось, спасибо. Почему apt-get сразу не подхватывает версии, раз они есть в репе ?

скорее всего репозиторию и/или паетам зарезаны приоритеты

apt-get policy покажет что к чему

Приветствую всех. а как то можно в кликхаусе собрать в массив значения относящиеся к одной группе? в постгресе вот так писал: select date, array_agg(id) from t group by date

groupArray

Привет. Обновил официальный докер контейнер с 18.10. до 18.14.8 Получил такую ошибку при старте контейнера: clickhouse-1-1[840]: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = File not found: ${CLICKHOUSE_CONFIG}, e.what() = File not found CLICKHOUSE_CONFIG устанавливается в Dockerfile, и вроде не должно ломаться в этом месте. Хочу понять, есть ли еще у кого-то подобное, или это мои локальные аномалии.

Привет. Обновил официальный докер контейнер с 18.10. до 18.14.8 Получил такую ошибку при старте контейнера: clickhouse-1-1[840]: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = File not found: ${CLICKHOUSE_CONFIG}, e.what() = File not found CLICKHOUSE_CONFIG устанавливается в Dockerfile, и вроде не должно ломаться в этом месте. Хочу понять, есть ли еще у кого-то подобное, или это мои локальные аномалии.

У всех, сегодня хотим сделать новый релиз с исправлением.

Скажите пожалуйста, а почему запрос может висеть с is_cancelled = 1, но при этом не убиваться?

Убить пытался через replace_query

Скажите пожалуйста, а почему запрос может висеть с is_cancelled = 1, но при этом не убиваться?

запросы самоубиваются, запрос в некотором шаге своего пайплайна проверяет этот флаг и завершается аварийно, т.е. просто запрос в данный момент в других шагах. я наблюдал убитую сессию, у которой даже не уже было сокетов, через пару дней она исчезла.

Подскажите плиз, у меня distributed табличка, генерит insert запросы с неправельным набором колонок, в какую сторону смотреть ? определения всех таблиц в КХ и в zookeper правильные и одинаковые.

На кластере 24 ноды работают нормально, а на 25-ой что-то пошло не так

Хотя я zookeper проверял через system.zookeeper

Подскажите плиз, у меня distributed табличка, генерит insert запросы с неправельным набором колонок, в какую сторону смотреть ? определения всех таблиц в КХ и в zookeper правильные и одинаковые.

возможно t.me/clickhouse_ru/67133

это не тот случай т.к. не работают новые инсерты

это не тот случай т.к. не работают новые инсерты

я не понял при чем тут вообще зукипер. Вы там проверяли что on cluster выполнился или что? show create table distributed на 25 смотрели?

да, там все верно

и проверял файл с определением на самом сервере

А подскажите пожалуйста самый удобный способ получения результатов запроса в pandas dataframe

А подскажите пожалуйста самый удобный способ получения результатов запроса в pandas dataframe

Проще всего добавить в запрос FORMAT TabSeparatedWithNames, а затем ответ считать как df = pd.read_table(StringIO.StringIO(response))

@den_crane пишешь insert into table (column1, column2, column3) а оно падает на серве КХ с <Error> executeQuery: Code: 15, e.displayText() = DB::Exception: Duplicate column column2 in block, e.what() в запросе into table (column1, column2, column2)

Проще всего добавить в запрос FORMAT TabSeparatedWithNames, а затем ответ считать как df = pd.read_table(StringIO.StringIO(response))

Спасибо!

@den_crane пишешь insert into table (column1, column2, column3) а оно падает на серве КХ с <Error> executeQuery: Code: 15, e.displayText() = DB::Exception: Duplicate column column2 in block, e.what() в запросе into table (column1, column2, column2)

я бы начал с drop/create distributed таблицы

я бы начал с drop/create distributed таблицы

Я так и сделаю, если не пойму в какой момент случилась беда. Скорее всего оно перестанет воспроизводится

подскажите, когда делю запрос вида WITH '2018-10-16' as temp_date temp_date можно пробросить в подзапросы?

Всем привет. Видимв репе 18.14.8

А change_log есть к нему?

В гите пусто=(

Подскажите, как изменить значения в таблице system.settings!

Подскажите, как изменить значения в таблице system.settings!

Через конфиг КХ, либо через SET на сессию. В system.settings текущие настройки

Всем привет. Видимв репе 18.14.8

на какую то 14 версию был changelog в чате

Через конфиг КХ, либо через SET на сессию. В system.settings текущие настройки

А можно немного подробнее. В каком именно конфиге прописывать.

А можно немного подробнее. В каком именно конфиге прописывать.

Для пользователей эти настройки

В users.xml прописать?

В users.xml прописать?

Да

кто нибудь использует КХ в докере ? на последней версии при старте ругается на ошибку Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = File not found: ${CLICKHOUSE_CONFIG}, e.what() = File not found

Используем, 18.12 нормально заводится, таких проблем не было. Конфиг не подмонтирован случайно? может у пользователя КХ к нему доступа нет?

кто нибудь использует КХ в докере ? на последней версии при старте ругается на ошибку Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = File not found: ${CLICKHOUSE_CONFIG}, e.what() = File not found

t.me/clickhouse_ru/70443

t.me/clickhouse_ru/70443

спасибо

yandex/ClickHouse was tagged: v18.14.9-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v18.14.9-stable Release notes: v18.14.9-stable

Подскажите, есть таблица примерно 20 столбцов, и нужно 4-5 столбцов проиндексировать, как быть в такой ситуации и есть ли оптимальное решение.

может вы не понимаете как кх устроен , ну добавьте в первичный индекс их

Подскажите, есть таблица примерно 20 столбцов, и нужно 4-5 столбцов проиндексировать, как быть в такой ситуации и есть ли оптимальное решение.

1. строите теорию, создаете таблицу индексированную как a,b,c,d 2.загружаете данные в нее данные 3. прогоняете наиболее важные запросы, смотрите время, план, размер на диске, повторяете 1.

подскажите, пожалуйста, как установить/проверить таймзону сервера? есть свежий 18.14.9, есть срока <timezone>Europe/Moscow</timezone> в /etc/clickhouse-server/config.xml

но запрос select timezone() возвращает W-SU

ну и чтоб два раза не вставать - в логах тысячи ошибок про unknown user default (его действительно нет в users.xml), но мы его нигде не используем. есть ощущение, что он нужен каким-то внутренним процессам

что в таком случае нужно делать? только пользователя создавать?

но запрос select timezone() возвращает W-SU

W-SU - это каноническое название таймзоны Europe/Moscow. То есть, всё как ожидается.

ну и чтоб два раза не вставать - в логах тысячи ошибок про unknown user default (его действительно нет в users.xml), но мы его нигде не используем. есть ощущение, что он нужен каким-то внутренним процессам

Вы можете посмотреть, в каком контексте возникает ошибка. Это должно быть ясно из лога. Например, если clickhouse-server слушает внешнюю сеть (не рекомендуется), то туда будут постоянно приходить всевозможные мусорные запросы, сканирующие сеть.

W-SU - это каноническое название таймзоны Europe/Moscow. То есть, всё как ожидается.

ну у нас тут драйвер немного от этого сломался, но ок, с ним разобрались

по второму вопросу - нет, не слушает, мы пишем данные через JsonEachRow

данные записываются, но после каждой записи появляется строчка про unknown user default

В логе будет информация о том, откуда пришёл запрос (адрес).

ну и чтоб два раза не вставать - в логах тысячи ошибок про unknown user default (его действительно нет в users.xml), но мы его нигде не используем. есть ощущение, что он нужен каким-то внутренним процессам

в старых версиях очень много делалось через него

но у нас максимально свежая версия

2018.10.16 21:23:39.562017 [ 52 ] {} <Error> HTTPHandler: Code: 192, e.displayText() = DB::Exception: Unknown user default, e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x16) [0x99e9626] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x22) [0x3087172] 2. /usr/bin/clickhouse-server(DB::SecurityManager::authorizeAndGetUser(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, Poco::Net::IPAddress const&) const+0x698) [0x762c528] 3. /usr/bin/clickhouse-server(DB::Context::setUser(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, Poco::Net::SocketAddress const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x92) [0x7576b52] 4. /usr/bin/clickhouse-server(DB::HTTPHandler::processQuery(Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&)+0x54d) [0x309f95d] 5. /usr/bin/clickhouse-server(DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)+0x3be) [0x30a4b9e] 6. /usr/bin/clickhouse-server(Poco::Net::HTTPServerConnection::run()+0x332) [0x9b6f4d2] 7. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x9b67d7f] 8. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x16a) [0x9b6815a] 9. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x77) [0x9c84f37] 10. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x9c80aa8] 11. /usr/bin/clickhouse-server() [0xa3da90f] 12. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8064) [0x7f11099a5064] 13. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f1108fcd62d]

Эта строчка ни о чём не говорит. Смотрите выше.