systemd

Ну и раньше в кроне задание было

systemd

Зависит от, systemd не везде есть :)

Значит, задание в кроне, если сервер.

/etc/cron.d/clickhouse-server #*/10 * * * * root (which service > /dev/null 2>&1 && (service clickhouse-server condstart || true)) || /etc/init.d/clickhouse-server condstart > /dev/null 2>&1

а на сколько быстро и безболезненно проходит удаление колонок в кх? по идее зная его устройство это должно происходить примерно моментально и без локов.

Коллеги добрый день, подскажите, в 18.10.3 версии не было ли каких-то найденых проблем с утечками памяти? Сталкиваемся на нодах с тем, что за пару недель КХ выжирает всю доступную памят игнорируя max_memory_usage_for_all_queries и max_memory_usage напроч. Ну и лочгино, приходит oom_killer

Это из-за бага в memory tracking , и нового аллокатора jemalloc. В чатике обсуждали уже раза 4.

Спасибо, к сожалению весь чат прочитать невозможно

У меня стейдж кх стал использовать виртульной памяти 400Г вместо 25.

Ну вот примерно что-то похожее имеем

Поиск есть, по usage_for_all найдете.

и возможно это не баг, а просто jemalloc более агресивен.

а на сколько быстро и безболезненно проходит удаление колонок в кх? по идее зная его устройство это должно происходить примерно моментально и без локов.

Зная его устройство оно относительно быстро проходит ;)

а на сколько быстро и безболезненно проходит удаление колонок в кх? по идее зная его устройство это должно происходить примерно моментально и без локов.

Кстати, вас DROP или CLEAR интересует?

DROP , ну я уже сделал на кластере все прошло ок и быстро

Скажите пожалуйста, для того, чтобы свитчнуть версию кх достаточно же просто подменить бинарь?

ну и надо перезапустить его потом а так да

Всем привет. Насколько актуален гайд https://clickhouse.yandex/docs/ru/operations/tips/ Особенно интересует насчет ярда, яндексовское не обновлялось уже 4 года. Точно ли это хороший вариант?

а что вам нового в ядре нужно ? у них же поди центос , а там бекпортинг фич

Баги с ssl например. Да и целом, нам кажется, что актуальное ядро будет быстрее

а что вам нового в ядре нужно ? у них же поди центос , а там бекпортинг фич

конечно центос, поэтому и все репы это deb )

а что вам нового в ядре нужно ? у них же поди центос , а там бекпортинг фич

так где этот бекпортинг, если ядро не обновлялось?

Всем привет. Насколько актуален гайд https://clickhouse.yandex/docs/ru/operations/tips/ Особенно интересует насчет ярда, яндексовское не обновлялось уже 4 года. Точно ли это хороший вариант?

вариант нехороший и совсем не обязательный, вообще его от туда выпилить надо

так где этот бекпортинг, если ядро не обновлялось?

ну так там версия ядра не меняется , а обновы идут

вариант нехороший и совсем не обязательный, вообще его от туда выпилить надо

а есть ли что-то хрошее или обязательное?)

а есть ли что-то хрошее или обязательное?)

Да, документацию почитать )

падает один из 4 демонов зукипера в кластере после того как делаю какие либо операции над кластером кроме селектов при заливке данных, при создании ReplicatedMergeTree Таблиц и т.д руками поднять службу неполучается помогает только ребут zookeeper version 3.4.10-3 Ubuntu server 18.04 ClickHouse server version 18.12.17

подскажите пожалуйста могу ли я как нибудь в external dictionaries сделать что нибудь такое <source> <http> <url>https://example.api.com/artilces</url> <format>JSON</format> </http> </source>

подскажите пожалуйста могу ли я как нибудь в external dictionaries сделать что нибудь такое <source> <http> <url>https://example.api.com/artilces</url> <format>JSON</format> </http> </source>

https://clickhouse.yandex/docs/en/query_language/dicts/external_dicts_dict_sources/#dicts-external_dicts_dict_sources-http а в чем проблема то?

ошибку кидает и говорит что формат плохой и еще потом почитал что походу на json нету инсерта https://clickhouse.yandex/docs/en/interfaces/formats/#formats и поэтому хотел спросить можно вообще как ниудь такую логику сделать что бы оно брало в json и записывала в дикшенари

ошибку кидает и говорит что формат плохой и еще потом почитал что походу на json нету инсерта https://clickhouse.yandex/docs/en/interfaces/formats/#formats и поэтому хотел спросить можно вообще как ниудь такую логику сделать что бы оно брало в json и записывала в дикшенари

JSONEachRow нужен

так а если мне приходит json, то мне можно его как то в JSONEachRow сформатировать?

Помоги пожалуйста... Пытаюсь создать словарь типа mysql : получаю ошибку SSL connection error: dh key too small. При этом SSL для юзера на муслке не обязателен и не настроен

так а если мне приходит json, то мне можно его как то в JSONEachRow сформатировать?

Можно, разбираете JSON и пишите в нужном вам формате

эм, в смысле в клик хаусе самом это можно как то?

тут еще вычитал есть такое свойство input_format_skip_unknown_fields которое может помочь в форматирование json в JSONEachRow автоматически, сейчас попробую

Привет! Есть следующий запрос и он странно выполняется: ``` select date, sum(field1), sum(field2) from ( select date, id, count() as field1, 0 as field2 from table1 group by date, id union all select date, id, count() as field2, 0 as field1 from table2 group by date, id ) group by date order by date```Почему-то в итоговой таблице sum(field2) = 0, хотя в запросе к table2 есть строки, у которых field2 <> 0. Если я поменяю местами запросы, то уже sum(field1) станет нулем. Что я неправильно понимаю?

А как задать макрос с shard / replica, если на одной машине 2 шарда?

А как задать макрос с shard / replica, если на одной машине 2 шарда?

Перекрёстная реплика?

да

Руками, также как и всё остальное для неё :)

Привет! Есть следующий запрос и он странно выполняется: ``` select date, sum(field1), sum(field2) from ( select date, id, count() as field1, 0 as field2 from table1 group by date, id union all select date, id, count() as field2, 0 as field1 from table2 group by date, id ) group by date order by date```Почему-то в итоговой таблице sum(field2) = 0, хотя в запросе к table2 есть строки, у которых field2 <> 0. Если я поменяю местами запросы, то уже sum(field1) станет нулем. Что я неправильно понимаю?

так это так и должно быть для union all, то что поля называются по разному на union не влияет ch select 10 a, 0 b union all select 10 b, 0 a 10 0 10 0 psql select 10 a, 0 b union all select 10 b, 0 a; a | b ----+--- 10 | 0 10 | 0 (2 rows)

Руками, также как и всё остальное для неё :)

Т.е. не использовать макросы, а писать DDL вручную

понял, т.е. тут не важны названия полей, а именно их расположение. Спасибо!

Т.е. не использовать макросы, а писать DDL вручную

Жесть, почему кросс-репликация такая рудиментарная, неужели никто не пользуется? Это не претензия к разработчикам, просто интересно. Джойны не работают, макросы не работают. Может, это не clickhouse way? Как продакшен обезопашиваете? Все просто шардят в 1 реплику и бекапят каждых 5 минут?

Помоги пожалуйста... Пытаюсь создать словарь типа mysql : получаю ошибку SSL connection error: dh key too small. При этом SSL для юзера на муслке не обязателен и не настроен

В CH статически вкомпилирован древений драйвер (либо mariadb либо mysql community), отключите ssl на сервере mysql вообще.

коллеги, подскажите пожалуйста по поводу обновления. можно ли брать и обновляться с версии 1.1.54394 до версии 18.12.17 без страха потерять данные? и нужно ли руками что нибудь конвертить

В CH статически вкомпилирован древений драйвер (либо mariadb либо mysql community), отключите ssl на сервере mysql вообще.

спасибо)

Жесть, почему кросс-репликация такая рудиментарная, неужели никто не пользуется? Это не претензия к разработчикам, просто интересно. Джойны не работают, макросы не работают. Может, это не clickhouse way? Как продакшен обезопашиваете? Все просто шардят в 1 реплику и бекапят каждых 5 минут?

просто у всех нормальные реплики, знаю товарищей у которых цать шардов * 3 реплики.

а что, при этом становится лучше?

так а если мне приходит json, то мне можно его как то в JSONEachRow сформатировать?

форматируйте свой json на сервере приложений в TSV, иначе вас ждет масса отладки из-за лишнего пробела в json / jsoneachrow.

а что, при этом становится лучше?

да вообще нет проблем. а кросс репликация -- не сапортится, это попытка натянуть сову на глобус, для экономии денег.

форматируйте свой json на сервере приложений в TSV, иначе вас ждет масса отладки из-за лишнего пробела в json / jsoneachrow.

Сервер не мой) Ну странно они сделали, хотелось бы конечно что бы он сам все забирал ну или хотя бы конвертил, а так да, придется писать допольнительную логику на серваке

да вообще нет проблем. а кросс репликация -- не сапортится, это попытка натянуть сову на глобус, для экономии денег.

а как от этого лучше? было 3 шарда/2 реплики, стало 10 шардов/3 реплики. Макросы по-прежнему не работают, джойны аналогично. Или вы имеете в виду какую-то другую конфигурацию?

Сервер не мой) Ну странно они сделали, хотелось бы конечно что бы он сам все забирал ну или хотя бы конвертил, а так да, придется писать допольнительную логику на серваке

ну и кофе КХ не варит тоже, обидна да.

коллеги, подскажите пожалуйста по поводу обновления. можно ли брать и обновляться с версии 1.1.54394 до версии 18.12.17 без страха потерять данные? и нужно ли руками что нибудь конвертить

лучше до какой-нибудь v18.6.0, на более поздних версиях у нас вылезли несколько ошибок, которые мешают работать

ну и кофе КХ не варит тоже, обидна да.

Эт то же обидно, да) просто по мне так это маст хэв, и не вижу , ну или не понимаю почему нельзя исертить обычнй json

ну и кофе КХ не варит тоже, обидна да.

Для этого не КликХаус, а КофеХаус

а как от этого лучше? было 3 шарда/2 реплики, стало 10 шардов/3 реплики. Макросы по-прежнему не работают, джойны аналогично. Или вы имеете в виду какую-то другую конфигурацию?

чувствую мы про разное, репликация: node1: shard1 replica0 node2: shard1 replica1 node3: shard2 replica0 node4: shard2 replica1 кросс репликация: node1: shard1 replica0 + shard2 replica1 node2: shard1 replica1 + shard2 replica0

а, все, понял вас. да, спорить не буду

Эт то же обидно, да) просто по мне так это маст хэв, и не вижу , ну или не понимаю почему нельзя исертить обычнй json

потому что нормальный парсер json-а будет жрать ресурсы, потому что json не стриминговый формат.

чувствую мы про разное, репликация: node1: shard1 replica0 node2: shard1 replica1 node3: shard2 replica0 node4: shard2 replica1 кросс репликация: node1: shard1 replica0 + shard2 replica1 node2: shard1 replica1 + shard2 replica0

а у вас такая топология (чистая репликация)? если да, то можете проверить на кластере, работает ли джойн? https://github.com/yandex/ClickHouse/issues/3196 если да, то это буде очень весомый повод бросит кросс-репликацию для меня

потому что нормальный парсер json-а будет жрать ресурсы, потому что json не стриминговый формат.

ну можно же сделать опцией и если производиельность не важна использовать обынчй json

А, хотя нет, не должно

у меня же там вообще 1 реплика

то есть джойны так и не работают)

что хочется-то? две таблицы, шардированы одинаково и хочется джойнить локально? Это работает. джойн работает очень просто, если левая таблица distributed, инициатор на кой-то черт вычисляет правую таблицу(это бага видимо), затем создается кучка запросов к каждой ноде к шардам, делается локальный (или нелокальный (distributed_product_mode=allow), тогда они пошлют еще пачку запросов друг другу ) джойн, результат отсылается инициатору, тот делает финальный результат. С помощью скобок ( ) можно вытащить всю левую таблицу на инициатор и сделать джойн на нем.

такой вопрос, если в таблице есть много строковых столбцов и в 90% случаев они пустые, имеет ли смысл оборачивать такой столбец в nullable? или пустые строки кх сам соптимизирует?

такой вопрос, если в таблице есть много строковых столбцов и в 90% случаев они пустые, имеет ли смысл оборачивать такой столбец в nullable? или пустые строки кх сам соптимизирует?

Нет в этом смысла

Нет в этом смысла

ок спасибо

лучше до какой-нибудь v18.6.0, на более поздних версиях у нас вылезли несколько ошибок, которые мешают работать

спасибо!

а чем отличается ClickHouse от ClickHouse, new на странице бенчмарков https://clickhouse.yandex/benchmark.html ? версия одинаковая в скобках указана

Большое потребление виртуальной памяти - это нормально, и можно не обращать внимания, если при этом потребление физической памяти (столбец в top - RSS или RES) небольшое.

У меня стейдж кх стал использовать виртульной памяти 400Г вместо 25.

^

Это из-за бага в memory tracking , и нового аллокатора jemalloc. В чатике обсуждали уже раза 4.

Ошибка в MemoryTracker приводит к неправильному учёту памяти, но фактическое потребление памяти не должно измениться.

что хочется-то? две таблицы, шардированы одинаково и хочется джойнить локально? Это работает. джойн работает очень просто, если левая таблица distributed, инициатор на кой-то черт вычисляет правую таблицу(это бага видимо), затем создается кучка запросов к каждой ноде к шардам, делается локальный (или нелокальный (distributed_product_mode=allow), тогда они пошлют еще пачку запросов друг другу ) джойн, результат отсылается инициатору, тот делает финальный результат. С помощью скобок ( ) можно вытащить всю левую таблицу на инициатор и сделать джойн на нем.

нет, это не работает

Всем привет. Насколько актуален гайд https://clickhouse.yandex/docs/ru/operations/tips/ Особенно интересует насчет ярда, яндексовское не обновлялось уже 4 года. Точно ли это хороший вариант?

Про Яндекс-ядро действительно устарело (оно почему-то не обновляется). Сейчас уберём.

а про КХ как сервис в Яблоке можно здесь поспрашивать?

а про КХ как сервис в Яблоке можно здесь поспрашивать?

вам в овощной отдел поддержки

нет, это не работает

t.me/clickhouse_ru/66750 что здесь не так ?

вам в овощной отдел поддержки

там маринуют

а про КХ как сервис в Яблоке можно здесь поспрашивать?

Можно. Хотя я сам не знаю всех внутренностей Облака, но знаю тех, кто знает.

t.me/clickhouse_ru/66750 что здесь не так ?

не знаю, положите в не-дефолтную бд?

вы видели мой конфиг?

вы видели мой конфиг?

положить что? правую таблицу? Ну КХ зачем-то ходит в правую таблицу на инициаторе, а там ее вообще может не быть.

положить что? правую таблицу? Ну КХ зачем-то ходит в правую таблицу на инициаторе, а там ее вообще может не быть.

так как это называется, “работает” или “не работает”?)

а на сколько быстро и безболезненно проходит удаление колонок в кх? по идее зная его устройство это должно происходить примерно моментально и без локов.

Удаление столбца происходит быстро (как удаление некоторого количества файлов из файловой системы), но под локом (сначала ждёт всех выполняющихся на данный момент запросов, и блокирует все новые запросы на это время).

так как это называется, “работает” или “не работает”?)

понятно что баги есть, я их сам открываю пачками. Если все делать прямолинейно и стандартно, заставить работать можно.

<dictionaries> <dictionary> <name>system_browsers</name> <source> <odbc> <table>browsers</table> <connection_string>DSN=test-postgres-system</connection_string> </odbc> </source> <layout> <flat/> </layout> <structure> <id> <name>id</name> </id> <attribute> <name>name</name> <type>String</type> <null_value></null_value> </attribute> </structure> <lifetime> <min>300</min> <max>360</max> </lifetime> </dictionary> ...

Я помню, было лишнее экранирование символов при обращении к ODBC driver manager. Попробуйте в DSN заменить минусы (-) на подчёркивания (_).

Так я и говорил, что претензий не имею

просто вы спросили, что не работает)

просто вы спросили, что не работает)

я спросил про обычную репликацию, misunderstanding опять

А alter table delete / update не поддерживает секцию SETTINGS? В where есть условие на column in table, где table - таблица типа Set. При чтении с таким условием передается SETTINGS use_index_for_in_with_subqueries = 0 и все ок, но мутация не запускается.

Не поддерживает. С другой стороны, тот факт, что оно не работает с включенной настройкой use_index_for_in_with_subqueries, требует отдельного разбирательства.

так в том примере неважно, какая репликация, как только бд не-дефолтная, поломается, разве нет? или при обычной репликации все ложат в default?

так в том примере неважно, какая репликация, как только бд не-дефолтная, поломается, разве нет? или при обычной репликации все ложат в default?

возможно, это очень нестандартно, мне лень делать такой тест, где дистрибьютид таблица на инициаторе пойдет на другие ноды и не пойдет к себе.

проблема не в том что бд разные, я могу положить правую таблицу в другую бд, ща проверю