Вот из тестов https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00502_custom_partitioning_local.sql

Вот из тестов https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00502_custom_partitioning_local.sql

Спасибо!

А как вы размер индекса определяете? И что даёт меньший размер?

Только предполагаю, что это сократит кол-во нод в MergeTree дереве индекса. Собственно по этому и задаю вопрос, будет ли это работать?

Только предполагаю, что это сократит кол-во нод в MergeTree дереве индекса. Собственно по этому и задаю вопрос, будет ли это работать?

Ничего это не сократит, для того чтоб больше/меньше строк индексировать и читать нужно крутить index_granularity, но, обычно, для метрик этого не нужно

Ничего это не сократит, для того чтоб больше/меньше строк индексировать и читать нужно крутить index_granularity, но, обычно, для метрик этого не нужно

Спасибо

может он хранимый размер индекса имеет в виду? там же строки "мин значение, макс значение,указатель". если уменьшить размер значения, индекс начнёт меньше занимать. но мне кажется, разница не так критична будет

может он хранимый размер индекса имеет в виду? там же строки "мин значение, макс значение,указатель". если уменьшить размер значения, индекс начнёт меньше занимать. но мне кажется, разница не так критична будет

На размер влияет количество колонок и их тип в индексе, а также гранулярность.

понятное дело. но размер этих колонок тоже должен влиять. нужно же хранить мин-макс для каждого блока.

понятное дело. но размер этих колонок тоже должен влиять. нужно же хранить мин-макс для каждого блока.

Тип и определяет размер (кроме строк)

а для строк какая-то хитрость? хэш?

парни, привет. Кто-нибудь переобогащал данные на нескольких шардах, более менее незаметно?

как-то писать в отдельную таблицу, потом как-то партициями манипулируя подменить это незаметно для юзреа или относительно незаметно?

мы выяснили, что какие-то данные плохие за 3-4 часа и мы хотим их заменить на другие

Коллеги, а подскажите плиз, из pgsql в словарь КХ массив строк (varchar []) прокинуть можно ?

Коллеги, а подскажите плиз, из pgsql в словарь КХ массив строк (varchar []) прокинуть можно ?

вроде с массивами в словарях не очень

вроде с массивами в словарях не очень

Да вот вроде пытается словарь понять массив, но какой точно синтаксис - загадка :)

Да вот вроде пытается словарь понять массив, но какой точно синтаксис - загадка :)

не поддерживаются массивы в словарях

не поддерживаются массивы в словарях

https://github.com/yandex/ClickHouse/issues/1640

https://github.com/yandex/ClickHouse/issues/1640

Спасибо!

Добрый день При запуске кликхауса в докере возникает ошибка Запускаю так: docker run -d --name def_click --ulimit nofile=262144:262144 yandex/clickhouse-server Ошибка через docker logs: Include not found: clickhouse_remote_servers Include not found: clickhouse_compression Logging trace to /var/log/clickhouse-server/clickhouse-server.log Logging errors to /var/log/clickhouse-server/clickhouse-server.err.log Include not found: networks Include not found: networks Include not found: clickhouse_remote_servers Include not found: clickhouse_compression Ошибка в err.log: 2018.08.29 11:14:34.165112 [ 1 ] <Error> Application: Listen [::]: 0: DNS error: EAI: -9 If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host> при запуске со своим конфигом, который отличается от дефолтного строчкой <listen_host>0.0.0.0</listen_host> ошибка остается кто-то сталкивался?

А подскажите пожалуйста, в репозитории https://repo.yandex.ru/clickhouse/deb/stable/main/ есть пакеты с разными наименованиями версий, н-р: clickhouse-server-base_18.10.3_amd64.deb и clickhouse-server-base_1.1.54394_amd64.deb Чем они отличаются???

а если попробовать 1.1.1.1/32?

Аналогичное поведение, если запрос делать с public адреса 1.1.1.1/32, таже ошибка авторизации проявляется (для тестовых целей создавал отдельный сегмент public сети) 2018.08.29 15:08:37.436500 [ 5 ] <Trace> TCPSHandlerFactory: TCP Request. Address: 1.1.1.1:50174 2018.08.29 15:08:37.594970 [ 5 ] <Debug> TCPHandler: Connected ClickHouse client version 18.10.0, revision: 54405, user: writer.

А подскажите пожалуйста, в репозитории https://repo.yandex.ru/clickhouse/deb/stable/main/ есть пакеты с разными наименованиями версий, н-р: clickhouse-server-base_18.10.3_amd64.deb и clickhouse-server-base_1.1.54394_amd64.deb Чем они отличаются???

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md#%D0%A3%D0%BB%D1%83%D1%87%D1%88%D0%B5%D0%BD%D0%B8%D1%8F-3

Добрый день При запуске кликхауса в докере возникает ошибка Запускаю так: docker run -d --name def_click --ulimit nofile=262144:262144 yandex/clickhouse-server Ошибка через docker logs: Include not found: clickhouse_remote_servers Include not found: clickhouse_compression Logging trace to /var/log/clickhouse-server/clickhouse-server.log Logging errors to /var/log/clickhouse-server/clickhouse-server.err.log Include not found: networks Include not found: networks Include not found: clickhouse_remote_servers Include not found: clickhouse_compression Ошибка в err.log: 2018.08.29 11:14:34.165112 [ 1 ] <Error> Application: Listen [::]: 0: DNS error: EAI: -9 If it is an IPv6 or IPv4 address and your host has disabled IPv6 or IPv4, then consider to specify not disabled IPv4 or IPv6 address to listen in <listen_host> element of configuration file. Example for disabled IPv6: <listen_host>0.0.0.0</listen_host> . Example for disabled IPv4: <listen_host>::</listen_host> при запуске со своим конфигом, который отличается от дефолтного строчкой <listen_host>0.0.0.0</listen_host> ошибка остается кто-то сталкивался?

похоже что сам адрес пытается заресолвится а днс не работает

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md#%D0%A3%D0%BB%D1%83%D1%87%D1%88%D0%B5%D0%BD%D0%B8%D1%8F-3

Т.е. это просто запланированная смена нумерации версий,ясно.

Добрый день! Подскажите пожалуйста - повис запрос "INSERT" соответственно через kill query не убивается, что в этой ситуации можно сделать? Спасибо.

похоже что сам адрес пытается заресолвится а днс не работает

а чего он вообще при запуске днс дергает?

Добрый день! Тоже есть вопросик. Пробую добавить колонку в таблицу, ругается alter table fa_analytics.events ADD COLUMN `count` UInt32 DB::Exception: Cannot open file /var/lib/clickhouse/metadata/fa_analytics//events.sql.tmp, errno: 17, strerror: File exists

а чего он вообще при запуске днс дергает?

вместо :: может быть написан любой hostname и он будет пытаться заресолвитсья.

вместо :: может быть написан любой hostname и он будет пытаться заресолвитсья.

Единственная строка, где есть :: - <!-- <listen_host>::</listen_host> --> , т.е. закоменчено. Из хостнеймов есть только localhost. Конфиг дефолтный

по умолчанию listen_host превращается в два хоста :: , 0.0.0.0

но это не важно, все содержимое listen_host даже если там готовый ip - проходит через ресолвер

но это не важно, все содержимое listen_host даже если там готовый ip - проходит через ресолвер

если я конкретно прописал <listen_host>0.0.0.0</listen_host> для того, чтобы задизейблить ipv6, то кто именно мне резолвит 0.0.0.0? по идее если указать 0.0.0.0, то берутся все адреса текущего хоста. У меня на этом хосте все работало до того момента, пока я не спулил новый образ. Думал в хосте проблема, взял другой хост - та же проблема

при сосздании сокета "0.0.0.0" это все еще строка и она всеравно прогоняется через ресолвер который уже возвращает адрес 0.0.0.0

при сосздании сокета "0.0.0.0" это все еще строка и она всеравно прогоняется через ресолвер который уже возвращает адрес 0.0.0.0

я понял, но не понимаю у кого он спрашивает или как он резолвит 0.0.0.0. Он же это делает внутри докера, имадж которого я взял с сайта

там же магия с сетью, но обычно docker run --network=host помогает

там же магия с сетью, но обычно docker run --network=host помогает

сейчас попробую. попробовал еще <listen_host>localhost</listen_host> и проверил, что внутри докера есть в /etc/hosts localhost, ошибка не поменялась

а кто-нибудь прикручивал к clickhouse Apache superset или другой BI инструмент? в чем лучше делать дашборды и отчёты для конечных пользователей?

там же магия с сетью, но обычно docker run --network=host помогает

не помогло...(

на хосте centos с selinux?

пробовал на двух машинах Linux Ubuntu-1604-xenial-64-minimal 4.13.0-38-generic #43~16.04.1-Ubuntu SMP Wed Mar 14 17:48:43 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux Darwin andreys-mbp.lan 17.7.0 Darwin Kernel Version 17.7.0: Thu Jun 21 22:53:14 PDT 2018; root:xnu-4570.71.2~1/RELEASE_X86_64 x86_64

вторая это макось

а кто-нибудь прикручивал к clickhouse Apache superset или другой BI инструмент? в чем лучше делать дашборды и отчёты для конечных пользователей?

Суперсет у нас стоит вроде никаких проблем нет

Суперсет у нас стоит вроде никаких проблем нет

а у вас нет беды с датами? когда TimeGrain ставить в разбивке по часу к примеру?

Не жаловались на это пользователи

а кто-нибудь прикручивал к clickhouse Apache superset или другой BI инструмент? в чем лучше делать дашборды и отчёты для конечных пользователей?

Тоже суперсет начали использовать - пока без проблем

Мы прикрутили Zeppelin, борды там делать не так удобно как в других BI, но вот отзывчивость в плане "написал запрос и сразу его разрисовал как удобно" понравилась.

скажите, можно ли перенести партицию из одной таблицы в другую при условии, что их структура идентична?

Мы для этой ситуации завели отдельную очередь (в раббите). И в процессе обработки потока данных, если нашли битое сообщение, кодом переносим от очередь битых сообшений

А как обнаруживается ошибка? По гайду созданное матвью на таблицу с движком кафка просто перестает работать. Какждый раз пересоздается таблица, смотрящая на кафку что ли?

Кто-нибудь в курсе, менялось дефолтное значение distributed_product_mode (https://clickhouse.yandex/docs/en/operations/settings/settings/#distributed_product_mode) с 1.1.54343 до 18.4.54399?

Кто-нибудь в курсе, менялось дефолтное значение distributed_product_mode (https://clickhouse.yandex/docs/en/operations/settings/settings/#distributed_product_mode) с 1.1.54343 до 18.4.54399?

Нет.

Нет.

спасибо!

кто-нибудь сталкивался? КХ 18.10.3 Создана таблица на базе словаря. При обращении к полям String ошибка: Code: 89. DB::Exception: Unknown compression method:

кто-нибудь сталкивался? КХ 18.10.3 Создана таблица на базе словаря. При обращении к полям String ошибка: Code: 89. DB::Exception: Unknown compression method:

Да, сталкивались... Это баг.

https://github.com/yandex/ClickHouse/issues/2913 Исправлено, но релиза ещё нет.

как полечить?

Подождать следующего релиза, или откатить на предыдущий, или собрать исправленную версию самостоятельно (не рекомендуется).

понял. Спасибо.

скажите, можно ли перенести партицию из одной таблицы в другую при условии, что их структура идентична?

можно начиная с 1.1.54388 для этого даже специальный ALTER есть

можно начиная с 1.1.54388 для этого даже специальный ALTER есть

спасибо, но, если я правильно понимаю, то это делается в рамках одной и той же таблицы

потому, что та же партиция не переезжает в другую таблицу, возможно я что-то не так делаю

ясно, нужно в detach переносить

Alexey, в EN доке не хватает вариантов значений (The possible values ​​are:) для distributed_product_mode https://clickhouse.yandex/docs/en/operations/settings/settings/ https://clickhouse.yandex/docs/ru/operations/settings/settings/

Добрый день! Подскажите пожалуйста - повис запрос "INSERT" соответственно через kill query не убивается, что в этой ситуации можно сделать? Спасибо.

откатился с 18.10.3 на 18.6.0 - перестали работать odbc-словари с ошибкой : Data source name not found, and no default driver specified Может кто сталкивался?

да, сломано было

откатывать дальше?

Добрый день! Подскажите пожалуйста - повис запрос "INSERT" соответственно через kill query не убивается, что в этой ситуации можно сделать? Спасибо.

Насколько я знаю, INSERT убить нельзя, нужно перезапускать ClickHouse, если совсем всё плохо

Насколько я знаю, INSERT убить нельзя, нужно перезапускать ClickHouse, если совсем всё плохо

То что его убить нельзя - это я знаю. Перезапуск - это крайний случай и тоже не совсем хороший. Но все-равно спасибо.

Доброй ночи, коллеги! Подскажите, кто уже дружил КХ и osquery? Могу задать несколько вопросов?

Привет, может ли запрос с LIKE вовращать разные результы? Обращаюсь через либу , запрос всегда один и тот же, но порой просто рандом отдает. Кто нибудь сталкивался с такой проблемой?

Если в шардах реплики не одинаковые или кластер описан не правильно будет примерно такая ситуация

один инстанс

один инстанс

Попробуйте добавить order by в запрос и посмотрите результат

Отсортируйте по какой-нибудь колонке

@milovidov_an а парт(кусок партишена) детачнуть нельзя или это так задумано?

Привет, может ли запрос с LIKE вовращать разные результы? Обращаюсь через либу , запрос всегда один и тот же, но порой просто рандом отдает. Кто нибудь сталкивался с такой проблемой?

а вы не пишете новые данные между запросами?

а вы не пишете новые данные между запросами?

нет

и количество строк в резалт сете разное?

@milovidov_an а парт(кусок партишена) детачнуть нельзя или это так задумано?

https://github.com/yandex/ClickHouse/issues/46 https://groups.google.com/d/msg/clickhouse/ZABNyXsiIWI/cteYD1MMBAAJ

и количество строк в резалт сете разное?

да

тогда это магия какая-то. нужны данные, чтобы такое проверить

могу только предложить включить лог запросов в кх и проверить, не изменяет ли либа запрос перед отправкой (проверить, что запрос действительно тот же самый)

тогда это магия какая-то. нужны данные, чтобы такое проверить

обманул, количество одинаковое данные разные

да

если подходящих под условие строк много то в некоторых случаях КХ может возвращать не все строки. При этом при повторениях того же самого запроса может возвращать разные "не все" (если отсуствует ORDER BY). Примеры этих "некоторых случаев" - LIMIT, установленный в запросе, LIMIT установленный из-за использования format Pretty*, некоторые настройки (проверять SELECT * FROM system.settings WHERE changed=1 ).

Да я как раз лимит использую

если количество строк одинаковое, то большая вероятность, что они просто в другом порядке. без ордер бай порядок, как известно, не гарантирован

Да я как раз лимит использую

Если он используется без ORDER BY - тогда порядок возвращаемых строк можно считать случайным. Один запрос может вернуть данные из начала таблицы, второй - из конца.

а третий - по чуть-чуть из начала, конца и середины :P

Дело в том что КХ запускает обработку вашего запроса одновременно в несколько потоков. Каждый поток обрабатывает свою часть данных и после обработки возвращает результат. Если нет сортировки - то КХ не ждет пока все потоки обработают все данные, а просто отдаёт то что вернулось первым (а это зависит от того с какой скоростью работал каждый поток, были ли нужные ему данные в кэше, как были поделены данные для обработки между разными потоками и т.п.).

Пробую с ORDER BY, запросы стали дольше работать, жду что выдет