CREATE TABLE sites (...) ENGINE = MySQL('localhost:3306', 'admin_stat', 'sites', 'root', 'mypass')

А мускул и кх в одном контейнере? Если нет то кх локалхост воспринимает как свой контейнер

В разных. Я пробовал вместо localhost указывать 127.0.0.1 Возможно в случае разных контейнеров в подключении нужно указывать ip-к контейнера с mysql?

В разных. Я пробовал вместо localhost указывать 127.0.0.1 Возможно в случае разных контейнеров в подключении нужно указывать ip-к контейнера с mysql?

Так если в разных то надо в КЗ указывать сервер мускула

Я делал через докер-композ и в настройках кх указывал алиас который в конфигурации докер композа прописал

Можете пример скинуть? Я примерно понял про что вы

Т.е. нужно указывать ip-к или имя mysql, которое выдает контейнер?

Т.е. нужно указывать ip-к или имя mysql, которое выдает контейнер?

Да, буду за компьютером через час полтора и скину

Спасибо, жду. Пока пошёл читать про docker-compose

Пример docker compose с ClickHouse и MySQL есть прямо в интеграционных тестах ClickHouse: 1. https://github.com/yandex/ClickHouse/blob/master/dbms/tests/integration/helpers/docker_compose_mysql.yml 2. https://github.com/yandex/ClickHouse/blob/master/dbms/tests/integration/helpers/cluster.py#L257

Пример docker compose с ClickHouse и MySQL есть прямо в интеграционных тестах ClickHouse: 1. https://github.com/yandex/ClickHouse/blob/master/dbms/tests/integration/helpers/docker_compose_mysql.yml 2. https://github.com/yandex/ClickHouse/blob/master/dbms/tests/integration/helpers/cluster.py#L257

Спасибо, буду изучать

Привет чат

Кто-нибудь удалял дубликаты из КХ недавно?

мы не вставляем

Товарищи, подскажите, как оценить оверхед CH? Т.е. если у меня есть некоторый датасет объемом N GB, сколько мне понадобится дисков для хранения этого датасета в CH?

Товарищи, подскажите, как оценить оверхед CH? Т.е. если у меня есть некоторый датасет объемом N GB, сколько мне понадобится дисков для хранения этого датасета в CH?

Если данные пожаты чем-то - берите столько же. Как правило, КХ жмёт лучше, так что будет запас (для фоновых мерджей и т.п.)

Если данные пожаты чем-то - берите столько же. Как правило, КХ жмёт лучше, так что будет запас (для фоновых мерджей и т.п.)

Понял, спасибо!

Товарищи, подскажите, как оценить оверхед CH? Т.е. если у меня есть некоторый датасет объемом N GB, сколько мне понадобится дисков для хранения этого датасета в CH?

ну будет сильно меньше в несколько раз

Товарищи, подскажите, как оценить оверхед CH? Т.е. если у меня есть некоторый датасет объемом N GB, сколько мне понадобится дисков для хранения этого датасета в CH?

Мы обычно берем примерно 1/5 - 1/10 от объема сырых данных. Но всё зависит от самих данных, некоторые жмутся очень плохо, а некоторые наоборот очень хорошо

всем привет! когда я гружу данные из КХ в Tableau, то часто (чаще всего) строковые данные приходят в усеченном виде. Например, если в КХ лежит строка 'control_group', то в Tableau приедет 'control_g'. Кто-нибудь сталкивался с такой проблемой?

всем привет! когда я гружу данные из КХ в Tableau, то часто (чаще всего) строковые данные приходят в усеченном виде. Например, если в КХ лежит строка 'control_group', то в Tableau приедет 'control_g'. Кто-нибудь сталкивался с такой проблемой?

попробуй более свежие версии odbc драйвера, это уже чинили

попробуй более свежие версии odbc драйвера, это уже чинили

спасибо за совет, попробую

мы не вставляем

?

Hi guys. not sure if anyone speak English. I saw roadmap on 2018 Q4 there is an item for distributed join. Does it mean CH will build an exchange operator for data shuffling among nodes?

попробуй более свежие версии odbc драйвера, это уже чинили

спасибо, это сработало может подскажешь заодно, что делать с русскими символами? при загрузке в табло из КХ они превращаются в нечто нечитаемое

спасибо, это сработало может подскажешь заодно, что делать с русскими символами? при загрузке в табло из КХ они превращаются в нечто нечитаемое

По хттп берёте? Кх пишет по умолчанию энкодинг ютф8, но загружали вы возможно совсем другое.

По хттп берёте? Кх пишет по умолчанию энкодинг ютф8, но загружали вы возможно совсем другое.

Да, по хттп

Коллеги, есть задача SQL запросы для аналитики написать. Если кому интересно пишите в личку.

Коллеги, есть задача SQL запросы для аналитики написать. Если кому интересно пишите в личку.

А чё сам то ? Sql-ex.ru сделает из любого менеджера человека ?

А чё сам то ? Sql-ex.ru сделает из любого менеджера человека ?

Познайте силу делегирования ? Да и в любом случае у знающего человека с опытом быстрей и качественней будет результат. Вы так не считаете?

Познайте силу делегирования ? Да и в любом случае у знающего человека с опытом быстрей и качественней будет результат. Вы так не считаете?

Познайте силу презрения халявщиков

Познайте силу презрения халявщиков

Почему же халявщиков? Я из сообщения понял, что человек готов заплатить.

> что человек готов заплатить. Совершенно верно

Псс поцоны работка есть. Никто не хочет срубить по быстрому баблишко ??

Псс поцоны работка есть. Никто не хочет срубить по быстрому баблишко ??

В России все кто мог, уже срубили баблишко =)

Псс поцоны работка есть. Никто не хочет срубить по быстрому баблишко ??

Сергей пантелеевич, это вы?

Ребят, здравствуйте) покажите пример использования движка Mysql? в документации не пойму где оно

Сервак КХ на RAID10 (12 дисков): EXT4-fs error (device md1): ext4_validate_inode_bitmap:99: comm clickhouse-serv: Corrupt inode bitmap - block_group = 20065, inode_bitmap = 657457169 Aborting journal on device md1-8. EXT4-fs (md1): Remounting filesystem read-only EXT4-fs error (device md1): ext4_journal_check_start:61: Detected aborted journal EXT4-fs error (device md1): ext4_journal_check_start:61: Detected aborted journal Кто-то сталкивался?

Ребят, здравствуйте) покажите пример использования движка Mysql? в документации не пойму где оно

https://clickhouse.yandex/docs/en/operations/table_engines/mysql/

https://clickhouse.yandex/docs/en/operations/table_engines/mysql/

там нет пример использования :) гуглением и логикой там уже читал

там нет пример использования :) гуглением и логикой там уже читал

прямо пример думаю есть только в тесте https://github.com/yandex/ClickHouse/blob/master/dbms/tests/integration/test_storage_mysql/test.py#L42

аа, оно умеет табличку вставлять, я думал моожно джоин сделать из мускула, жаль) придется костылить

с другой стороны никто не мешает делать таблицу и затирать её?

Сервак КХ на RAID10 (12 дисков): EXT4-fs error (device md1): ext4_validate_inode_bitmap:99: comm clickhouse-serv: Corrupt inode bitmap - block_group = 20065, inode_bitmap = 657457169 Aborting journal on device md1-8. EXT4-fs (md1): Remounting filesystem read-only EXT4-fs error (device md1): ext4_journal_check_start:61: Detected aborted journal EXT4-fs error (device md1): ext4_journal_check_start:61: Detected aborted journal Кто-то сталкивался?

Я сталкивался. Возможно из-за глюков раид контроллера, и в ext4 тоже есть баги.

Вопрос куда копать? Диски, контроллер или ОС? Может при каких-то определенных условиях проявляется, mount options или интенсивность записи/чтения итд?

Привет! Подскажите, почему при использовании OPTIMIZE TABLE ... PARTITION ... FINAL на совсем небольших таблицах (сотни Мб) с репликацией (3 машинки) очень большие задержки (до 10 мин), в то время как на тестовом стенде без репликации всё летает (1 сек).

Вопрос куда копать? Диски, контроллер или ОС? Может при каких-то определенных условиях проявляется, mount options или интенсивность записи/чтения итд?

ну вероятность проявления коррелирует с интенсивностью i/o. У меня megaraid. Я находил похожие исправленные баги в ext4 (у меня древнее ядро дебиан9). Можно попробовать xfs. Надо у админов яндекса спрашивать, бывает у них такое на ext4 или нет.

Ребят а как Null значения в csv писать для последующего импорта? \N?

Да

привет. есть вопрос по появившемуся TRUNCATE. если делать TRUNCATE реплицируемой таблицы, TRUNCATE так же будет сделан на всех серверах, на которых эта реплицируемая таблица заведена?

да ладно, давно в CH есть TRUNCATE? не было же вроде

добавили в одном из последних релизов

вот это круто

Э... А чем я обрезал таблицы весной?

Кстати, отныне CH можно юзать в облаке, которое сегодня открыл Яндекс) https://cloud.yandex.ru/

Там цена заградительная.

Надеюсь, что сделали такую, чтоб страждущие не сожрали сразу всё приготовленное к моменту открытия

select из примера ведь не работает? https://clickhouse.yandex/docs/en/interfaces/formats/#capnproto или что надо сделать чтобы capnproto стал output форматом? name: CapnProto is_input: 1 is_output: 0 version(): 18.6.0

привет. есть вопрос по появившемуся TRUNCATE. если делать TRUNCATE реплицируемой таблицы, TRUNCATE так же будет сделан на всех серверах, на которых эта реплицируемая таблица заведена?

проверил: TRUNCATE происходит на всех реплицируемых таблицах.

select из примера ведь не работает? https://clickhouse.yandex/docs/en/interfaces/formats/#capnproto или что надо сделать чтобы capnproto стал output форматом? name: CapnProto is_input: 1 is_output: 0 version(): 18.6.0

Пример не работает. Чтобы заработало нужно написать некоторое количество кода в C++. :\

select из примера ведь не работает? https://clickhouse.yandex/docs/en/interfaces/formats/#capnproto или что надо сделать чтобы capnproto стал output форматом? name: CapnProto is_input: 1 is_output: 0 version(): 18.6.0

Там же написано, что надо файлы схемы в папку определённую положить.

Это понятно, но это не работает

А можно как-то динамически конфигурировать набор словарей?

А можно как-то динамически конфигурировать набор словарей?

Например

А можно как-то динамически конфигурировать набор словарей?

Какой бы мог быть запрос на создание словаря

А можно как-то динамически конфигурировать набор словарей?

Вы когда словарь добавляете и раскатываете на всех репликах, кх не надо рестартить, он его сразу подхватывает, разве это не динамически?

Кстати да, должно сработать

А, ещё кстати. кх в докере, а конфиги замаунчены и изменения файла, который снаружи, не прокидываются в конфиг, который в докере. Кто-то с таким сталкивался?

Конфиги пользователей у меня перечитываются на лету

А, ещё кстати. кх в докере, а конфиги замаунчены и изменения файла, который снаружи, не прокидываются в конфиг, который в докере. Кто-то с таким сталкивался?

Надо прокидывать папку. С файлами - это особенность докера.

Доброе утро, все пытаюсь заполнить свое AggregateMT, делал по инструкции https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/clickhouse/SJ9arSTPsKk/3c_jh3NLCwAJ, устанавливал set max_block_size=100000 и set max_insert_block_size=100000 и память выделял 50 ГБ на запрос все равно вылетает с ошибкой нехватки памяти типа Progress: 181.85 million rows, 29.67 GB (25.12 million rows/s., 4.10 GB/s.) █████████████████████████████████▋ 53Received exception from server (version 18.10.3): Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query) exceeded: would use 46.57 GiB (attempt to allocate chunk of 131072 bytes), maximum: 46.57 GiB. 0 rows in set. Elapsed: 7.316 sec. Processed 181.85 million rows, 29.67 GB (24.86 million rows/s., 4.06 GB/s.) вот кусок конфига users.xml <?xml version="1.0"?> <yandex> <!-- Profiles of settings. --> <profiles> <!-- Default settings. --> <default> <!-- Maximum memory usage for processing single query, in bytes. --> <!-- <max_memory_usage>10000000000</max_memory_usage> --> <max_memory_usage>50000000000</max_memory_usage> <max_bytes_before_external_group_by>20000000000</max_bytes_before_external_group_by> <!-- Use cache of uncompressed blocks of data. Meaningful only for processing many of very short queries. --> <use_uncompressed_cache>0</use_uncompressed_cache> <!-- How to choose between replicas during distributed query processing. random - choose random replica from set of replicas with minimum number of errors nearest_hostname - from set of replicas with minimum number of errors, choose replica with minumum number of different symbols between replica's hostname and local hostname (Hamming distance). in_order - first live replica is choosen in specified order. --> <load_balancing>random</load_balancing> </default> <!-- Profile that allows only read queries. --> <readonly> <readonly>1</readonly> </readonly> </profiles> ...

после того как поменял конфиг рестартанул сервер

правда все таблицы создал до установки настроек и до SET ...=...

попробовал пересоздать таблицы после настроек - тот же результат

Clickhouse в облаке Яндекса - https://cloud.yandex.ru/docs/mdb/quickstart это круто! Я уже правда купил выделенных серверов, а так вариант для старта проекта очень удобный

ну блин на старте у всех много данных в целом , а ценники там огого, вчера посмотрел

Доброе утро, все пытаюсь заполнить свое AggregateMT, делал по инструкции https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/clickhouse/SJ9arSTPsKk/3c_jh3NLCwAJ, устанавливал set max_block_size=100000 и set max_insert_block_size=100000 и память выделял 50 ГБ на запрос все равно вылетает с ошибкой нехватки памяти типа Progress: 181.85 million rows, 29.67 GB (25.12 million rows/s., 4.10 GB/s.) █████████████████████████████████▋ 53Received exception from server (version 18.10.3): Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query) exceeded: would use 46.57 GiB (attempt to allocate chunk of 131072 bytes), maximum: 46.57 GiB. 0 rows in set. Elapsed: 7.316 sec. Processed 181.85 million rows, 29.67 GB (24.86 million rows/s., 4.06 GB/s.) вот кусок конфига users.xml <?xml version="1.0"?> <yandex> <!-- Profiles of settings. --> <profiles> <!-- Default settings. --> <default> <!-- Maximum memory usage for processing single query, in bytes. --> <!-- <max_memory_usage>10000000000</max_memory_usage> --> <max_memory_usage>50000000000</max_memory_usage> <max_bytes_before_external_group_by>20000000000</max_bytes_before_external_group_by> <!-- Use cache of uncompressed blocks of data. Meaningful only for processing many of very short queries. --> <use_uncompressed_cache>0</use_uncompressed_cache> <!-- How to choose between replicas during distributed query processing. random - choose random replica from set of replicas with minimum number of errors nearest_hostname - from set of replicas with minimum number of errors, choose replica with minumum number of different symbols between replica's hostname and local hostname (Hamming distance). in_order - first live replica is choosen in specified order. --> <load_balancing>random</load_balancing> </default> <!-- Profile that allows only read queries. --> <readonly> <readonly>1</readonly> </readonly> </profiles> ...

Что за структура MV? Уменьшите размер max_block_size до 8к, например и max_threads в единицу

ну вероятность проявления коррелирует с интенсивностью i/o. У меня megaraid. Я находил похожие исправленные баги в ext4 (у меня древнее ядро дебиан9). Можно попробовать xfs. Надо у админов яндекса спрашивать, бывает у них такое на ext4 или нет.

Может пригодится. Обновления ядра с 4.16 на 4.17 на Debian из backports решило вопрос, пофиксили в 4.16.4 (https://cdn.kernel.org/pub/linux/kernel/v4.x/ChangeLog-4.16.4)

Ребят, а как кх работает с пределами? 1.0/-Inf будет нулём или NaN?

Что за структура MV? Уменьшите размер max_block_size до 8к, например и max_threads в единицу

Kirill, спасибо, вот структура CREATE MATERIALIZED VIEW status_mv12 TO status_amt12 AS SELECT created_at_d as created_at_d, group_id as group_id, user_id as user_id, master_object_id as master_object_id, argMaxState(object_id, event_ms_ts) AS last_object_id, argMaxState(object_complete, event_ms_ts) AS object_complete, argMaxState(object_complete_success, event_ms_ts) AS object_complete_success, argMaxState(completed_at_dt, event_ms_ts) AS last_complete_dt, argMaxState(error, event_ms_ts) AS last_error, argMaxState(report, event_ms_ts) AS last_report FROM status_amt12_null GROUP BY created_at_d, group_id, user_id, master_object_id у меня почему то возникает ощущение что настройки не применяются, например, я вижу что процентики бегут примерно с одинаковой скоростью независимо от настроек (визуальное ощущение, но я могу ошибаться)

попробую уменьшить

кто то уже юзал облако ?

Кстати, отныне CH можно юзать в облаке, которое сегодня открыл Яндекс) https://cloud.yandex.ru/

Что за структура MV? Уменьшите размер max_block_size до 8к, например и max_threads в единицу

перезапустил с новыми настройками (max_block_size=1000, max_insert_block_size=1000, max_threads=1) - новая ошибка ↑ Progress: 441.17 million rows, 40.93 GB (6.91 million rows/s., 640.83 MB/s.) ████████████████████████████████████████▎ 64Received exception from server (version 18.10.3): Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query) exceeded: would use 46.58 GiB (attempt to allocate chunk of 67108864 bytes), maximum: 46.57 GiB: (while reading column error): (while reading from part /var/lib/clickhouse/data/default/object_events_mt12/20180508_20180512_4650_4662_1/ from mark 240 with max_rows_to_read = 1000). 0 rows in set. Elapsed: 64.081 sec. Processed 441.17 million rows, 40.93 GB (6.88 million rows/s., 638.74 MB/s.)