Или оно само через какое-то время удалится?

после оптимайза старые смерженные парты должны удалиться

удалится примерно минут через 20

к вопросу про удаление, если делать alter table delete where xx - через какое примерно время партиции должны пропасть, если удалены все данные, которые находились на этих партициях? или партиции так и останутся?

Привет. Если после OPTIMIZE TABLE FINAL занимаемое место выросло в ~2 раза и не собирается чиститься, то куда смотреть? К партициям /table/part_0_27_2 добавились /table/part_0_27_3 и т.п.

Вот тут можно покрутить время https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/MergeTreeSettings.h#L40

8 минут... Понятно, спасибо.

Сделано для того чтоб если электричество в машине пропадет, а новый парт еще из кеша на диск не упал то его можно было пересобрать

Все-то вы учли :)

Это не я )

Упс)

Да, место осободилось.

Норм так 250Г упихались в 20Г

а нет ли способа заставить словарь обновиться снаружи?

а нет ли способа заставить словарь обновиться снаружи?

SYSTEM RELOAD DICTIONARY <name>

о, спасибо)

18.6.0 54401 да, похоже на то, у всех мутаций в списке партиций - все

А в where что? Там условие есть которое позволит затронуть не все партиции? может удалится и должно из всех.

А в where что? Там условие есть которое позволит затронуть не все партиции? может удалится и должно из всех.

WHERE Path like 'DevOps.clickhouse.oldhost.%'

WHERE Path like 'DevOps.clickhouse.oldhost.%'

а Path есть в первичном ключе?

да: CREATE TABLE graphite ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32)ENGINE = ReplicatedGraphiteMergeTree('/clickhouse/tables/{shard}/graphite', '{replica}', Date, (Path, Time), 32768, 'graphite_rollup');

Какая разница, явно же данные во всех партициях есть для условия WHERE Path like 'DevOps.clickhouse.oldhost.%', т.е. перезаписать надо все.

Какая разница, явно же данные во всех партициях есть для условия WHERE Path like 'DevOps.clickhouse.oldhost.%', т.е. перезаписать надо все.

согласен, для такого условия нужно проверить и перезаписать все партиции

Как то странно отрабатывает запрос в mysql из кх. В условии WHERE (is_campaign=0) AND (active=1) В логах mysql вижу такой запрос WHERE (is_campaign = 0, active = 1) Никто не сталкивался? ClickHouse server version 18.6.0 revision 54401 p.s. понял, в кх запрос like, в mysql уже без него приходит

Как то странно отрабатывает запрос в mysql из кх. В условии WHERE (is_campaign=0) AND (active=1) В логах mysql вижу такой запрос WHERE (is_campaign = 0, active = 1) Никто не сталкивался? ClickHouse server version 18.6.0 revision 54401 p.s. понял, в кх запрос like, в mysql уже без него приходит

Я сталкивался https://github.com/yandex/ClickHouse/issues/2384

Там проблема не именно в match, а в вот такой страной трансформации как у вас

а в логах что пишет ? (mysql) я пока выяснил что такое только с like происходит, убираю его и все ок.

Я сталкивался https://github.com/yandex/ClickHouse/issues/2384

FYI

@Alexander_Anisimov А когда будет видео с митапа в Санкт-Петербурге?

На следующей неделе должно быть. Скорее всего ближе к среде.

Приветствую. Ребят подскажите пожалуйста такой момент, как лучше данные перелить со старого кластера на новый не имея общего zookeeper ?

то есть есть 2 кластера которые между собой никак не пересекаются и нужно как то данные перелить с 1 кластера на 2

создать идентичные по полям таблицы и сделать insert into ... select ...

это мне ответ?

если да то не получится, потому что эти кластеры друг о друге не знают ничего

select * from remote

доступ к чужому зукиперу для такого не нужен

https://clickhouse.yandex/docs/en/query_language/table_functions/remote/

я примерно так же готовлю данные для тестового кластера из прода

не большое уточнение, новый класстер это новая группа серверов находящаяся в другом ДЦ

Ну тогда либо организовать канал, либо делать через FREEZE копию данных, которую передавать другими средствами

В обоих случаях - создать идентичные по структуре таблицы

как раз и думал в сторону фриз или детач старых партиций а потом новую сдампить как то в виде SQL

по поводу таблиц это понятно

Лучше всё же таки организовать канал...

Всем привет. Не совсем понял из документации, если в настройках в блоке compression ничего не указывать, то по дефолту будет использоваться lz4, или компрессия не будет использоваться вообще?

lz4

Добрый вечер, в документации источника внешнего словаря по http: https://clickhouse.yandex/docs/ru/query_language/dicts/external_dicts_dict_sources/#dicts-external_dicts_dict_sources-http написано, что «Если тип размещения словаря cache и complex_key_cache, то ClickHouse запрашивает необходимые ключи, отправляя запрос методом POST» Можете пожалуйста разъяснить этот момент поподробнее, сейчас сделал внешний словарь на http сервер, и при его использовании на сервер приходит пустой POST запрос. <yandex> <dictionary> <name>ext_test</name> <source> <http> <url>http://localhost/dict.php</url> <format>TabSeparated</format> </http> </source> <layout> <cache> <size_in_cells>10000</size_in_cells> </cache> </layout> <structure> <id> <name>ip</name> </id> <attribute> <name>city_id</name> <type>UInt64</type> <null_value>0</null_value> </attribute> </structure> <lifetime>3600</lifetime> </dictionary> </yandex> select toUInt64(ip),dictGetUInt64('ext_test','city_id',toUInt64(ip)) city_id FROM test.test where hour = 426517 LIMIT 10

не большое уточнение, новый класстер это новая группа серверов находящаяся в другом ДЦ

А я новый кластер подключал как реплики к текущему кластеру, по реаликации все получили, и старые серваки вывел из кластера, никаких проблем

А скажите можно искать последовательность в массиве целых?

Подмассив в массиве

кстати, такой вопрос. Ранее в чате писали, что массивы это сахар,

А какие настройки отвечают за коммуникацию с зк? Интересуют реконнекты и т.д. Заметил, что время от времени session has expired и таблица переходит в readonly, но на протяжении нескольких минут нет реконнектов, хотя другие ноды кластера в порядке. 1.1.54385

А какие настройки отвечают за коммуникацию с зк? Интересуют реконнекты и т.д. Заметил, что время от времени session has expired и таблица переходит в readonly, но на протяжении нескольких минут нет реконнектов, хотя другие ноды кластера в порядке. 1.1.54385

исправили что-то такое в 1.1.54388

супер, спасибо

А какие настройки отвечают за коммуникацию с зк? Интересуют реконнекты и т.д. Заметил, что время от времени session has expired и таблица переходит в readonly, но на протяжении нескольких минут нет реконнектов, хотя другие ноды кластера в порядке. 1.1.54385

Такая же тема была, когда зк вместе с кх жили, периодически отваливалось с такой же ошибкой. Как отселили - тишь да гладь

у нас отдельно

?

Скажите если хочу excel в качестве клиента , то путь один-odbc ? Или есть еще что-то ?

может быть можно каким нибудь встроеным басиком ходить в кликхаус по http и парсить ответы, но если настроить нужно за пять минут - то odbc

может быть можно каким нибудь встроеным басиком ходить в кликхаус по http и парсить ответы, но если настроить нужно за пять минут - то odbc

Да. Я вот хочу такой клиент забабахать . Пингую сообщество может кто уже сделал??

Всем привет! Может кто сталкивался: заливаю через клиент данные из csv накопленные за несколько дней, кх никаких ошибок не кидает, все ок, смотрю результат - количество строк в ряде дней отличается от кол-ва строк за эти дни в csv! Пробую загрузить только за косячный день, все загружает, результат совпадает. Такое ощущение, что когда грузишь пачкой из цсв, ряд строк выкидывается. Движок обычный мердж три

Всем привет! Может кто сталкивался: заливаю через клиент данные из csv накопленные за несколько дней, кх никаких ошибок не кидает, все ок, смотрю результат - количество строк в ряде дней отличается от кол-ва строк за эти дни в csv! Пробую загрузить только за косячный день, все загружает, результат совпадает. Такое ощущение, что когда грузишь пачкой из цсв, ряд строк выкидывается. Движок обычный мердж три

У меня у знакомого было, при импорте из цсв типы не совпали и тупо дефолты переписались без ошибок

У меня у знакомого было, при импорте из цсв типы не совпали и тупо дефолты переписались без ошибок

Ну тут не та ситуация, тк отдельным файлом день загружается как надо

А включен ли deduplication?

У нас было похожее, правда, через драйвер. И не уверен, что проблема точно была в DD, но пропала после того, как отключили.

Да. Я вот хочу такой клиент забабахать . Пингую сообщество может кто уже сделал??

Но зачем ? Чем одбц плох ?

Но зачем ? Чем одбц плох ?

1) его нужно ставить под админом - а в корпоративном г. проще иногда отказать от софта чему убедить кучу бюрократов что это не вирус 2) odbc - максимум что позволяет - это накрутить сводные таблицы - а у меня задача в разы шире чем простой пивот

Коллеги, как хранить большие целые числа в CH? больше 20 знаков, ETH (WEI). Надо будет фин. операции выполнять sum, min, max и тп. Любые идеи пожалуйста

А скажите можно искать последовательность в массиве целых?

Если int64 недостаточно (макс значение для знакового 9223372036854775807), а float использовать нельзя (тут деньги), то вариантов немного - 1) подождать релиза Decimal, вроде как уже в мастере - попробуйте в тестовой версии, он там на 128 битных интах работает. 2) поразрядно хранить и обрабатывать - просто хранение - без проблем, но арифметика будет утомительна из-за ручного обслуживания переполнений.

За decimal спасибо, проверим Да арифметика нужна

нужно ли увеличивать max_memory_usage, для серверов с 64G?

нужно ли увеличивать max_memory_usage, для серверов с 64G?

Все зависит от запросов

Чем больше дать памяти, тем лучше)

вроде как это лимит на один запрос, думал может есть какая-то формула от общего размера базы

вроде как это лимит на один запрос, думал может есть какая-то формула от общего размера базы

лимит на один запрос - вот и зависит от таких запросов. Если нет join/order by по большой выборке, то можно довольствоваться малым объемом памяти

Приветы. Что может быть не так? В логах пишет 2018.09.03 07:29:13.064327 [ 25 ] <Trace> StorageKafka (queue): EOF reached for partition 0 offset 205836 это означает что он не получил все данные? или что?

Приветы. Что может быть не так? В логах пишет 2018.09.03 07:29:13.064327 [ 25 ] <Trace> StorageKafka (queue): EOF reached for partition 0 offset 205836 это означает что он не получил все данные? или что?

Выглядит просто как отладочное логирование

Доброго дня. Подскажите как быть, КХ генерит ~10 гб данных в день, за пару месяцев забивает диск сервака под завязку. Может кто автоматизировал процесс деатача старых данных и их отправку в долгосрочное хранилище? Либо есть какие-то практики как поступать в подобных случаях?

Выглядит просто как отладочное логирование

Раньше все работало, но решил поменять схему (т.е. формат логов), на нгинсе сделал новый формат, перезапустил, в кафке удалил все старые очереди, в кликхаусе все грохнул, запустил заново, создал базу, таблицы и...пусто. Кажетсядаже до энжайна кафки в КХ не доходят данные, в саму кафку данные падают, вижу в тспдампе. А как посмотреть в самом кликхаусе не знаю, кроме тупо селект с лимитом. А там пустота

Выглядит просто как отладочное логирование

Хмм..в сторону КХ тоже идут данные,

Но где заковырка?

коллеги, подскажите пожалуйста, есть ли способ заполнять нулями отсутствующие данные при группировке по времени? в инфлюксе например есть функция fill(0) при группировке по времени, в кликхаусе подобной функции нет, но есть костыль в виде union all (https://stackoverflow.com/questions/50238568/how-to-group-by-time-bucket-in-clickhouse-and-fill-missing-data-with-nulls-0s) этот вариант хорош, но только тогда когда группировка происходит только по времени и всё, но что делать если там ещё по трём string полям дополнительно группировка происходит?

Как получить версию CH через запрос? ввожу version(), show version() но все выдает ошибку.

А у меня снова вопрос по компрессии. LZ4 по дефолту включалась всегда, или только начиная с какой-то версии? Возможен ли вариант, что база была создана ещё до введения сжатия, и сейчас существует в несжатом виде? Как таковой information_schema, похоже, не существует, и какую-то информацию о базах и столбцах черпать неоткуда. Или я ошибаюсь?