очень сильно delete не хватает, в основном для flyway

удалить из schema_version частенько надо чтото

приходится дропать

а чем опасен запуск в докере? замечены проблемы?

Это явный оффтоп. Просьба не писать всякое, не связаное с КХ

Это явный оффтоп. Просьба не писать всякое, не связаное с КХ

По моему связано, мне вот тоже интересно какие там проблемы, мы КХ в Докере не запускаем, но, возможно для части вещей это было бы удобно и хотелось бы знать что там и как

1. Насколько я знаю есть проблема в официальном образе контейнера для КХ 2. Иногда забывают или не знаю. что если не прокинуты разделы в контейнер, то при выключении контейнера данные теряются

1. Насколько я знаю есть проблема в официальном образе контейнера для КХ 2. Иногда забывают или не знаю. что если не прокинуты разделы в контейнер, то при выключении контейнера данные теряются

Это все не очень важно, интересны проблемы с: сетью, как его дружить с другими контейнерами по CPU и т.д.

Ещё раз, причем тут КХ? Если заменить КХ на mysql, что-то изменится в том, как управлять запущеным процесом в докере? Нет, следовательно это не тема обсуждения чата про КХ.

Ещё раз, причем тут КХ? Если заменить КХ на mysql, что-то изменится в том, как управлять запущеным процесом в докере? Нет, следовательно это не тема обсуждения чата про КХ.

да у вас синдром вахтёра )

1. Насколько я знаю есть проблема в официальном образе контейнера для КХ 2. Иногда забывают или не знаю. что если не прокинуты разделы в контейнер, то при выключении контейнера данные теряются

Насколько вы знаете или есть? Про то, как включать докер с подключенными разделами никто не спрашивает

Чуть выше писали что починили, но я не проверя. Поэтому насколько я знаю

как очистить таблицу TinyLog, в system.parts нету партиций для нее

как очистить таблицу TinyLog, в system.parts нету партиций для нее

Для этог движка нет партиций https://clickhouse.yandex/docs/ru/table_engines/tinylog/

Спасибо.

как ее чистить то

как ее чистить то

Уточните зачем вам использовать имено TinyLog? "Типичный способ использования этой таблицы - это write-once"

flyway использует ее

мне надо удалить 1 запись из этой таблицы

я сохранил все нужны мне записи)

остатется только дропать и создавать ?

остатется только дропать и создавать ?

Да. И есть подозрение, когда в КХ появятся UPDATE/DELETE - это будет работать только для движков MergeTree

а может както можно удалить все данные

чтобы структура осталась

а то у меня нет структуры таблицы

нужно идти копатся в исходники

а то у меня нет структуры таблицы

SHOW CREATE TABLE имяТаблицы

спасибо)

Можно ещё так CREATE TABLE новаяТаблица AS стараяТаблица Так создастья новая таблица с копией структуры

хм, посмотрим мб его скофигурировать можно на отключение prepared statements

получилось решить проблему?

Если клиукхаус не может получить коннект до словаря (одбц), то сервер падает. Можно каким-то образом (например, конфигом) это поведение изменить?

2018.03.27 13:00:23.517805 [ 1 ] <Error> Application: DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/database//links.sql, error: DB::Exception: No such external dictionary: links, stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x15) [0x82e3db5] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x21) [0x2cc1371] 2. /usr/bin/clickhouse-server(DB::ExternalLoader::getLoadable(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&) const+0x1c2) [0x7cbb702] 3. /usr/bin/clickhouse-server() [0x8182c64] 4. /usr/bin/clickhouse-server(DB::StorageFactory::get(DB::ASTCreateQuery&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, DB::Context&, DB::Context&, DB::ColumnsDescription const&, bool, bool) const+0x1fe) [0x7dfa3ce] 5. /usr/bin/clickhouse-server(DB::createTableFromDefinition(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, DB::Context&, bool, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x106) [0x8048d46] 6. /usr/bin/clickhouse-server() [0x8045615] 7. /usr/bin/clickhouse-server() [0x8045c82] 8. /usr/bin/clickhouse-server(ThreadPool::worker()+0x19d) [0x857af4d] 9. /usr/bin/clickhouse-server() [0x8d9675e] 10. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76b9) [0x7fdec62076b9] 11. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6c) [0x7fdec5c343dc]

а mongo RS как external dictionary никто не пробовал коннектить?

Подскажите, пожалуйста, ответ на глупый вопрос. Допустим, у меня есть HDFS с AVRO, где хранятся данные в нужной мне структуре. Под них создана таблица в КХ. Есть ли какие-нибудь готовые коннекторы, чтобы данные импортировать?

Подскажите, пожалуйста, ответ на глупый вопрос. Допустим, у меня есть HDFS с AVRO, где хранятся данные в нужной мне структуре. Под них создана таблица в КХ. Есть ли какие-нибудь готовые коннекторы, чтобы данные импортировать?

Коннекторы где? Сам КХ умеет в csv подобные текстовые форматы "ходить" (таблица с движком File). В avro не умеет

Сейчас из AVRO кидаем в кролика, разбираем и пачками пишем в КХ. Хочется как-то упростить. Про движок File сеньк - почитаю.

Подскажите, пожалуйста, ответ на глупый вопрос. Допустим, у меня есть HDFS с AVRO, где хранятся данные в нужной мне структуре. Под них создана таблица в КХ. Есть ли какие-нибудь готовые коннекторы, чтобы данные импортировать?

kafka?

Сейчас из AVRO кидаем в кролика, разбираем и пачками пишем в КХ. Хочется как-то упростить. Про движок File сеньк - почитаю.

Так пишите в КХ сразу, зачем avro и раббит?

на стороне хадупа доступа в КХ нет (и не будет). А вот из КХ в хадуп доступ получить можно. Авро по факту просто структура, применяемая для хранения данных.

А что насчёт Подключение внешних таблиц из MySQL, ODBC Реализовали уже? В документации ничего найти по ним не могу.. как пользоваться и т.п.

выше в чате

ищи

там есть инфа как использовать

А что насчёт Подключение внешних таблиц из MySQL, ODBC Реализовали уже? В документации ничего найти по ним не могу.. как пользоваться и т.п.

https://clickhouse.yandex/docs/ru/dicts/external_dicts/ https://clickhouse.yandex/docs/ru/dicts/external_dicts_dict_sources/#odbc

https://clickhouse.yandex/docs/ru/dicts/external_dicts/ https://clickhouse.yandex/docs/ru/dicts/external_dicts_dict_sources/#odbc

Это использование внешних словарей В роад мапе говорилось о внешних таблицах Это разве не разные вещи? Синтаксиса даже пример был приведён SELECT ... FROM mysql('host:port', 'db', 'table', 'user', 'password')`

Есть движок Mysql

https://clickhouse.yandex/docs/ru/table_engines/mysql/

Про другое не слышал, сорян, может другие парни что подскажут

Есть движок Mysql

У меня внешняя таблица в базе оракл ((

Если я создаю таблицу в которой всегда одна партиция (безымянная tuple()) ENGINE = ReplacingMergeTree ORDER BY (userid ) как ей сказать OPTIMIZE table ... final ?

Так и сказать, OPTIMIZE table PARTITION tuple() FINAL

Для интересующихся loghouse'ом. Чтобы отвязаться от достаточно жёсткой привязки к kubernetes и fluent - сделал демона, который принимает логи как syslog и пишет их в КХ, в таблицы логхауса. Он простой, не универсальный и немного вендорлок, но будет дорабатываться https://github.com/kak-tus/loghouse-acceptor

Так и сказать, OPTIMIZE table PARTITION tuple() FINAL

ok, спасибо, я в кавычках пытался ?

а правильно я понимаю что ReplacingMergeTree после какого-то "кол-ва строк" (размера партов) перестанет мержиться и дубликаты остануться навсегда? SELECT count(*) FROM replacing_test 500055000 SELECT count(*) FROM replacing_test FINAL 500000000 Причем, что странно в system.parts два куска по 360МB и 4 поменьше, а max_bytes_to_merge_at_max_space_in_pool 200GB select * from system.merges пусто, движок без репликации (ReplacingMergeTree) -------- упс, я дурачок. я выполнял OPTIMIZE table replacing_test PARTITION 197001 final вместо OPTIMIZE table replacing_test PARTITION '0000-00-00' final

привет всем. извиняюсь если faq. какой наиболее оптимальный хранения (Engine) и запроса если нужно вытащить список последних значений по ключу? CollapsingMergeTree и select final?

господа а не пилил ли кто нить обвязку для кх на ансибле для управления users.d ?

поделитесь пожалуйста если да:)

Есть на гитхабе

У меня юзеры статичные просто конфиг готовый подсовываю

почти всё там есть :) а можно чуть сузить :)

Гуглится запросом кликхаус ансибл

Там несколько реализаций

блабгодарю

чот есть две. https://github.com/AlexeySetevoi/ansible-clickhouse https://github.com/clickfreak/clickhouse-ansible-role но обе не умеют управлять пользователями :(

Ну насколько помню там была реализация по генерации конфига юзеров из переменных ансибла

Или вы прямо модуль хотите как для mysql или postgres

ну такой то наверное оверкил. но я думал как раз про похожую реализацию

Ну тут юзеры в файле мне кажется особого смысла нет, если сам руками не добавляешь юзеров то из параметров ансибла норм генерить , удалил юзера перегенерил конфиг и ок

Парни, привет. Скажите, есть какая-то разница между типом таблицы буфер и созданным буфером в размере n в любимом яп?

В идеале хотелось бы инсертить в буфер ch из курсора и не парится

Парни, привет. Скажите, есть какая-то разница между типом таблицы буфер и созданным буфером в размере n в любимом яп?

Разница в том чью память кушать. Приложения или сервера ch. Ну плюс в приложении это все придётся писать, а в ch уже реализовано.

И все-таки я не понимаю зачем jdbc драйвер портит время, это просто загадка, 20 лет работаю дба, такого еще не видел. select now(), toString(now()) now() | toString(now()) --------------------+-------------------- 2018-03-27 23:47:15 | 2018-03-28 02:47:15 вот зачем это? Сервер все равно не знает про мое локальное время и не может конвертнуть время по нормальному.

кто подскажет, как скоро обновятся версионарованные образы? последний образ 1.1.54343 а последняя версия 1.1.54370

Спасибо

Подскажите, пожалуйста, ответ на глупый вопрос. Допустим, у меня есть HDFS с AVRO, где хранятся данные в нужной мне структуре. Под них создана таблица в КХ. Есть ли какие-нибудь готовые коннекторы, чтобы данные импортировать?

Достаточно частый запрос, мне кажется оно просто должно скоро появиться PS: можно "попинать" https://github.com/yandex/ClickHouse/issues/1342

кто подскажет, как скоро обновятся версионарованные образы? последний образ 1.1.54343 а последняя версия 1.1.54370

Образы чего ?

Подскажите, пожалуйста, какая бестпрактика работы с FREEZE? Можно как-то получить номер бэкапа, куда упал результат текущей команды, чтобы потом запаковать и отправить на хранение? Или всю shadow надо инкрементально паковать?

Образы чего ?

docker тут других, на сколько знаю не используются

Кто знает? Настройка distributed_product_mode Какие может принимать значения? https://clickhouse.yandex/docs/ru/operations/settings/settings/ В документации ничего

Кто знает? Настройка distributed_product_mode Какие может принимать значения? https://clickhouse.yandex/docs/ru/operations/settings/settings/ В документации ничего

может true/false(1/0 точнее)?

нет ли способа для запроса типа select date, sum(field) from table where date > x and date < y group by date для дат с нулями таки получить нули вместо отсутствующих строк?

Как дата может быть нулём при таком where?

Если вдруг кому интересно, на 1 и том же объёме данных (~320GB) у кликхауса сжатие чуть-чуть эффективнее чем у MongoDB с zlib. Задача - хранить логи Nested структур нет, вложенные структуры MongoDB схлопываем в строку с json. CH Ratio 6.75:1 MongoDB Ratio 6.25:1 SELECT name, formatReadableSize(sum(data_compressed_bytes)) AS compressed, formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed, sum(data_uncompressed_bytes) / sum(data_compressed_bytes) AS ratio FROM system.columns WHERE (database = 'db') AND (table = 'logs') GROUP BY name ORDER BY ratio DESC ┌─name───────────┬─compressed─┬─uncompressed─┬──────────────ratio─┐ ... │ response │ 38.42 GiB │ 302.73 GiB │ 7.879369855004937 │ │ request │ 2.12 GiB │ 6.17 GiB │ 2.906845848873054 │ │ message │ 3.80 GiB │ 10.04 GiB │ 2.6440506333210316 │ │ int_array_ids │ 3.45 GiB │ 3.52 GiB │ 1.0193793820241392 │ └────────────────┴────────────┴──────────────┴────────────────────┘

нет ли способа для запроса типа select date, sum(field) from table where date > x and date < y group by date для дат с нулями таки получить нули вместо отсутствующих строк?

left join на даты?

может true/false(1/0 точнее)?

Уже нашли GLOBAL deny allow ... может ещё чё будет

Как дата может быть нулём при таком where?

дата не нуль просто если в эти даты не было событий - нет строк в ответе например вместо 2018-03-01 | 10 2018-03-02 | 0 2018-03-03 | 5 я получаю 2018-03-01 | 10 2018-03-03 | 5

нет ли способа для запроса типа select date, sum(field) from table where date > x and date < y group by date для дат с нулями таки получить нули вместо отсутствующих строк?

вам надо сделать скелет из дат и слева присодеинить к нему данные и проверять на NULL. Классика

нет ли способа для запроса типа select date, sum(field) from table where date > x and date < y group by date для дат с нулями таки получить нули вместо отсутствующих строк?

Почитайте это https://groups.google.com/forum/#!searchin/clickhouse/system.numbers|sort:date/clickhouse/MbSXixiKDBM/uXweTVFABQAJ

спасибо

Можно просто дропнуть, но если запросы будут идти от пользователя с log_queries=1 она снова будет создана

Сделал DROP TABLE system.query_log, чтобы очистить. Но она не создалась. - Так и должно быть? - Где можно взять SQL запрос на ее создание?

да так и должно быть, можно на любом другом сервере кх посмотреть структру

SHOW CREATE TABLE system.query_log