дропнуть и создать заново?

если не хочется структуру лишний раз указывать, то так: CREATE TABLE mem_ AS mem; DROP TABLE mem; RENAME TABLE mem_ TO mem;

Да, это понятно , но не особо красиво.

650 членов )

подскажите пожалуйста дампы из КХ можно импортнуть в mysql?

хочу поэкспериментировать с производительностью

джойню две таблицы по 30к записей каждая, по ряду параметров + регэкс, как-то долго

tab separated в mysql не заливается?

Ещё вопрос, если можно. По доке не удаётся понять что такое local-mode. Вопрос снимается - надо было просто запустить :)

Коллеги, а неужели никто не хочет подать доклад на РИТ?

ни одного доклада в заявках не вижу

Можно подать доклад. Пока ещё никто не обращался. Времени немного осталось - ещё надо посмотреть, не пересечётся ли с какими-то другими мероприятиями. Организаторы заинтересованы в нашем докладе?

да, конечно!

подавай

Хорошо - сейчас сориентируюсь по расписанию...

Планируется ли тип данных Time с точностью до ms ?

А то не очень удобно всё в UInt32

Пока что нет, но запросов много. Поищи на github таск, или создай

Спасибо.

Вопрос: можно ли как-то применить функцию при insert из csv файла? А то сейчас приходится загонять во временную таблицу и потом в основную преобразовывая string в uint

Нет, сейчас нельзя. Самому часто нужна такая возможность и приходится использовать временную таблицу.

Нет, сейчас нельзя. Самому часто нужна такая возможность и приходится использовать временную таблицу.

За этот реквест можно где-нибудь проголосовать?

Можно проголосовать коммитами)

И в эту же тему вопрос — сейчас на сервер КХ можно подложить CSV/TSV с тем чтобы потом сделать select * from "этот csv/tsv"? Как я понял локальный КХ это умеет. А серверный КХ?

Можно проголосовать коммитами)

В плюсах вообще не секу.

Вообще кто-нибудь из-вне пробовал коммититить в код КХ? Там сильно запутанная кодовая база?

Вообще кто-нибудь из-вне пробовал коммититить в код КХ? Там сильно запутанная кодовая база?

я тоже не секу, но код клёвый, в целом понятно

я тоже не секу, но код клёвый, в целом понятно

с какой целью изучали? понять как оно работает "под капотом"? или искали скрытые фичи? :)

и то, и другое. и хотел сделать функции для работы с UUIDами (ушла пара вечеров). только полез мерджить, как выяснил, что Алексей их сделал, не сговариваясь %)

Вообще кто-нибудь из-вне пробовал коммититить в код КХ? Там сильно запутанная кодовая база?

Для девелоперов есть дока https://github.com/yandex/ClickHouse/blob/master/doc/developers/architecture.md

И в эту же тему вопрос — сейчас на сервер КХ можно подложить CSV/TSV с тем чтобы потом сделать select * from "этот csv/tsv"? Как я понял локальный КХ это умеет. А серверный КХ?

Тоже умеет. Движок таблиц File.

Тоже умеет. Движок таблиц File.

Спасибо. А он при чтении лочит файлы-источники? Если нет, то его же можно для импорта использовать на стороне сервера?

Насколько я помню, не лочит. Да, можно использовать для импорта - подложить файл и Insert select. Преимущества перед запуском clickhouse-client для импорта локально на сервере - нет.

Вот кстати по поводу clickhouse-local. А он типы данных сам определяет или там все поля стринговые получаются?

Надо сначала схему ему дать, а там как обычно все

@milovidov_an Алексей, подскажите, пожалуйста, сделать публичный ишью-трекер все еще планируется?

@milovidov_an Алексей, подскажите, пожалуйста, сделать публичный ишью-трекер все еще планируется?

альтернатива тому что есть на гитхабе?

альтернатива тому что есть на гитхабе?

Я не в курсе какой статус у гитхаба. Мой вопрос об актуальном списке планируемых доработок и о текущей работе, список зареганных багов.

Да, планируется публичный трекер. По крайней мере нам его обещали сделать.

/stat@combot

combot.org/chat/-1001080295593

Сделал сравнение КХ с kdb. Извиняюсь за формат в котором это :)

Вывод - с диска КХ конечно огонь. Но, на запросах из памяти оно отстаёт на порядки, из-за отсутствия индексов.

А нормально что при сборке КХ съедает 12+ГБ диска? База данных должна хранить данные, но это же должны быть мои данные а не ее?

Это нормально. Сам исполняемый файл clickhouse имеет размер чуть больше 500 MB. Из этого большая часть - отладочная информация. Без неё в районе 150 MB. Остальное - всякие тестовые программы, каждая из которых содержит (статически линкует) тот же код. При сборке .deb пакетов сейчас сделано так, что отладочная информация идёт отдельно (в отдельном -dbg пакете, который можно не устанавливать). Чтобы ускорить линковку тестовых программ и уменьшить место, которое для них требуется, есть возможность включить опцию динамической линковки со своими библиотеками. Также тестовые программы можно не собирать (скорее всего, они вам не нужны). Для этого, пишите make clickhouse вместо make. Размер кода в районе 150 MB получается из-за большого количества инстанцирований шаблонов.

Спасибо, попробую. У меня на ноуте дев виртуалка была на 20 гигов. На постгрес и Машу хватало с запасом :)

Вывод - с диска КХ конечно огонь. Но, на запросах из памяти оно отстаёт на порядки, из-за отсутствия индексов.

=> вопрос: можно ли в перспективе ожидать какой-то MemoryMergeTree или какой-то параметр для придудительного удержания в памяти части MergeTree? Судя по google.groups, не только у меня такая задача.

Пока не планировали. Может быть будет как-то согласовываться с задачей про кэширование промежуточных результатов выполнения запроса.

не нашел в доках где можно указать разделитель (;) для столбцов в строке при импорте данных в кх INSERT INTO data FORMAT CSV такое есть?

нет

@prill: Добрый день. Сделал pull request

привет всем. насколько я понимаю при insert from select позиционные параметры не поддерживаются. и надо при несоответствии имен переназывать их name_in_select_table AS name_in_insert_table

правильно?

но у меня все равно возникает ошибка There is no column with name name_in_insert_table.

я создавал когда-то баг https://github.com/yandex/ClickHouse/issues/390, по нему есть коммит, но не понятно до конца как это сейчас работает

или насколько я понимаю это уже в мастере, но зарелизится в версии v1.1.54233, т.ч. пока поведение должно быть старым

это еще 7 марта закоммитили, оно уже давно должно быть в стабильной

проверил на v1.1.54198

:) insert into test2 select * from test1; :) insert into test2 (key2, value2) select key1, value1 from test1; оба этих случая работают норм )

обновился.

INSERT INTO product_events2 SELECT ts, ***** from old_table.

DB::Exception: Types must be the same for columns at same position. Column product_price has type Float32, but column product_name has type String.

это выглядит как бага? т.к. позиционных аргументов тут нет

хм. а если ручками перечислить все столбцы events2 перед selectом?

вроде нашел как воспроизвести, сейчас обновлю иссью. ну мне не очень хочется 80+ колонок руками писать (

жесть)) представляю

там еще сегфолт происходит, если в select-запросе больше столбцов, чем надо %)

обновил https://github.com/yandex/ClickHouse/issues/390

можешь сюда же дописать про segfault?

=)) я похоже запустил clickhouse вместе с zetcd https://gist.github.com/Slach/7d2e15fea5485e42a805c3fb73840c63

ништяк! репликация нормально работает? может, опишете, че как настроить статьёй какой-нибудь?)

Добрый день, подскажите может есть какие-то инструменты для умных миграций бд? для билдирования версионности. хотим использовать liquibase (у нас 2 типа бд - mysql и clickhouse). че делать? может кто сталкивался

Ликвибейс не подойдет, так как апдейтов в кликхаусе нет

Ликвибейс в своих системных таблицах хранит инфу, обновляет

а что использовать то?

Репликацию проверю напишу

а что использовать то?

собственные инструменты?)

собственные инструменты?)

у нас задача такая. мы делаем правки на ui (php) вносим изменения в бд (в два типа бд). Миграции собираются и во время билда группируются. другая команда платформа (java) эти миграции может легко выполнить откатить на своем дев сервере)

написать свой extension, метаданные хранить в mysql.

например.

написать свой extension, метаданные хранить в mysql.

опиши подробнее плиз. пока не понимаю

вникнуть в принцип работы подобных решений, и придумать свое решние для работы с CH и MySQL

как тут еще подробней описать

у СМИ2 упоминалось их собственное решение по миграции CH на PHP

у СМИ2 упоминалось их собственное решение по миграции CH на PHP

тут дело не в самих миграциях а в том что те миграции которые реализованы сми2 или laravel php они как обертка orm исполняются через php. а java разрабы не будет ставить себе php им нужен какой-то инструмент чтобы накатить и откатиь миграции