"Отсутствует возможность удалять столбцы, входящие в первичный ключ или ключ для сэмплирования (в общем, входящие в выражение ENGINE). Изменение типа у столбцов, входящих в первичный ключ возможно только в том случае, если это изменение не приводит к изменению данных (например, разрешено добавление значения в Enum или изменение типа с DateTime на UInt32)."

В принципе можно добавить явно что добавлять нельзя

https://clickhouse.yandex/reference_ru.html#Манипуляции со столбцами

А чтобы поменять первичный ключ, надо табилцы заново создавать?

"Если возможностей запроса ALTER не хватает для нужного изменения таблицы, вы можете создать новую таблицу, скопировать туда данные с помощью запроса INSERT SELECT, затем поменять таблицы местами с помощью запроса RENAME, и удалить старую таблицу."

Скажите, какова вероятность получить битую буду на кх? Просто хотим выкатить MVP, и запустить кх без репликаций. А если пойдут покупатели, то шардировать в дальнейшем.

Базу имелось ввиду

что такое MVP?

minimal viable product, первая рабочая версия

почти готовое решение)

Да

Если не будет проблем с железом врядли будут какие-то проблемы с железом

логично)))

У нас на амазоне ec2 больше двух лет без проблем сервис крутится

Ни одного падения

ну тогда я думаю проблем у вас не будет.

Но конечно с репликами надежнее

Ок, будем пробовать

А зукиперу хватить какой-нибудь t2.small? Или помощнее нужны инстансы?

Доброе утро! Вопрос по сми2/кх - скачал docker pull spoonest/clickhouse-web-client. Сделал -p18000:3000. CLICKHOUSE_HOST=http://test:8123 При коннекте пишет connected to browser sync и на этом все. Пробовал без host. Эффект такой же

до этого пользовался e11it/clickhouse-frontend. Там старенько но работает.

докер это способ одной командой запустить неизвестный код из интернета под рутом

а есть официальный образ кх в докере-то?

? у вас есть какие то претензии к докеру?)) У меня например нет. Это не КХ а фронтенд КХ. Кстати КХ в докере тоже есть.

ну твой вопрос выглядит как "я запустил черный ящик из интернета и у меня не работает, помогите"

ну во первых давайте не тыкать ? Не помню что разрешал... Во вторых докеры - с оффициального репозитория. В третьих - могу создать докер имадж и залить с гитхаба сборку. Не проблема. Только смысл. И в четвертых - диалог получается не конструктивным, так как я не уверен что общаюсь с одним из разработчиков СМИ2

Честно ставить докер и поднимать весь проект смысла нет - если не планируете вносить правки , есть хостенная версия , или если хостингу не доверяете в репе лежит скомпиленный проект в папке Doc , собранный index.html+js+css - можно подсунуть их любому http серверу.

официальный образ кх для докера есть

https://hub.docker.com/r/yandex/clickhouse-server/

уже вижу в нем apt-get install —allow-unauthenticated :)

это вопрос к авторам и повод для баг репорта, я так думаю

но с учетом того, что репо по https

в этом флаге лично я ничего фатального не вижу

так или иначе обычно ключи для подписи льются предварительно тоже поверх https

а тут апкеты льются по https

все ОК, имхо.

Выложили релиз 1.1.54188. В нём исправление проблемы с OPTIMIZE FINAL и вертикальным мержем. В качестве бонуса также присутствуют NULLS FIRST/LAST, поддержка NULL в функции if, доработки ifNull, nullIf, coalesce. Оптимизация сравнений FixedString в случае размера 16 байт и ещё куча мелочей.

о, оптимизация для UUID! Спасибо :)

По задумке - для IPv6, но и для UUID тоже :)

IPv6 тоже оч круто :)

а в чем оптимизация заключается?

Ничего интересного. Вместо memcmp с неизвестным в compile-time аргументом делается сравнение либо через xmm регистры, либо через два UInt64.

отлично! больше скорости для айпи в6 выборок :)

>присутствуют NULLS FIRST/LAST а можно поподробнее. Что это такое?

ORDER BY x NULLS FIRST - сортировать по x, но все NULL-ы идут вначале.

а как хранить ипв4 и ипв6 правильно? отконвертить в4 в в6 и все в одну колонку свалить?

разные колонки

отдельный флаг про версию

в4 - uint32

в6 fixedstring16

Один столбец нормально. Ещё вариант - если часто аналитика только по IPv4 и их большинство, то сделать два столбца, и когда нужен только IPv4 - использовать только маленький столбец.

Приветсвую, коллеги! Задача есть неодинарная

Сможет ли CH быть заменой OpenTSDB + HDBase ?

OpenTSDB даёт слишком большой оверхед... хз где оно может поломаться.

Сможет ли CH быть заменой OpenTSDB + HDBase ?

Тебе нужно TS с подержкой KV labels?

Я бы лучше от конечной задачи пошел

Логи

Нужно хранить дохера логов

текстовых логов?

по идее да

или "пока да" )

логи разных формтов, есть syslog, есть json

это совсем в другую сторону просто. graylog, elk-stack, splunk (так вроде он называется?)

всё в кучу

а какие выборки делать по этим логам?

а какие выборки делать по этим логам?

гарафики в графане делать по запросам

логи разных формтов, есть syslog, есть json

Если есть возможность их распарсить и разложить по колонкам - это будет идеальная для КХ задача

это совсем в другую сторону просто. graylog, elk-stack, splunk (так вроде он называется?)

Elastic да, уже есть

http://stackoverflow.com/questions/27054954/elasticsearch-vs-cassandra-vs-elasticsearch-with-cassandra

вот тут интересно написано

That being said, ElasticSearch works great as a search engine. And Cassandra works great as a scalable, high-performance datastore.

Кассандра сможет лечь сверху хадупа

Вот пока в раздумьях OpenTSDB <> Cassandra (?CH)

если у вас есть фиксированный набор типизированных колонок, не меняющиеся строки и количество запросов меньше чем количество строк, которые они читают, то CH должен подойти.

Т.е. если я буду колонки добивать, при записи в базу, то будет оК?

Вот пока в раздумьях OpenTSDB <> Cassandra (?CH)

Сформулируйте сначала задачу. Кассандра не сможет вам дать ни аналитические запросы (которыми и хорош КХ), ни полнотекстовый поиск, и я до конца не понимая описание задачи все равно могу с трудом предположить, что она вам подойдет. Пытаться скрещивать вторичные индексы кассандры с эластиком без хорошего знания этих продуктов так себе идея.

А вот такой вопрос. Положить данные в CH это как бы не проблема да. Но как их потом оттуда все достать если они не входят в оперативку одного сервера?

а как вы это делаете с другими базами

ну в других базах нет отграничения на то что ответ должен быть меньше доступной оперативки

т.е. в самом худшем случае утрируя можно сделать select * from table и направить вывод в файл

только обработка на потоке - решение

но для этого нужен какой-либо язык программирования которым можно прогнать данные и выдернуть то, что требуется

кстати, а что значит не входят в оперативку?

добавьте терабайт свопа

т.е. в самом худшем случае утрируя можно сделать select * from table и направить вывод в файл

если вы не делаете group by или order by, то вам не нужно чтобы ответ влезал в память. в принципе в случае group by это тоже не всегда обязательно.

а вам нужно достать данные из CH чтобы что c ними делать?

Ну у меня вопрос скорее теоретический. Сейчас опишу.

Нужно хранить дохера логов

Кто-то вроде пытался тут логи в КХ складывать. Если они хорошо структурированные, выйдет вероятно интересно

хотя вроде все просто. Сидел я на CH, накопил 3 ПБ данных. И тут вдруг появилась какая то другая база на которую я хочу переехать. Как данные перенести?

я думаю это скорее будет проблема другой базы это всосать :)

и вообще если у вас 3Пб - у вас 20 девелоперов и 4 инвестора.

я думаю это скорее будет проблема другой базы это всосать :)

окей, предполагаем что такой проблемы нет))

собственно, очевидный вариант - вскрыть формат хранения кликахуса

и прочитать файлы данных наживую, с диска.

обычно в этом случае у вас есть а) диапазоны по времени б) работающий sample offset . одним insert select все равно вряд ли обойдется.

а сам кликахуса вырубить

формат хранения хорошо описан, есть магия с датами - но все вполне можно понять

в итоге у вас будет тулза которая будет блок за блоком читать данные с КФ и вгонять их в целевую базу

или наживую, опять же, конвертировать в новый формат хранения новой базы