6 гбит на чтение при отсутствии записи

а куда слать багрепорт по поводу битой разметки в документации?

github issues

или github pull requests :)

она просто судя по всему где-то отдельно собирается, в репе только огромный хтмл файл

там вообще где-то новая документация для readthedocs лежала ещё

http://clickhouse.readthedocs.io/en/latest/reference_en.html - те же грабли

О, а readthedocs - хорошо?

Ребят, я вот уже почти доделал доки в readthedocs для англ версии

Чуть менее актуальная русская есть тут. http://clickhouse-docs.readthedocs.io Но как только доделаю англ, то все сольём и должно быть ок)

Ребят, я вот уже почти доделал доки в readthedocs для англ версии

Спасибо, очень ждём!

Оффтоп. Сейчас на митапе Заббикса Владышев сказал, что общался с командой CH на конфе Перконы ~1 год назад. И сказал, что отказался от интереса в эту сторону после озвученных концептуальных проблем. Возможно сейчас всё изменилось (с)

Не припоминаю, чтобы были какие-то концептуальные проблемы. Насколько я помню, речь шла о том, что мы можем это сделать.

Про LVM - мы его раньше использовали, чтобы делать несколько разделов. Были подозрения, что LVM даёт какой-то существенный оверхед, но их не удалось ни подтвердить, ни опровергнуть. Сейчас у нас используются серверы без LVM, но сравнить по-нормальному не удалось. Также есть следующие соображения: - снапшоты действительно приводят к тормозам - мы это наблюдали раньше, но не на серверах с ClickHouse (на них снапшоты никогда не использовали); - не полностью понятно, как работает RAID-10 с помощью LVM - я так и не изучил до конца этот вопрос - даёт ли он такой же layout данных, как RAID-10 с помощью md (там ещё варианты - far, near), чтобы была хорошая скорость последовательного чтения. Мы никогда не использовали RAID с помощью LVM.

Про LVM - мы его раньше использовали, чтобы делать несколько разделов. Были подозрения, что LVM даёт какой-то существенный оверхед, но их не удалось ни подтвердить, ни опровергнуть. Сейчас у нас используются серверы без LVM, но сравнить по-нормальному не удалось. Также есть следующие соображения: - снапшоты действительно приводят к тормозам - мы это наблюдали раньше, но не на серверах с ClickHouse (на них снапшоты никогда не использовали); - не полностью понятно, как работает RAID-10 с помощью LVM - я так и не изучил до конца этот вопрос - даёт ли он такой же layout данных, как RAID-10 с помощью md (там ещё варианты - far, near), чтобы была хорошая скорость последовательного чтения. Мы никогда не использовали RAID с помощью LVM.

Рейд средствами LVM делать вообще странно, у него есть некоторые особенности в виде необходимости отдельного хранилища метаданных, насколько я помню

И вопрос наверное скорее как mdadm vs mdadm поверх которого LVM

в таком виде, пока не пользоваться snapshot'ами и если не сильно играть с "создам я кучу разделов, а потом увеличу 3-ий, 5-ый и 8-ой", то оверхед будет ну пара процентов

Спасибо за фидбэк, очень интересно!

Вот еще интересен чей-либо опыт с ZFS на линуксе

Дарова

никто тут случайно на golang не пишет??? никак не могу на нем FixedString(16) сгенерировать из UUID и в CSV записать

для clickhouse импорта надо =)

так вроде ж два драйвера есть

https://github.com/kshvakov/clickhouse/ и еще какой-то был

дело не в драйверах

хотя.... может быть и надо было заюзать этот драйвер он вон FixedString поддерживает

просто когда начинал писать был только драйвер от roistat который через HTTP работал

Кстати, а какой гошный драйвер сейчас считается тру? Или пока не определились?

А в чем проблема с FixedString? Мы пользуем драйвер riostat и проблем нет...

Кстати, а какой гошный драйвер сейчас считается тру? Или пока не определились?

Тот что кинули использует native interface, довольно адекватный с виду. Правда есть подозрение что если нужно вставлять много данных, то любой драйвер будет хуже чем код специально под проект

Спасибо!

А в чем проблема с FixedString? Мы пользуем драйвер riostat и проблем нет...

у меня в этот FixedString пытается записаться UUID в каком формате вы вставляете батчи?

ну то есть у меня много UUID и я хочу получить буст по производительности для FixedString(16) на группировочных запросах

Привет всем. Скажите, пока что нет никаких штук для гуи менеджмента из продуктов jetbrains?

вроде нет

спасибо

а jdbc драйвера разве нет?

попробуйте jdbc драйвер подключить, может заработает

Дада, я уже догуглился до этого, спасибо ребята. С праздником православных и католиков!

просто я был не уверен что метадата которая нужна idea будет правильного формата, т.к. алиасы вроде не работают

Всем привет!

Такой вопрос: в репозитории http://repo.yandex.ru/clickhouse/xenial/dists/stable/Contents-i386 тут только graphouse http://repo.yandex.ru/clickhouse/xenial/dists/stable/Contents-amd64 а тут и графхаус и все остальные пакеты Так и задумывалось?

ClickHouse работает только на архитектуре x86_64 (она же amd64).

ClickHouse работает только на архитектуре x86_64 (она же amd64).

Ясно, спасибо!

ClickHouse работает только на архитектуре x86_64 (она же amd64).

А это кстати архитектурное ограничение или просто не хотелось тратить время на старую архитектуру?

Думаю, что второе. А что, есть потребность запускать на 32-битных серверах? Разве что на каком-нибудь raspberry pi, но там мало оперативки, не развернёшься :) Кстати, Алексей пробовал запускать на 64-битном ARM-е (была надежда, что большее количество ядер поможет).

а как то можно ограничить количество памяти используемой при мердже?

ClickHouse работает только на архитектуре x86_64 (она же amd64).

На самом деле на arm64 тоже вполне работает и собирается, но на данный момент нужно более 2g оперативки для сборки, а на всех доступных платах за 40 баксов - как раз ровно два, но это не большая проблема, надо распилить FunctionsArithmetic.cpp

А это кстати архитектурное ограничение или просто не хотелось тратить время на старую архитектуру?

Насколько я слышал, в кх есть места с ассемблерными вставками, их никто под что то кроме амд64 и арм64 не делал

что-то нигде я не видел тут ассемблера. может и правда

есть SSE интринсики, как с SSE на ARM? Вероятно, никак

Врядли они налету конвертируются в ARM Neon

все sse места обложены корректными #if sse*, все ассемблерные места - #if x86_64 - потому оно под арм64 и собирается

Ясно, когда я занимался разработкой ClickHouse, я таких conditional-compilation путей не добавлял :)

Видимо это случилось после

под 32 бит скорее всего соберется с не очень большим количеством проблем, особенно если все внешние либы использовать

все sse места обложены корректными #if sse*, все ассемблерные места - #if x86_64 - потому оно под арм64 и собирается

Вроде в момент когда выложили в опенсорс не у всех мест был else

Всем привет. у меня вопрос для лайфтайм для внешних словарей в доке написано "Для cache-словарей может быть задано время устаревания (lifetime) данных в кэше. Если от загрузки данных в ячейке прошло больше времени, чем lifetime, то значение не используется, и будет запрошено заново при следующей необходимости его использовать." <lifetime> <min>300</min> <max>360</max> </lifetime> а лайфтам в каких единицах указывается? в минутах или в секундах?

в секундах

спасибо

Всем привет. Кто-нибудь использует функции для работы со словарями (в т.ч. словарями Яндекс.Метрики) в WHERE или PREWHERE секции? Например, WHERE regionToCity(RegionID)=55. Интересует, так же ли это эффективно, как WHERE CityID=55, если держать CityID в собственном столбце (не в ПК).

можете подсказать, как избежать ошибки DB::Exception: ARRAY JOIN requires array argument. в случае, когда тип колонки Nullable(Array(...))?

может CASTом конвертнуть в AS Array(...)? мне с enum'ами и подобной ошибкой помогает хз, правда, что из этого выйдет %)

Cannot convert data from a nullable type to a non-nullable type.

можете подсказать, как избежать ошибки DB::Exception: ARRAY JOIN requires array argument. в случае, когда тип колонки Nullable(Array(...))?

А зачем массив делать nullable? Пустым нельзя обойтись?

мне показалось, что так будет удобнее при запросах

Не будет

Лучше стараться не использовать null

Их поддержка сейчас не самая лучшая

ну и к тому же это свойство страницы, массива может либо не существовать, либо он может быть пустым

Ну только если это действительно важно для запросов. Хотя можно отдельный атрибут записать, по сути тоже признак null

А если у нас nested и массивы должны быть одинакового размера, в этом случае нормально использовать null, правильно понимаю?

так и было раньше. я посмотрел на нуллы после первого их появления в CH – тогда было много багов, поэтому решил подождать с изменением таблиц. сейчас на первый взгляд всё показалось ок, но вот arrayJoin я как-то упустил.

Ну только если это действительно важно для запросов. Хотя можно отдельный атрибут записать, по сути тоже признак null

я думаю, что нормально было бы при наличии {column} IS NOT NULL конверить такую колонку из Nullable-типа в обычный (это чисто пользовательский взгяд)

День добрый. Вопрос. При создании materialized views в структуре таблиц создаются некие внутренние структуры типа .inner.<view_name>. Произошла странная ситуация, было переполнение места на сервере - в итоге самих вьюх нет, а вот эта ".inner"-структура осталась, дропами не удаляется и новые вьюхи не создаются. Что делать?

А если у нас nested и массивы должны быть одинакового размера, в этом случае нормально использовать null, правильно понимаю?

Смотрите, поддержка null появилась в КХ достаточно недавно и по прежнему есть ограничения в работе

Поэтому их ещё и в документации нет.

Я это понял

Если есть возможность их не использовать - не используйте.

Если их не задействовать, то как тогда обходить ошибку не соотвесвтия размеров массивов при вставке в нестед колонки, ибо если ты их оставляешь пустым - то у тебя получается ошибка. Я пока оставил null тип.

Что за ошибка?

момент

Exception("Sizes of nested arrays do not match")

это эксепшн точнее

День добрый. Вопрос. При создании materialized views в структуре таблиц создаются некие внутренние структуры типа .inner.<view_name>. Произошла странная ситуация, было переполнение места на сервере - в итоге самих вьюх нет, а вот эта ".inner"-структура осталась, дропами не удаляется и новые вьюхи не создаются. Что делать?

решено. drop table `.inner.<view_name>`;