Для финансовых расчетов еще нужна управляемая точность и округления. Чтобы давайть грубо погрешность в копейку на миллиарде.

Конкретно для наших приложений это, как раз, некритично.

Конкретно для наших приложений это, как раз, некритично.

CH можно использовать только для целей управленки . Фискальные отчеты аудиторы запретят

КХ как работает с decimal?

никак. можно хранить с точкой с запятой в виде строки. можно умножать до копеек и хранить интом

CH можно использовать только для целей управленки . Фискальные отчеты аудиторы запретят

Ну финансовые приложения разные бывают. Мы вот давно мечтаем о хорошем и быстром хранилище данных для machine learning с квази-онлайн переобучением. При этом нам агрегировать нужно, по сути, только результаты расчетов. Но также хотелось бы большие обучающие датасеты с сотнями и тысячами фич быстро класть в реалтайме, получать, сохранять и анализировать результаты, причем единообразным способом.

никак. можно хранить с точкой с запятой в виде строки. можно умножать до копеек и хранить интом

Ну вот нам инты подходят на 100%.

ну и отлично, одной проблемой меньше ;) если возможнвя потеря данных при репликации не смущает и если не будете фигачить по одной строке на инсерт, по 1000 инсертов в секунду, то все будет хорошо %)

а ВЫ точно уверены что у вас СТОЛЬКО финансовых данных что на одном сервере не уместется ?

в таких случаях вопрос часто стоит больше про недоступность в случае необходимости приглушить сервер, там необязательно проблема в количестве данных

ну и отлично, одной проблемой меньше ;) если возможнвя потеря данных при репликации не смущает и если не будете фигачить по одной строке на инсерт, по 1000 инсертов в секунду, то все будет хорошо %)

Так нам уже Яндекс анонсировал синхронную репликацию в скором времени, так что еще одной проблемой меньше.

Так нам уже Яндекс анонсировал синхронную репликацию в скором времени, так что еще одной проблемой меньше.

да, я помню ) ну не прямщас же

да, я помню ) ну не прямщас же

Говорят, только минорные баги остались, так что скоро уже. Мы подождем)

никак. можно хранить с точкой с запятой в виде строки. можно умножать до копеек и хранить интом

А int64 тоже поддерживается? С помощью него можно было бы сохранить 19 разрядов.

А int64 тоже поддерживается? С помощью него можно было бы сохранить 19 разрядов.

в смысле - поддерживается?

в смысле - поддерживается?

Тип поля.

В КХ есть нативные типы данных Int64 и UInt64, да

В КХ есть нативные типы данных Int64 и UInt64, да

Да, точно, успел уже глянуть доку. Спасибо.

с таким же успехом можно сделать FixedString любого размера и хранить там сколько угодно разрядов :)

Для UUIDов вот по факту достаточно 16 байт

с таким же успехом можно сделать FixedString любого размера и хранить там сколько угодно разрядов :)

Дык строка больше места сожрет. И преобразование типов будет дольше, чем деление 10....0

Дык строка больше места сожрет. И преобразование типов будет дольше, чем деление 10....0

Почему больше? Может больше, может меньше, это уж как хочется. Там бинарные данные хранятся же.

Почему больше? Может больше, может меньше, это уж как хочется. Там бинарные данные хранятся же.

Сорри, а чем число в бинарном формате будет по размеру отличаться от числа же в целом 64 бита?

Сорри, а чем число в бинарном формате будет по размеру отличаться от числа же в целом 64 бита?

ничем :) я к тому, что можно сделать хоть 72-битное число так-то

хоть 128-битное, хоть.. ну понятно в общем да :)

ничем :) я к тому, что можно сделать хоть 72-битное число так-то

Ну я не про "сделать" спрашивал. А про использовать с более-менее комфортом.

ну это другой вопрос, да. не знаю, мне вариант с копейками кажется наиболее надежным, но я не претендую на умение правильно и оптимально работать с финансовыми данными

ну это другой вопрос, да. не знаю, мне вариант с копейками кажется наиболее надежным, но я не претендую на умение правильно и оптимально работать с финансовыми данными

Если сумму нужно побить на большое количество частей, на которые не бьетс на цело, то чтобы округлить до копейки нужно держать "в уме" более точное значение.

Суть округления — побить на цело так, чтобы какждая часть получилась целой, но при этом сумма частей давала исходное целое.

Это не просто round каждой части.

Ах. Понял. Спасибо )

А есть же. Нужна более глубокая? Что-то специальное подразумевается под "интеграцией"?

Имею ввиду использование КХ в качестве стораджа для графита — про это Дмитрий говорил. Grafanus (Grafus, Grafitus??? :)) вроде называется. Как-то так

Имею ввиду использование КХ в качестве стораджа для графита — про это Дмитрий говорил. Grafanus (Grafus, Grafitus??? :)) вроде называется. Как-то так

Graf-house? :)

Graf-house? :)

Может и так :) На слух не воспринял

Есть движек GraphiteRollupSorted - который теоритически можно вызвать из Grafana, им заменить Graphite

Но шлюза из Grafana нет в открытом доступе - и вроде поэтому он не документирован

Graf-house? :)

нечто с таким названием есть на гитхабе уже https://github.com/GraphHouse

нечто с таким названием есть на гитхабе уже https://github.com/GraphHouse

Это что-то другое. Название случайно совпало (но на самом деле отличается одной буквой - то, что делает Дмитрий, называется Graphouse).

я еще поигрался с графитом и кликхаусом https://github.com/lomik/graphite-clickhouse . но пока достаточно сыровато

Алексей, а стоит ли постить в issue гитхаб баго-фичу CH ? std::exception. Code: 1001, type: std::bad_cast, e.what() = std::bad_cast Если сделать так: https://monosnap.com/file/ffG0vnHlFAnlx4UJrUAd19G9nv5zZD да запрос select кривой ... но std::bad_cast - не очень ответ ошибки )

Стоит. Плохое сообщение об ошибке.

Стоит. Плохое сообщение об ошибке.

можно поправить доку и сказать что установка из src это установка глубокой альфы а за стабильным софтом лезть в пакеты ? мне бы это сохранило два дня жизни

Пакеты из чего-то другого собираются?

Подскажите есть здесь кто к Tableau уже прикрутил ClickHouse ? Каким способо Вы это сделали?

Пакеты из чего-то другого собираются?

ну обычно как-то так, если я всё верно понимаю: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54046-stable

Пакеты из чего-то другого собираются?

они младшей версии

интересно, почему очень часто про версию, которая старше (она существует дольше), говорят, что она младше? видимо номер за возраст принимается

https://github.com/yandex/ClickHouse/blob/master/doc/build.md

интересно, почему очень часто про версию, которая старше (она существует дольше), говорят, что она младше? видимо номер за возраст принимается

Младшая, значит менее функциональная , Последниие версии это как растения которых позже сорвали , т.е. они успели вырасти и стать более взрослыми )

А какие проблемы? Делаете git clone проекта себе на комп, а потом немного магии: git checkout tags/{стабильная версия}

А какие проблемы? Делаете git clone проекта себе на комп, а потом немного магии: git checkout tags/{стабильная версия}

о, вот . молодец. Для дикого народа нужно 1) в инструкции по установке дать ссылку где проверить последню версию 2) инструкцию как на нее откатиться и не будет проблем .. не забывайте что Вы уже софт делаете для людей ))

ваще-т я помню, что это было где-то написано

что, типа, за стабильной версией надо в тег идти, а ни в коем случае не в master

о, вот . молодец. Для дикого народа нужно 1) в инструкции по установке дать ссылку где проверить последню версию 2) инструкцию как на нее откатиться и не будет проблем .. не забывайте что Вы уже софт делаете для людей ))

а пакеты не подходят?

а пакеты не подходят?

1) Если честно я ожидал от исходников возможность установки в выделенный каталог , что бы весь клик жил в одном каталоге а не размазанные по древу USR 2) Планирую сделать fork , что бы докрутить движок финансовыми расчетами и сделать его более похожим на OLAP 3) Был удивлен, когда из исходников собрал пакеты Теперь да.. установил из пакетов и пока буду развлекаться с тем что есть из коробки ... потом вернусь к соим хотелкам

что, типа, за стабильной версией надо в тег идти, а ни в коем случае не в master

Ну это как бы такая общепринятая конвенция работы с гитом. Не пишут же в инструкциях по сборке, как в shell перейти. Но я согласен, что для удобства в инструкции по сборке хорошо бы указывать тэг последней стабильной версии. Возможно, кто-то захочет быстро собрать проект для отладки именно той версии, которая у него стоит в продуктиве.

Роту солдат что ли завезли?

Dekin Кстати обеспечить консистентность при асинхронной репликации можно, если гарантировать, что вставка и чтение происходят из одной и той же реплики. Это хуже чем синхронная репликация, но лучше чем одна реплика. Когда машинка с репликой упадет есть следующие варианты - подождать пока поднимется и данные будут консистентны. Пренебречь, тем что часть данных до второй реплики могла не доехать и читать/писать с нее. Если же машинка целиком потеряна, то либо полностью переналить все данные - консистентность. Либо опять же читать со второй реплики - доступность.

Роту солдат что ли завезли?

разнарядка в часть пришла "личный состав обязан зарегаться в ..."

Роту солдат что ли завезли?

meetup вчера был.

Ну это как бы такая общепринятая конвенция работы с гитом. Не пишут же в инструкциях по сборке, как в shell перейти. Но я согласен, что для удобства в инструкции по сборке хорошо бы указывать тэг последней стабильной версии. Возможно, кто-то захочет быстро собрать проект для отладки именно той версии, которая у него стоит в продуктиве.

ваще я в 95% случаев видел, что для нестабильных штук используют ветку типа develop, но да :)

ваще я в 95% случаев видел, что для нестабильных штук используют ветку типа develop, но да :)

Вообще из пакетов , все встало ) и да работает )) Это так .. выброс воздуха был на тему "сам дурак"

Dekin Кстати обеспечить консистентность при асинхронной репликации можно, если гарантировать, что вставка и чтение происходят из одной и той же реплики. Это хуже чем синхронная репликация, но лучше чем одна реплика. Когда машинка с репликой упадет есть следующие варианты - подождать пока поднимется и данные будут консистентны. Пренебречь, тем что часть данных до второй реплики могла не доехать и читать/писать с нее. Если же машинка целиком потеряна, то либо полностью переналить все данные - консистентность. Либо опять же читать со второй реплики - доступность.

При этом теряется важнейшее преимущество CH - распределенные запросы.

При этом теряется важнейшее преимущество CH - распределенные запросы.

Вообще-то нет

Ну это как бы такая общепринятая конвенция работы с гитом. Не пишут же в инструкциях по сборке, как в shell перейти. Но я согласен, что для удобства в инструкции по сборке хорошо бы указывать тэг последней стабильной версии. Возможно, кто-то захочет быстро собрать проект для отладки именно той версии, которая у него стоит в продуктиве.

а я всегда почему то думал, что master - это stable, но видать все остальные ошибаются...

ну почему сразу ошибаются. мейнтейнеры КХ не обязаны следовать более-менее принятым практикам все же

особенно с учетом того, что рзаработка КХ началась в 2009 году или около того и вряд ли они ваще думали над тем, чтобы это в опенсорс выкладывать тогда)

особенно с учетом того, что рзаработка КХ началась в 2009 году или около того и вряд ли они ваще думали над тем, чтобы это в опенсорс выкладывать тогда)

Все встанет на свои места ) Благо сообщество поможет собрать грабли )

я видел множество репозиториев, где master не был аналогом stable или вообще отсутствовал

я видел множество репозиториев, где master не был аналогом stable или вообще отсутствовал

IMHO Нужно следовать лучшим практикаам )

IMHO Нужно следовать лучшим практикаам )

и лучшей практикой многие говорят использовать теги для релизов

Мастер нечасто аналог стейбла в опенсорсе

более того, теги в гите позволяют написать красивое описание релиза с ченжлогами и плюшками. ну и ссылками - где качать бинари для ленивых типа меня.

и лучшей практикой многие говорят использовать теги для релизов

Ok - я впервые юзаю git - как мне взять последний stable ?

найти тег со словом стейбл. выше линк был.

Ok - я впервые юзаю git - как мне взять последний stable ?

Из пакета в репозитории

:D

найти тег со словом стейбл. выше линк был.

так а можно как 6-летниму - одной командой , что бы скачать из ssh без заморочек

Из пакета в репозитории

я бы поправил: в репозитории дистрибутива!

так а можно как 6-летниму - одной командой , что бы скачать из ssh без заморочек

зачем 6летнему сорцы?

зачем 6летнему сорцы?

потому что он мечтает вырасти

так а можно как 6-летниму - одной командой , что бы скачать из ssh без заморочек

git clone link-to-repo && git checkout tag-name

потому что он мечтает вырасти

тогда ему сначала Git Pro прочитать бы

git clone link-to-repo && git checkout tag-name

тут пропущено cd .., если что :)

cd .. сделает еще хуже :)

и лучшей практикой многие говорят использовать теги для релизов

что мешает писать и теги и в мастере держать стейбл? ?

что мешает писать и теги и в мастере держать стейбл? ?

ничего не мешает. просто я считаю, что в каждом репозитории мейнтейнеры делают так, как им удобно. и это единственное, что важно. а юзеры могут пользоваться тем, как мейнтейнерам удобно. потому что конечный юзер должен брать пакет из репозитория дистрибутива, а не собирать сорцы.

А еще лучше - docker image