@OlgaRudneva если DevExpress под .NET то вот ADO.NET provider через нативный протокол: https://github.com/killwort/ClickHouse-Net

поняла, спасибо)

Коллеги, подписался неделю назад на канал этот. Наблюдаю сплошные проблемы с КХ, это точно ентерпрайз уже решение ?

точно, просто многие хотят странного и принимают странные решения

ну именно "проблем с КХ" я не вижу :) так, чтобы потерял данные, или встал колом, или еще что-то

в основном тут проблемы у клиента, не у сервера

ну именно "проблем с КХ" я не вижу :) так, чтобы потерял данные, или встал колом, или еще что-то

Было ару дней назад в переписке.

это все ерунда, "очень быстро" и "очень бесплатно" все перевешивает :) на проде с репликацией вообще никаких гвоздей

Коллеги, подписался неделю назад на канал этот. Наблюдаю сплошные проблемы с КХ, это точно ентерпрайз уже решение ?

Вы можете подписаться на любой активный канал о СУБД и увидеть кучу проблем

Было ару дней назад в переписке.

ну это проблемы из разряда я не следил за зукипером и кончилось место и он умер

или у нас сдохли диски и на ноде был кх и зукипер и теперь не пойми что получилось

Больше напоминаем проблемы я сам выстретил в себе в ногу и пистолет плохой

Коллеги, подписался неделю назад на канал этот. Наблюдаю сплошные проблемы с КХ, это точно ентерпрайз уже решение ?

Либо вы можете обойтись без кх и тогда вам кх не нужен, либо нет. Альтернатив продукту нет. Т.е. выбирать не из чего. Либо платить деньги за редшифт и вертику, сильно больше, чем затраты на доп. программистов и круглосуточных дба.

Либо вы можете обойтись без кх и тогда вам кх не нужен, либо нет. Альтернатив продукту нет. Т.е. выбирать не из чего. Либо платить деньги за редшифт и вертику, сильно больше, чем затраты на доп. программистов и круглосуточных дба.

Есть как минимум Greenplum

он как минимум на постгресе и это про другое

Он про тоже самое, но SQL у него более размашистый как у PostgreSQL

у него внутри же постгрес

Всем кому интересно как мониторить Clickhouse встроенными в CH средствами собрал демо-стенд https://github.com/Slach/clickhouse-metrics-grafana планирую улучшать Dashboards и добавить Moira Alerts и попробую все таки написать документацию

что то банальный импорт и замена data source не взлетает :)

у него внутри же постгрес

PostgreSQL даже "ванильный" очень расширяемая штука, например Citus и https://github.com/postgrespro/vops. В Greenplum используется кодовая база PostgreSQL, но он там сильно переписан как, собственно, и Virtica

PostgreSQL даже "ванильный" очень расширяемая штука, например Citus и https://github.com/postgrespro/vops. В Greenplum используется кодовая база PostgreSQL, но он там сильно переписан как, собственно, и Virtica

ну когда изучал вопрос как то про него нигде не увидел инфы , думаете так будет быстро варить триллион записей как кх на слабом железе?

не будет

что то банальный импорт и замена data source не взлетает :)

Вы с каким префиксом данных хоаните? Кликхаус надо настроить

что то банальный импорт и замена data source не взлетает :)

Посмотрите config.xml в репозитории

ну когда изучал вопрос как то про него нигде не увидел инфы , думаете так будет быстро варить триллион записей как кх на слабом железе?

Greenplum медленнее КХ, но за счет более продвинутой поддержки SQL, работы с типами данных и отсутствием ряда проблем молодого продукта он, вполне себе, может быть более правильным выбором чем КХ

Greenplum медленнее КХ, но за счет более продвинутой поддержки SQL, работы с типами данных и отсутствием ряда проблем молодого продукта он, вполне себе, может быть более правильным выбором чем КХ

Медленнее для нас не вариант, именно скорость основной критерий у нас по выбору, чтобы строить отчёты онлайн

Коллеги, добрый день. А кто нибудь видел/делал бенчмарки на коннектор из Кафки в кх?

Т.е. Kafka engine

Вы с каким префиксом данных хоаните? Кликхаус надо настроить

не уверен, что понял правильно я взял доску queries, которая дергает таблицу system, поменял data source и еще какие то настройки сверху нужны?

Коллеги, подскажите, пожалуйста, как можно передать в toDate массив? Сейчас есть такое (работает): toRelativeMonthNum(Date) in (toRelativeMonthNum(toDate('2018-03-01'))) Надо, чтобы в toDate(массив дат). Есть предложение куда смотреть?

не уверен, что понял правильно я взял доску queries, которая дергает таблицу system, поменял data source и еще какие то настройки сверху нужны?

unexpected query_log отсутствует в system

Коллеги, подскажите, пожалуйста, как можно передать в toDate массив? Сейчас есть такое (работает): toRelativeMonthNum(Date) in (toRelativeMonthNum(toDate('2018-03-01'))) Надо, чтобы в toDate(массив дат). Есть предложение куда смотреть?

Кажется, должен помочь arrayMap

unexpected query_log отсутствует в system

вам нужно поменять настройки КХ так, чтобы он начал логировать запросы. По дефолту он этого не делает

Кажется, должен помочь arrayMap

Спасибо, сейчас попробую

вам нужно поменять настройки КХ так, чтобы он начал логировать запросы. По дефолту он этого не делает

Я не знаю, есть ли в указанном репо инструкция как это сделать, но вы можете взять ее отсюда в разделе How to install https://grafana.com/dashboards/2515

Я не знаю, есть ли в указанном репо инструкция как это сделать, но вы можете взять ее отсюда в разделе How to install https://grafana.com/dashboards/2515

инструкции в моем репо нет еще

Есть как минимум Greenplum

Greenplum же совсем для других целей, не для olap

Greenplum же совсем для других целей, не для olap

??? ;) колончный greenplum не для OLAP нагрузок? а для чего?

=) вот вы лучше скажите мне не смотрел ли кто в сторону https://github.com/baidu/palo ?

??? ;) колончный greenplum не для OLAP нагрузок? а для чего?

не увидел сначала что он и колоночно умеет

судя по тестам https://clickhouse.yandex/benchmark.html#[%2210000000%22,[%22ClickHouse%22,%22Vertica%22,%22Greenplum(x2)%22,%22Greenplum%22],[%220%22,%221%22]] он и рядом с CH не стоял

А кто подскажет функцию которая складывает значения в массивах по индексам? Вот такие массивы. На выходе нужен массив такой же длинны, только где все просуммированно? https://img.facedsid.ru/bomqg.jpg

Кто помнит на память? )

sumMap

У меня не два массива ( У меня есть например три массива одной длины: [0,1,1,1] [1,1,1,1] [1,1,0,1] На выходе нужно получить [2,3,2,3] например

Я помню, что видел где то примеры, но не могу найти нигде (

SELECT sumForEach(x) FROM ( SELECT arrayJoin([[0, 1, 1, 1], [1, 1, 1, 1], [1, 1, 0, 1]]) AS x ) ┌─sumForEach(x)─┐ │ [2,3,2,3] │ └───────────────┘

SELECT sumForEach(x) FROM ( SELECT arrayJoin([[0, 1, 1, 1], [1, 1, 1, 1], [1, 1, 0, 1]]) AS x ) ┌─sumForEach(x)─┐ │ [2,3,2,3] │ └───────────────┘

Дааааа! То, что нужно! Спасибо!

Коллеги, подписался неделю назад на канал этот. Наблюдаю сплошные проблемы с КХ, это точно ентерпрайз уже решение ?

Ну тут во-первых влияние "ошибки выжившего" . В основном народ начинает по чатам / форумам ходить если что-то не работает. Те у кого все работает - не ищут чаты / форумы чтоб написать "боже как же это восхитительно".

PostgreSQL даже "ванильный" очень расширяемая штука, например Citus и https://github.com/postgrespro/vops. В Greenplum используется кодовая база PostgreSQL, но он там сильно переписан как, собственно, и Virtica

Вертика написана с нуля, там только парсер SQL взят внешний какой-то. Постгресовские корни в Гринпламе его сильно ограничивают. Примерно в три раза медленее Вертики на одинаковых данных.

А во вторых кликхаус действительно пока не идеален. Но с его неидеальностью вполне можно жить. Просто загрузите пару сотен гб данных и выполните какой-нибудь селект. Эффект "вау" гарантирую, особенно если пересаживаетесь с обычных строковых rdbms

Если пересаживаться со всяких хадупув и т.п. - то эффект "вау" тоже будет, но главным образом из-за того как всё может быть просто - не нужно сложных кластеров, мап-редьюсов, мезосов и т.п. просто загрузил данные из CSV и получил над ними полный контроль

Вертика написана с нуля, там только парсер SQL взят внешний какой-то. Постгресовские корни в Гринпламе его сильно ограничивают. Примерно в три раза медленее Вертики на одинаковых данных.

В вертике постгресовые корни сильнее и эти корни Майкл Стоунбрейкер )

А если для веб-аналитики - то кликхаус обладает кучей очень специфических и очень полезных фичеров узко заточенных под эту конкретную проблему.

> В вертике постгресовые корни сильнее и эти корни Майкл Стоунбрейкер ) Он не корни, он садовник )

Подскажите, пожалуйста, не сталкивался ли кто-нибудь с необходимостью конвертировать uuid в формате mixed-endian в строку? Функция UUIDNumToString принимает uuid как big-endian. Пока только такое придумал:

UUIDNumToString(toFixedString(concat(reverse(substring(docUuid, 1, 4)), reverse(substring(docUuid, 5, 2)), reverse(substring(docUuid, 7, 2)), substring(docUuid, 9, 8)), 16))

Можно ли как-то попроще сделать?

Как вернуть массив элементов которых нет в базе из переданного массива К примеру В базе есть 1,2,5,7,9 Я передал 1,2,3,4,5,6,7,8,9 Получил 3,4,6,8

лямбды, фильтры

или arrayJoin, подзапрос и groupArray )

btw лямбды крутые, я недавно запрос строил и так радовался им ?

или arrayJoin, подзапрос и groupArray )

Они нормально отработают к примеру на 1М элементах в запросе? Или лучше делить?

Насколько оптимален этот запрос? SELECT arrayFilter(x -> has(groupArray(user_id),x)=0, [2,3,4,5]) AS res FROM download WHERE user_id IN (2,3,4,5) GROUP BY 1 LIMIT 100

а он делает то что вам надо?

а он делает то что вам надо?

Вот это

Как вернуть массив элементов которых нет в базе из переданного массива К примеру В базе есть 1,2,5,7,9 Я передал 1,2,3,4,5,6,7,8,9 Получил 3,4,6,8

arrayIntersect есть, arraySubtract что-то не вижу.

Что-то вылетело, а какая функция объединяет элементы при агрегации, мне нужно как то так: select client_id, make_array(watch_id) from hits group by client_id

groupArray?

Добрый день. Уверен кто-то уже измерял разницу в скорости селектов по ключу если он Date или DateTime? Сейчас у нас ключ в формате Date и нам этого вполне хватало, но вот пришла идея вводить часовые пояса, но тогда не достаточно просто даты, нужно и время

groupArray?

Оно, спасибо!

Добрый день. Уверен кто-то уже измерял разницу в скорости селектов по ключу если он Date или DateTime? Сейчас у нас ключ в формате Date и нам этого вполне хватало, но вот пришла идея вводить часовые пояса, но тогда не достаточно просто даты, нужно и время

Ну и храните время отдельным столбцом

Ну и храните время отдельным столбцом

Сейчас вопрос в другом. Настолько ли нам нужны часовые пояса, если существует просадка по времени. Если просадки нет или она незначительная, то так и сделаем, разве что ключ изменим

Всем доброго дня! Нарвался на КХ при изучении систем, которые могли бы потянуть большие объемы данных, но по описанию вижу, что для OLTP оно не годится. Сам я не разработчик, поэтому прошу помощи - подскажите на что можно посмотреть, если нужна высоконагруженная СУБД и обвязка? Заранее спасибо!

мы используем postgres+clickhouse )

в кликхаусе только нужные для аналитики данные

такчто вполне подходит

в кликхаусе только нужные для аналитики данные

В кликхаусе только id шки? А имена словарями подключаете?

имена словарям подключаются уже в жаве

в кх только циферки

руки не доходят внешние справочники сделать

А почему не словари КХ?

Ясно

а так нам очень нравится

и нету риска

мы можем в любой момент дропнуть кх

и залить заново

Храните в оперативе? А сортировка по имени как?

Просто КХ дает сортировку и поиск по подключенным словарям

Это удобно для таблиц и поиска в целом

мы можем в любой момент дропнуть кх

Аж глаз задёргался

Хорошо у вас

Хорошо у вас

А в чем проблема?

мы и так при переходе на новую версию дропаем)

потому что меняются логики формирования части атрибутов