Аналитиков много ?

да

Тут несколько вариантов ) 1. Уменьшить количество запросов на один сервер КХ; 2. Сделать кеширующую прослойку; 3. Сделать несколько реплик и балансировать запросы на реплики.

Я бы выбрал третий вариант в любом случае и размазывал запрос по репликам. Только нужно учитывать replication lag.

да

зачем все делают одно и тоже ?

Т.е. может получиться так, что два одновременных запроса на две разные реплики вернут разный результат, а спустя секунду одинаковый - это нормально. Но если это критично, то делать не асинхронную, а синхронную репликацию.

Есть еще мысль что лучше сгруппировать похожие запросы и сделать один

Потому что много делается фулскана

Есть еще мысль что лучше сгруппировать похожие запросы и сделать один

есть какой-нибудь пример?)

Есть еще мысль что лучше сгруппировать похожие запросы и сделать один

У нас запросы для аналитики получаются примерно по 300 строк в высоту ) Например на один запрос в API может делаться n+m запросов ) где n - кол-во строк в выборке, m - кол-во метрик на каждую строку из выборки.

Тут несколько вариантов ) 1. Уменьшить количество запросов на один сервер КХ; 2. Сделать кеширующую прослойку; 3. Сделать несколько реплик и балансировать запросы на реплики.

пока начали 1 и 2 пути

пока начали 1 и 2 пути

Если у вас один шард, то поднимите несколько реплик и можно обычным round robin'om зарулить запросы

Я не уверен, но мне кажется, что у нас слишком жирные сервера в кластере, а данных на них не много, поэтому ничего не ложится...пока что :)

есть какой-нибудь пример?)

Например делать не по одному запросу на каждый аккаунт, а сгруппировать их

Вместо where accountId= сделать accountId in () и group by accountId

Вместо where accountId= сделать accountId in () и group by accountId

У нас кстати так и работает. Причем можно еще указывать конкретные accountId, например если страница с пагинацией и заранее известны идентификаторы accountId.

У меня запросы отрабатывают вот как то так. https://img.facedsid.ru/bbv7f.jpg

Круто, спасибо, попробуем что то такое применить!)

кто-нибудь гугловый DataStudio использует? они открыли доступ к написанию любых коннекторов. я бы мог написать для КХ, но нам DataStudio не нужен.

Круто, спасибо, попробуем что то такое применить!)

Только у меня судя по запросу не передаются конкретные айдишки, конкретные айдишки кладудтся во временную таблицу и к ним джойнятся данные, этотна случай если по какому то идентификатору вообще нет данных в кх и строка не вылетала из выдачи

Всем привет! Есть n хостов с реплицируемыми табликами, на одной из реплик данных нет и в логах ошибка: <Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 104, e.displayText() = Connection reset by peer, e.what() = Connection reset by peer и все, что это может быть? Не подскажите? Проблема очень рандомная, на тесте ошибка есть, на проде нет. Конфиги одинаковые

Привет! Подскажите, пожалуйста, как из пандаса получить csv с null значениями, пригодными для clickhouse. df.fillna('\N', inplace=True) df.to_csv() выдает мне \\N, что не парсится ch =(

Привет! Подскажите, пожалуйста, как из пандаса получить csv с null значениями, пригодными для clickhouse. df.fillna('\N', inplace=True) df.to_csv() выдает мне \\N, что не парсится ch =(

Обработать их,заполнив условными дефотлными значениями нельзя ?

Добрый день! Подскажите, почему не срабатывает функция arrayJoin? Выполняю такой запрос: select a.*, arrayJoin(splitByString(',',moid)) as mas_moid from table1 a Ошибка: ARRAY JOIN requires array argument Приводила явно к типу Array - та же ошибка. К конкретному элементу массива могу обратиться, а применить любую функцию, которая обрабатыет массив - нет.

Возможно нужно завернуть в подзапрос

Добрый день! Подскажите, почему не срабатывает функция arrayJoin? Выполняю такой запрос: select a.*, arrayJoin(splitByString(',',moid)) as mas_moid from table1 a Ошибка: ARRAY JOIN requires array argument Приводила явно к типу Array - та же ошибка. К конкретному элементу массива могу обратиться, а применить любую функцию, которая обрабатыет массив - нет.

Попробуйте выполнить запрос без arrayJoin и посчитать кол-во элементов получившегося после splitByString массиов. Может для некоторых строк splitByString возвращает не массив?

Возможно нужно завернуть в подзапрос

Зачем. Вот пример из документации https://clickhouse.yandex/docs/en/functions/array_join.html?highlight=arrayjoin

Пробовала посчитать количество элементов - подсчитывает правильно

Мало ли оптимизатор глючит или еще чего )

В подзапрос тоже пробовала ввернуть, аналогичная ошибка

Я бы посоветовал убрать лишние колонки, алисы для таблиц и оставить только arrayJoin(splitByString(',',moid))

а что выдает вот такая штука SELECT moid, toTypeName(splitByString(',', moid)) AS tn FROM ... WHERE tn != 'Array(String)' limit 1

в столбце tn такое значение: Nullable(Array(String))

ага. а может у вас и moid бывает null?

moid Nullable(String)

moid Nullable(String)

Имеется ввиду что в таблице есть строки у которых moid = NULL

splitByString(_, null) = null, и этот null не массив, поэтому array join-у плохеет.

нет, у меня сейчас нет таких строк. все moid не пустые

а каая у вас версия сервера, у меня другая ошибка отдается SELECT splitByString(',', moid) FROM ( SELECT CAST('a' AS Nullable(String)) AS moid) Received exception from server: Code: 43. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Nested type Array(String) cannot be inside Nullable type.

впрочем, в обоих случаях это выглядит как баг.

может, у кого-нибудь есть идеи, как выкрутиться? пробовала привести к массиву с помощью CAST (может, конечно, сути это не меняет), ошибка та же

А через sql из tabix мы не можем посмотреть версию sql? (Всегда интересовало)

может, у кого-нибудь есть идеи, как выкрутиться? пробовала привести к массиву с помощью CAST (может, конечно, сути это не меняет), ошибка та же

Убрать Nullable, писать пустые массивы и предварительно фильтровать пустые массивы нафиг )

впрочем, в обоих случаях это выглядит как баг.

Интересный баг, это надо @milovidov_an звать или пилить issue на гитхаб?

select version() ?

select version() ?

да, так можно посмотреть. у меня, например, вернул 1.1.54245

Логично...

может, у кого-нибудь есть идеи, как выкрутиться? пробовала привести к массиву с помощью CAST (может, конечно, сути это не меняет), ошибка та же

с использованием cast(moid as String) работает?

А через sql из tabix мы не можем посмотреть версию sql? (Всегда интересовало)

Metrics->Overview

с использованием cast(moid as String) работает?

Cannot convert data from a nullable type to a non-nullable type

что у нас там еще есть, assumeNotNull(moid) ?

с assumeNotNull заработало

спасибо!

но надо понимать что с таким же успехом вы могли проальтерить колонку в не-Nullable тип, это даже в каком-то смысле безопаснее, т.к. сейчас ваш запрос будет работать до тех пор пока вы внезапно не вставите в moid null.

а что будет, если в moid попадется Null? assumeNotNull вернут ошибку и все отвалится или он просто пропустит эту строку?

кажется, вот такой вариант должен подойти SELECT moid, if(isNull(moid), emptyArrayString(), splitByString(',', assumeNotNull(moid))) AS x FROM ( SELECT CAST('' AS Nullable(String)) AS moid UNION ALL SELECT CAST(NULL AS Nullable(String)) ) ┌─moid─┬─x────┐ │ │ [''] │ └──────┴──────┘ ┌─moid─┬─x──┐ │ \N │ [] │ └──────┴────┘

спасибо!

Почему при попытке создания таблички на второй реплике получаю такое сообщение - Will not execute task query-0000000068 : There is no a local address in host list. на первой машинке создается все нормально, на второй нет и получаю отлуп - is executing too long (121 sec.)....

я так понимаю кривой конфиг, но где я не прав не пойму

А в limit by нельзя больше одной колонки передать?

Разобрался ) Можно )

@milovidov_an ?☝️

? Что это было ?

А как можно выкинуть из результата строки у которых идет несколько одинаковых значений подряд? Например. Есть таблица с эвентами и идентификаторами сущности и пользователя. userId entityId action 1 1 enter 1 1 success 1 1 exit 1 1 success 1 1 success 1 1 success 1 2 enter 1 2 exit 1 2 exit 1 2 exit 2 1 enter 2 1 success 2 1 exit Что бы в результате осталось 1 1 enter 1 1 success 1 1 exit 1 2 enter 1 2 exit 2 1 enter 2 1 success 2 1 exit

sequenceMatch не подходит т.к. нужно выбирать колонку с временем, а по ней group by естественно не сделаешь

distinct ?

Задача немного сложнее :) Есть перед userId колонка с eventTime типа DateTime

Да и distinct оставит только один эвент, у меня например у пользователя 1 может быть несколько последовательностей типа enter, success, exit на одну сущность

Я так понял, что никак :)

group by user_id, entity_id, action? :)

Не получится, есть колонка с временем по которой group by не сделаешь

any(time)

результат получиться идентичен результату без group by

или max или min

any(time) тоже не подойдет, т.е. будет случайное число, а мне нужно точное время

avg?

Просто есть последовательность событий и из них нужно строить например сессии

И логика такая, что сессия - это наличие enter + (success || exit)

И так, то бы между ними не было дырки больше чем 30 минут

И исключать например 30 подряд идущих enter событий

Помимо времени выбирается еще несколько колонок )

join с самой собой, фильтрация по разнице не более 30 минут + группировка

Вобщем то я понял, что лучше на клиенте это дело обработать и выкинуть лишние данные

Тут вопрос именно в том, что бы выкидывать битые последовательности. Например часть данных не поступила и у пользователя идет 100 enter в сущность подряд. Такие вещи нужно выкидывать. Сессия считается полной только в случае наличия двух событий из возможных трех событий.

Тут получается окно, а с окнами в CH пока никак

Окна решаются с помощью джоина таблицы с самой собой)

Блин ) Таблица так то 850кк )

У меня только что была такая задача как вычисление среднего значения между событиями с интервалом не более определенного времени

Я с 5 млн работаю и все ок

Ладно, попробую сейчас джоин, предварительно фильтруя по какому либо признаку )

Делайте максимальную фильтрацию перед джоинами таблицы

Думаю все получится)

Вобщем то я понял, что лучше на клиенте это дело обработать и выкинуть лишние данные

выглядит как groupArray(time),groupArray(action) и потом некоторые (вероятно не поддерживаемые CH) пляски на массивах.

Я такое считала, выглядит примерно так: SELECT groupArray(EventName) as events, groupArray(Time) as times, arrayEnumerate(events) as events_index, arrayFilter(name, index -> (index = 1) OR (events[index] != events[index - 1]), events, events_index) as events_filt, arrayFilter(time, index -> (index = 1) OR (events[index] != events[index - 1]), times, events_index) as times_filt FROM ( SELECT * FROM mytable ORDER BY time )