ясно, спасибо

ясно, спасибо

Пожалуйста! :)

еще uniq(SomeField) по какой-то причине в `uniq(SomeField)` превращает

еще uniq(SomeField) по какой-то причине в `uniq(SomeField)` превращает

Вот с таким первый раз сталкиваюсь

Надо убрать слэши перед кавычками

Удобнее так: SHOW CREATE TABLE xxx FORMAT TSVRaw или SHOW CREATE TABLE xxx FORMAT VerticalRaw тогда кавычки не экранирует.

лайк. я пробовал просто Vertical, про VerticalRaw не знал

welcome

Добрый день. Есть вопрос про организацию данных и логов, и самый близкий пример который я нашёл - организация данных в Я.Метрике. Вот у Яндекса есть лог просмотров страниц, в том числе они каждые 15 секунд отправляют новый просмотр. Видимо это - новая строчка в логе? Если бы у меня был доступ к CH Яндекса, как мне там делать выборку - по всем кто посмотрел страницы на домене abc.ru начинающиеся c /blabla/ больше 45 секунд и после этого перешёл на домен bbd.com ?

Простите, но это слишком общий вопрос, из жанра: если я хочу построить дом (самый близкий аналог: Лахта-центр в спб) и буду строить с помощью строителей которые будут работать 5 дней в неделю по 8 часов, то как сделать так чтобы при строительстве 30 этажа окна выходили на север? :)

А что уточнить? Мне интересно как нужно организовать запись логов для такого запроса, и как должен выглядеть сам запрос?

Задаче вполне жизненная, есть несколько событий записываемых на странице (идентично 15 секундным записям в ям), есть срезы под доменам и страницам, нужно понять количество переходов далее. Связь между всеми этими событиями через аналог ютм метки

Проще всего записать событие "выход по линку" ещё будучи на домене abc.ru.

Если этой записи нет, а есть отдельно записанные события для 2 разных домен, то задача сводится к funnel.

И в логах хранить просто построчно каждое событие?

А есть другие варианты?

Придумать какую-то магию с преаггрегацией

Как раз кх сделан чтобы уйти от этого

Как раз кликхаус - призван решать проблему необходимости и выбора преагрегаций для аналитики.

Ок, покурю funnel, спасибо большое. Может сможете посоветовать что-то полезное прочитать кроме манов? Книгу или набор статей ?

Ещё нету толком книг) читать документацию и смотреть доклады на Ютюбе для кх

Статей тоже не много, я прочитал их все дня за два

на youtube несколько полезных видео. пройти офф. туториал.

А есть какие-то кукбуки, описанию юзкейсов с решением?

на youtube несколько полезных видео. пройти офф. туториал.

Да, это смотрю

А есть какие-то кукбуки, описанию юзкейсов с решением?

Нет, основной юзкейс в целом один и все плюс минус готовят одинаково мне кажется

А есть какие-то кукбуки, описанию юзкейсов с решением?

Насколько я могу судить пока основная таргет-группа кликхауса - это народ, который уже изрядно намучался со своими данными в других системах. Т.е. данные уже есть, их много и знакомы они до боли. Поэтому проблема постоения "с нуля" не особо остро стоит. Хотя да, порой кукбуков не хватает.

Но обычно на все конкретные вопросы несложно найти конкретные ответы. :)

а в сабже можно использовать zstd dictionaries?

Добрый день. Есть вопрос про организацию данных и логов, и самый близкий пример который я нашёл - организация данных в Я.Метрике. Вот у Яндекса есть лог просмотров страниц, в том числе они каждые 15 секунд отправляют новый просмотр. Видимо это - новая строчка в логе? Если бы у меня был доступ к CH Яндекса, как мне там делать выборку - по всем кто посмотрел страницы на домене abc.ru начинающиеся c /blabla/ больше 45 секунд и после этого перешёл на домен bbd.com ?

А критично "после перешен на домен?" если нет, я бы написал SELECT DISTINCT UserID FROM hits WHERE Domain = 'abc.ru' AND path(URL) LIKE '/blabla/%' AND time > 45 AND UserID GLOBAL IN (SELECT UserID from hits WHERE Domain = 'bbd.com')

ну и + конечно хорошо хранить две таблицы: сессий (чтобы продолжительность) и хитов

Я ещё не постиг магии понимания как получить 45 в тайме, если это 6 строк в логе

ну и + конечно хорошо хранить две таблицы: сессий (чтобы продолжительность) и хитов

А сессии обновлением или ...?

А сессии обновлением или ...?

да, сессии обновляем при помощи *MergeTree механики

Я ещё не постиг магии понимания как получить 45 в тайме, если это 6 строк в логе

гуд поинт, в моем примере я неправильно использовал таблицу hits, правильно читать visits

да, сессии обновляем при помощи *MergeTree механики

про регулярность обновления в Метрике не подскажу точно, может коллеги подскажут. ИМХО здесь частота некритична

Тут надо порекламировать Logs API. https://tech.yandex.ru/metrika/doc/api2/logs/fields/clickhouse-integration-docpage/ Сразу даёт представление об архитектуре хранения данных в Метрике

Спасибо большое!

Я ещё не постиг магии понимания как получить 45 в тайме, если это 6 строк в логе

Почитайте про функцию sequenceMatch

Добрый день! Вопрос по SummingMergeTree

такая ситуация: до недавнего времени, данный движек хорошо справлялся со своей работой, но после внедрения дополнительного поля в родителской таблице и модификации таблицы (SummingMergeTree), мы столкнулись такой проблемой

мы учитываем показы рекламы и теперь у каждого показа появился показатель viewability

так вот, в Summing таблице после аггрегации данных - в этом поле заоблачные показания

это и понятно он суммирует это поле

скажите, что можно предпринять, чтобы в этом поле было avg значение?

а нельзя завести еще одно поле, RowsCount, и при выборке делить sum(viewability) на sum(RowsCount)? SummingMergeTree умеет только суммировать.

спасибо, уже сам разобрался

просто указал поля для суммирования

так как эта таблица получает данные из группированого селекта, то каждый раз значение viewability попросту перезаписывается

Доброго дня, столкнулся с такой проблемой: У меня есть таблица raw_events, из которой по запросу могут посчитаться за последние 24 часа часовые агрегаты запросами INSERT ... SELECT toStartOfHour(ts) ... FROM raw_events WHERE ts BETWEEN. Вставка результатов происходит в шард с двумя репликами с insert_quorum = 2 (так пришлось сделать, потому что моментально после insert'а следует запрос по этим данным). Так вот, сегодня ночью столкнулся с ситуацией, что INSERT с кворумом вставляет данные только в новую партицию 201805. А все результаты за апрель - игнорируются. Выключил кворумную запись - инсерты стали происходит нормально. Подскажите, в чем может быть дело? Существуют ли какие-то технические ограничения на insert_quorum ?

блин, я наконец-то понял как заинклудить креденшиалы в словаре, с 15 попытки https://gist.github.com/den-crane/d6e0f1c7849a0bc44c27eab2de51c911#file-ch-dictionary-source-included

а Support for more than one JOIN in query is not implemented - в планах есть чтобы было имплементед?

а Support for more than one JOIN in query is not implemented - в планах есть чтобы было имплементед?

можно джойнить только чуть длиннее получается select from t join (select from t1 join (select from t2 join t3 using) using ) using

ну там да, куча вложенных селектов получается, не оч красиво )

Запрос SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count`, `views-count`, `time-before-full-watched-average`, if (isNaN((`overall-full-watched-learners-count`/`overall-watchers-count`) * 100), 0, (`overall-full-watched-learners-count`/`overall-watchers-count`) * 100) as `overall-watched-part`, if (isNaN((`full-watched-learners-count`/`watchers-count` * 100)), 0, (`full-watched-learners-count`/`watchers-count` * 100)) as `full-watched-part`, if (isNaN((`rejects-count`/`views-count` * 100)), 0, (`rejects-count`/`views-count` * 100)) as `rejects-part` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count`, `views-count`, `time-before-full-watched-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count`, `views-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`,

`reject-views-duration-average`, `repeating-views-count-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average` FROM (SELECT `entityIri`, `watchers-count` FROM (SELECT `entityIri` FROM `CloM8CwMR2`) ANY LEFT JOIN (SELECT uniq(learnerId) as `watchers-count`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(viewDurationSum) as `time-repeating-average`, `entityIri` FROM (SELECT sum(views.viewDuration) as viewDurationSum, `entityIri`, `learnerId` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `views`.`repeatingView` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `learnerId`, `entityIri`) GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(views.viewDuration) as `reject-views-duration-average`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `views`.`reject` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(viewsCount) as `repeating-views-count-average`, `entityIri` FROM (SELECT count() as viewsCount, `learnerId`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `courseId` = 1 AND `entityIri` IN `CloM8CwMR2` WHERE `views`.`repeatingView` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `learnerId`, `entityIri`) GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(views.viewDuration) as `views-duration-average`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(views.watchedPart) as `watched-part-average`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT count() as `rejects-count`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `views`.`reject` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(progressMax) as `progress-average`, `entityIri` FROM (SELECT max(views.progress) as progressMax, `entityIri`, `learnerId` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `learnerId`, `entityIri`) GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(fullWatchedViews) as `views-count-before-full-watched-average`, `entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT any(duration) as `duration`, `entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT uniq(learnerId) as `full-watched-learners-count`, `entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `fullWatched` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT uniq(learnerId) as `overall-watchers-count`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT uniq(learnerId) as `overall-full-watched-learners-count`,

`entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `fullWatched` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT count() as `views-count`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(fullWatchedTime) as `time-before-full-watched-average`, `entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) FORMAT JSON

ну там да, куча вложенных селектов получается, не оч красиво )

Вот это запрос...

А то, что там выше - фигня )

?

у меня вручную делается, что осложняет

Ну да. Вручную такие запросы писать оооочень сложно.

`reject-views-duration-average`, `repeating-views-count-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average` FROM (SELECT `entityIri`, `watchers-count` FROM (SELECT `entityIri` FROM `CloM8CwMR2`) ANY LEFT JOIN (SELECT uniq(learnerId) as `watchers-count`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(viewDurationSum) as `time-repeating-average`, `entityIri` FROM (SELECT sum(views.viewDuration) as viewDurationSum, `entityIri`, `learnerId` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `views`.`repeatingView` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `learnerId`, `entityIri`) GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(views.viewDuration) as `reject-views-duration-average`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `views`.`reject` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(viewsCount) as `repeating-views-count-average`, `entityIri` FROM (SELECT count() as viewsCount, `learnerId`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `courseId` = 1 AND `entityIri` IN `CloM8CwMR2` WHERE `views`.`repeatingView` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `learnerId`, `entityIri`) GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(views.viewDuration) as `views-duration-average`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(views.watchedPart) as `watched-part-average`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT count() as `rejects-count`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `views`.`reject` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(progressMax) as `progress-average`, `entityIri` FROM (SELECT max(views.progress) as progressMax, `entityIri`, `learnerId` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `learnerId`, `entityIri`) GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT avg(fullWatchedViews) as `views-count-before-full-watched-average`, `entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT any(duration) as `duration`, `entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT uniq(learnerId) as `full-watched-learners-count`, `entityIri` FROM `video_views` FINAL PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `fullWatched` = 1 AND `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT uniq(learnerId) as `overall-watchers-count`, `entityIri` FROM `video_views` FINAL ARRAY JOIN `views` PREWHERE `entityIri` IN `CloM8CwMR2` AND `courseId` = 1 WHERE `learnerId` IN `tkRpHxGqM1` GROUP BY `entityIri`) USING `entityIri`) ANY LEFT JOIN (SELECT uniq(learnerId) as `overall-full-watched-learners-count`,

фига?

фига?

Это еще «маленький» :)

Это еще «маленький» :)

Давайте в следующий раз через пастебин меряться ))

Давайте в следующий раз через пастебин меряться ))

Ок :) просто это было из серии «не времени объяснять»)

Запрос SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count`, `views-count`, `time-before-full-watched-average`, if (isNaN((`overall-full-watched-learners-count`/`overall-watchers-count`) * 100), 0, (`overall-full-watched-learners-count`/`overall-watchers-count`) * 100) as `overall-watched-part`, if (isNaN((`full-watched-learners-count`/`watchers-count` * 100)), 0, (`full-watched-learners-count`/`watchers-count` * 100)) as `full-watched-part`, if (isNaN((`rejects-count`/`views-count` * 100)), 0, (`rejects-count`/`views-count` * 100)) as `rejects-part` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count`, `views-count`, `time-before-full-watched-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count`, `views-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count`, `overall-full-watched-learners-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count`, `overall-watchers-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration`, `full-watched-learners-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average`, `duration` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average`, `views-count-before-full-watched-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count`, `progress-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average`, `rejects-count` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average`, `watched-part-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`, `reject-views-duration-average`, `repeating-views-count-average`, `views-duration-average` FROM (SELECT `entityIri`, `watchers-count`, `time-repeating-average`,

а это нельзя разве через один джойн посчитать?

а это нельзя разве через один джойн посчитать?

Это автоматом генерится

Некоторые данные можно

https://pastebin.com/HJzm5xiK вроде все можно, хотя без данных непонятно.

подскажите, как сделать JOIN без USING (Декартово произведение)?

CROSS JOIN

спасибо ☺️

странная фича, если создать базу ENGINE = Dictionary, то словари обновляются при старте КХ, т.е. параметр dictionaries_lazy_load теряет смысл.

Действительно, странно. Я ожидал, что при первом обращении к этой БД.

Действительно, странно. Я ожидал, что при первом обращении к этой БД.

видимо само создание / атач этой базы инициирует обновление словарей, в моем окружении получается что КХ не принимает соедения 5 мин. после service start и идут обновления словарей.

https://github.com/HouseOps/HouseOps

видимо само создание / атач этой базы инициирует обновление словарей, в моем окружении получается что КХ не принимает соедения 5 мин. после service start и идут обновления словарей.

Это сколько у вас словарей. Или источники тупят?

100, длинные, широкие и латенси 200мс, а ну и проблема если 20 штук КХ перезапускать сразу (при апгрейде). (Dictionaries: memory taken: 3.55 GB)

Есть ли какие то настройки что бы управлть mark cache?

https://github.com/HouseOps/HouseOps

пока выглядит как "до tabix ему еще топать и топать" =)

Подскажите по оптимизации. Есть кластер из 2 шардов, каждый из 2 реплик. ReplicatedMergeTree, 3 ноды Zookeeper, и "прокси" Destributed, через которую данные льются. Пара сотен инсертов в секунду, реализовать пакетный ввод сейчас не представляется возможным. Ноды достаточно нагружены по диску, так же сильно дёргают Zookeeper. Имеет ли смысл вкорячить Buffer в цепочку? И если да, то где? Перед Distributed на прокси, или перед перед ReplicatedMergeTree на датанодах? Мне видится правильным первый вариант. И получится ли таким образом снизить кол-во запросов в Zookeeper? То есть запросы туда идут per row или per insert (batch)?

запросы в ZK идут per batch да, можно вкорячить buffer перед distributed еще есть вот такое https://github.com/Vertamedia/chproxy

Подскажите по оптимизации. Есть кластер из 2 шардов, каждый из 2 реплик. ReplicatedMergeTree, 3 ноды Zookeeper, и "прокси" Destributed, через которую данные льются. Пара сотен инсертов в секунду, реализовать пакетный ввод сейчас не представляется возможным. Ноды достаточно нагружены по диску, так же сильно дёргают Zookeeper. Имеет ли смысл вкорячить Buffer в цепочку? И если да, то где? Перед Distributed на прокси, или перед перед ReplicatedMergeTree на датанодах? Мне видится правильным первый вариант. И получится ли таким образом снизить кол-во запросов в Zookeeper? То есть запросы туда идут per row или per insert (batch)?

На batch, но если не можете слать пачками то в КХ лучше не лезть

На batch, но если не можете слать пачками то в КХ лучше не лезть

Уже залезли, теперь разгребаю)

запросы в ZK идут per batch да, можно вкорячить buffer перед distributed еще есть вот такое https://github.com/Vertamedia/chproxy

Спасибо. Но у нас по TCP данные льются.

Попробую буфер перед Distributed, посмотрим что из этого получится.

Я buffer использовал, за исключением нескольких ньюансов всё нормально было. Но без distributed.

Сделал. Получил отличные результаты.

Количество ZK транзакций в сек упало с ~400 до ~10

а нет у нас какого-нить arrayFilterIF ? мне надо чтобы если пустой массив, то фильтр не использовался

хотя по идее можно условие внутрь лямбы перенести, щас попробую

Добрый день всем! Настроил получение данных через Kafka, materialized view-ом данные успешно закидываются в нужную мне таблицу. Но похоже что данные, попавшие в таблицу с помощью mat. view, не триггерят еще один mat. view, который дублирует их в следующую таблицу. Никто не сталкивался? Инстанс один, без кластеризации. то есть получается цепочка данных: Kafka -> mat.view повешенный на кафковую таблицу -> table1 -> mat. view повешенный на table1 -> table2

Да, явно данные, закинутые в таблицу мат. вьюхой, не цепляются следующей мат. вьюхой. А можно ли с помощью одного materialized view закидывать данные сразу в 2 таблицы?

Да, явно данные, закинутые в таблицу мат. вьюхой, не цепляются следующей мат. вьюхой. А можно ли с помощью одного materialized view закидывать данные сразу в 2 таблицы?

Нет, но можно 2- MV повесить

то есть из кафковой таблицы вычитывать сразу двумя MV?

но я думал что там данные при селекте пропадают.. И получается одна вьюха первая получила данные, второй их уже не достанется. Или это точно работает?