Спасибо!

Только еще hostname в ответе интересный clickhouse%2Ds0r0:9000 )

Только еще hostname в ответе интересный clickhouse%2Ds0r0:9000 )

Ага, про unescape забыли. Еще надо будет добавить системную таблицу system.ddl_queue по аналогии с system.replication_queue, тогда можно будет асинхронно мониторить статус всех DDL-задач.

Супер! Очень полезная штука! Прям вот избавили от своего костыля для ddl

Друзья, а подскажите пожалуйства про монтирование дисков. хештеги для поиска, а то что-то не нашел, в документациях нашел только про "не использовать lvm" #mount #disk #prod

Подскажите, time - секунды в первичном ключ, это нормально?

Если время с секундами, то не очень

unixtime

А если просто секунды в диапазоне от 0-60, то норм

А, не ) толку от такого ключа не будет

Я уже пробовал такой вариант, только DateTime

Вообще нормально и как раз используется, если нужно выбирать данные по диапазону времени - для логов. Для примера, так сделано в query_log в ClickHouse.

Вообще нормально и как раз используется, если нужно выбирать данные по диапазону времени - для логов. Для примера, так сделано в query_log в ClickHouse.

Что-то как то на ярд строк у меня была замечена деградация при вставке данных ( Наверное быстро писал

Надо будет попробовать писать не так часто

Добрый день. А есть возможность настроить кликхаус на работу с директорией отличной от /opt/clickhouse? Или только через симлинк?

#disk

По DateTime индекс работает отлично, но, раз про него заговорили то, вспомнилось: у нас есть таблица вида CREATE TABLE metrics ( EventDate Date default toDate(EventTime), EventTime DateTime, ApplicationID UInt32, SpotID UInt32, Country FixedString(2), DeviceID UInt8, OsID UInt8, BrowserID UInt8, Clicks UInt64, Impressions UInt64 ) ENGINE = SummingMergeTree( EventDate, ( EventTime, ApplicationID, SpotID, Country, OsID, BrowserID, DeviceID ), 8192, ( Clicks, Impressions ) ); мы из неё читаем в Grafana и строим графики, работает оно шустро, но если делать выборки с указанием EventTime и ApplicationID, то сканируется столько же строк как и если просто указывать EventTime

@FolderArchive - канал, где сливают платный полезный - образовательный контент и курсы, например можно скачать курсы "Нетологии" или все курсы "Бизнес Молодости".

Кто-нибудь автоматизировал добавление новой годы в кластер? С созданием таблицы и регистрацией в zk?

А подскажите, что хотелось бы в tabix, и чего не хватает? Интересно, т.к рисую роадмап себе на будущее

Вспомнил момент: хорошо бы можно было выполнить запрос под курсором, если у тебя несколько запросов в редакторе один под другим. Сейчас приходится выделять, а тот же DataGrip понимает и предлагает, какой выполнить.

По DateTime индекс работает отлично, но, раз про него заговорили то, вспомнилось: у нас есть таблица вида CREATE TABLE metrics ( EventDate Date default toDate(EventTime), EventTime DateTime, ApplicationID UInt32, SpotID UInt32, Country FixedString(2), DeviceID UInt8, OsID UInt8, BrowserID UInt8, Clicks UInt64, Impressions UInt64 ) ENGINE = SummingMergeTree( EventDate, ( EventTime, ApplicationID, SpotID, Country, OsID, BrowserID, DeviceID ), 8192, ( Clicks, Impressions ) ); мы из неё читаем в Grafana и строим графики, работает оно шустро, но если делать выборки с указанием EventTime и ApplicationID, то сканируется столько же строк как и если просто указывать EventTime

А нет, всё работает, просто у нас так данные легли что по некоторым запросам сканируется почти все

Вспомнил момент: хорошо бы можно было выполнить запрос под курсором, если у тебя несколько запросов в редакторе один под другим. Сейчас приходится выделять, а тот же DataGrip понимает и предлагает, какой выполнить.

Если запросы разделены ;; то Cmd+Enter ранает под курсором, Cmd+Shift+Enter ранает все

Ой вей, а это где-то описано? Может быть есть еще что-то, чего я не знаю? :)

Беда с докой у меня, все руки не дойдут описать все штуки tabix'a(((

А подскажите, что хотелось бы в tabix, и чего не хватает? Интересно, т.к рисую роадмап себе на будущее

Очень не хватает dashboard и виджетов "фильтрации" а-ля superset ну и на закуску отсылку на email

А вот откуда у вас на винде ctrl+<left|right> переключает вкладки :) вы на Маке сидите Подумайте о виндовых юзерах)

А вот откуда у вас на винде ctrl+<left|right> переключает вкладки :) вы на Маке сидите Подумайте о виндовых юзерах)

В настройках ctrl(cmd)+left disable, и обновить страницу - отключиться этот hotkey

Всем привет. Есть вопрос. Вчера столкнулся с проблемой подсчёта косинуса. В чёрном - результат запроса SELECT cos(0.95880226199657), ниже - виндовый калькулятор.

Почему результаты могут так сильно отличаться?

Градусы и радианы?

В обоих случаях радианы

Если я ничего не попутал, конечно

в винде градусы, судя по результату

Да, по всей видимости я накосячил( Спасибо)

почему page_view меняется, дописываете клики? почему время float, почему user_id string? есть ли CH таблица с сессиями, с юзерами? какая топология кластера, какие впечатления у админов? какое отставание от реалтайма?

>> почему page_view меняется, дописываете клики? Да, клики по блокам, клики по внешним ссылкам, e-commerce, custom variables, время просмотра страницы и т.д. >> почему время float, почему user_id string? Время float делали на момент проектирования, для более точной сортировки, но в данный момент это ничем не помогает - возможно откажемся от этого. user_id - string потому что это структура данных, из которой можно достать некоторые параметры. По хорошему надо доставать эти параметры и записывать отдельно. Тоже будем допиливать. >> есть ли CH таблица с сессиями, с юзерами? Для статьи я намеренно упростил таблицу. У нас одна большая таблица, под 100 колонок. Плюс несколько справочников, например для geo. Отдельной таблицы сессий нет, сессия представлена айдишником. Количество сессий считается как uniqCombined(session_id). >> какая топология кластера, какие впечатления у админов? Вопрос про топологию поясните, пожалуйста. И какой кластер имеется в виду: CH, spark, kafka? >> какое отставание от реалтайма? Зависит от нагрузки. Мы сейчас переехали на новый кластер и из-за этого в пиках бывает до полутора часов. Это очень долго, оптимизируем и добавляем тачки. Тормозим не об кх.

А подскажите, что хотелось бы в tabix, и чего не хватает? Интересно, т.к рисую роадмап себе на будущее

Нам часто бывают нужны большие выгрузки (~500тыс записей). Сейчас выгружаем их в файл питоновым скриптом. Было бы круто, если бы из табикса можно было сохранить такую выгрузку сразу в файл без отрисовки

Нам часто бывают нужны большие выгрузки (~500тыс записей). Сейчас выгружаем их в файл питоновым скриптом. Было бы круто, если бы из табикса можно было сохранить такую выгрузку сразу в файл без отрисовки

он же на js. браузер крякнет от 500тыс

была replicated таблица, сделал drop table, потом заново create table с тем же именем в итоге в новой таблице оказались данные из старой таблицы :(

Так это ж хорошо :)

для меня нет

Вроде в этом же смысл. Надо было replicated с другом ключом в zk тогда создавать.

мне надо было пересоздать таблицу с другой схемой, но сохранить имя :)

коллеги подсказали что надо было drop партиции еще сделать.

Так оно не по репликации тебе восстановилось?

а вот это хороший вопрос, я не знаю как оно востановилось

так команду drop table сделал на всех репликах?

или на одной сделал и тут же create?

на каждой drop и тут же create

наверное так не надо быдо делать

ну логично

сначала везде дроп

потом уже везде создание

все будет норм

проверено

а так, CH отработал штатно

я не знал что надо так делать. теперь буду знать :)

CH это такой конструктор, в котором большая часть автоматизации вынесена за рамки DBMS. Это приносит некоторые дополнительные заботы, но в тож время дает очень большую гибкость

правда вот в последних релизах уже появляются фичи в сторону упрощения подобной рутины

в итоге у меня получился какой то трэш.

на самом деле

:)

мммм, немного не связанный вопрос, я тут помню были ребята из Тарантула

есть ли кто до сих пор? Вопрос по гео распределенному сетапу есть

мммм, немного не связанный вопрос, я тут помню были ребята из Тарантула

я тебе в приват кинул ссылку на офф саппорт канал тарантула )

ой, спасибо)

Нам часто бывают нужны большие выгрузки (~500тыс записей). Сейчас выгружаем их в файл питоновым скриптом. Было бы круто, если бы из табикса можно было сохранить такую выгрузку сразу в файл без отрисовки

В планах сделать - такое, но пока очень отдаленных

Может кто знает - можно ли сказать CH перестать считать после какого то предела? Задача узнать количество результатов в запросе и если это количество больше N то уже не важно. Типа "слишком много, фильтруйте дальше". Но что бы посчитать count(), CH вычитывает вообще все подходящие строки и говорит сколько там миллионов, хотя дальше тысячи уже неинтересно...

Может кто знает - можно ли сказать CH перестать считать после какого то предела? Задача узнать количество результатов в запросе и если это количество больше N то уже не важно. Типа "слишком много, фильтруйте дальше". Но что бы посчитать count(), CH вычитывает вообще все подходящие строки и говорит сколько там миллионов, хотя дальше тысячи уже неинтересно...

Возможно вам нужен LIMIT BY https://clickhouse.yandex/docs/ru/single/index.html#limit-n-by

Возможно вам нужен LIMIT BY https://clickhouse.yandex/docs/ru/single/index.html#limit-n-by

Тут речь о другом если я правильно понял. Например нужно выбрать все визиты с браузеров ИЕ6, и если таких визитов больше 10 000, то не выполнять запрос дальше

wow, как то я это пропустил. клевая штука, но не для этой задачи. у меня в запросу GROUP BY нет. Пока пришел к такой вот штуке. Выглядит уродливо, но чтение строк на 1000 обрывает: select sum(c) from ( select 1 as c from ... limit 1000)

По DateTime индекс работает отлично, но, раз про него заговорили то, вспомнилось: у нас есть таблица вида CREATE TABLE metrics ( EventDate Date default toDate(EventTime), EventTime DateTime, ApplicationID UInt32, SpotID UInt32, Country FixedString(2), DeviceID UInt8, OsID UInt8, BrowserID UInt8, Clicks UInt64, Impressions UInt64 ) ENGINE = SummingMergeTree( EventDate, ( EventTime, ApplicationID, SpotID, Country, OsID, BrowserID, DeviceID ), 8192, ( Clicks, Impressions ) ); мы из неё читаем в Grafana и строим графики, работает оно шустро, но если делать выборки с указанием EventTime и ApplicationID, то сканируется столько же строк как и если просто указывать EventTime

BTW Приблизительно можно проверить "эффективность" N-ой колонки индекса запросом SELECT sum(if(c >= 8192, c, 0))/sum(c) FROM (SELECT count() AS c FROM table GROUP BY index_col1, index_col2, ..., index_colN ) , чем ближе к 1 - тем лучше

спасибо

У меня по eventTime получился такой результат 0.000962078302459259 )

Собственно не эффективно я так полагаю

SELECT sum(if(c >= 8192, c, 0))/sum(c) FROM (SELECT count() AS c FROM metrics GROUP BY EventTime ); SELECT sum(if(c >= 8192, c, 0)) / sum(c) FROM ( SELECT count() AS c FROM metrics GROUP BY EventTime ) ┌─divide(sum(if(greaterOrEquals(c, 8192), c, 0)), sum(c))─┐ │ 0.9832048649885908 │ └─────────────────────────────────────────────────────────┘

SELECT sum(if(c >= 8192, c, 0))/sum(c) FROM (SELECT count() AS c FROM metrics GROUP BY EventTime ); SELECT sum(if(c >= 8192, c, 0)) / sum(c) FROM ( SELECT count() AS c FROM metrics GROUP BY EventTime ) ┌─divide(sum(if(greaterOrEquals(c, 8192), c, 0)), sum(c))─┐ │ 0.9832048649885908 │ └─────────────────────────────────────────────────────────┘

А сколько вообще строк в БД?

Processed 368.42 million rows

SELECT sum(if(c >= 8192, c, 0)) / sum(c) FROM ( SELECT count() AS c FROM statements GROUP BY eventTime ) ┌─divide(sum(if(greaterOrEquals(c, 8192), c, 0)), sum(c))─┐ │ 0.0009620680871880191 │ └─────────────────────────────────────────────────────────┘

Processed 828.79 million rows

А индекс как построен ? У нас ENGINE = SummingMergeTree(EventDate, (EventTime, ApplicationID, SpotID, Country, OsID, BrowserID, DeviceID), 8192, (Clicks, Impressions))

У меня вопрос по Nullable полям в нативном протоколе, какова их структура, например для Nullable(UInt64), Nullable(String), Nullable(Array(Int32)) чтоб мне их передать на сервер и прочитать ?

Всем привет

на PGDay кто задавал вопрос про клиент Python для ClickHouse? отзовитесь, чем не устраивает? И каким пользуетесь?

У меня вопрос по Nullable полям в нативном протоколе, какова их структура, например для Nullable(UInt64), Nullable(String), Nullable(Array(Int32)) чтоб мне их передать на сервер и прочитать ?

Можете тут посмотреть. https://github.com/yandex/ClickHouse/blob/e91395fa14b31ac5ee81968a1b7e97c193f274d4/dbms/src/DataStreams/NativeBlockOutputStream.cpp#L63 Смысл в том, что сначала записывается Null-маска как обычная UInt8 колонка, затем сами значения (тожже как обычно), на месте NULL будут стоять default value.

там много смотреть, можно на пальцах: для Nullable в начало пишем UInt8 (зачем: 1 есть значение, 0 - нет ?) дальше если есть значение то пишем его как есть (например String: длина + сам текст в байтах), если значения нет то ничего не пишем ?

)

в rowbinary именно так