Чутка ошибся с количеством данных, речь идет о 20+гб данныз, не влезут в оперативку т.к. таблица для внутреннего пользования и использовать ее будут редко, нет смысла под нее покупать железо, в оперативку которого это все влезет

Всем добрый день, подскажите плиз, куда посмотреть. При вставке данных в replicatedmergetree в логах реплик только одного шарда появляются вот такие вот записи "<Warning> store.store_log_local (StorageReplicatedMergeTree, CleanupThread): Couldn't remove 20170404_20170404_635_635_0 from ZooKeeper: no node" - при этом количество данных в репликах правильное и вообще количество данных правильно и нужное. в логах реплик второго шарда - тишина

конфигурация 2х2 (2 шарда по 2 реплики)

Чутка ошибся с количеством данных, речь идет о 20+гб данныз, не влезут в оперативку т.к. таблица для внутреннего пользования и использовать ее будут редко, нет смысла под нее покупать железо, в оперативку которого это все влезет

Тогда можно попробовать словарь с лейаутом complex_key_cache (часто используемые записи будут кэшироваться с вытеснением), но данные придётся загрузить в таблицу (MergeTree, так как она с индексом, или вообще в какую-нибудь MongoDB, ведь ClickHouse не так хорош для Key-Value нагрузки).

вопрос не заданный на митапе: какие уровни разграничения прав доступа есть? Могу я ограничить доступ/видимость колонки для пользователя? А таблицу? :). Ну и, конечно, поддерживается ли мандатное разграничение прав?

а про это кто-нибудь расскажет?:)

+1 , тоже очень волнует этот вопрос

скажите плиз как сгруппировать по дню данные?

а про это кто-нибудь расскажет?:)

Пока есть только readonly и не readonly пользователи.

скажите плиз как сгруппировать по дню данные?

GROUP BY event_date ?

Пока есть только readonly и не readonly пользователи.

они на весь экземпляр работают или огранмчены базой?

*ограничены

Добрый день! Подскажите, кто-то собирал ODBC-драйвер под RHEL/Centos 6 ?

GROUP BY event_date ?

точно

а что значит DB::Exception: Limit for result rows exceeded: read 2227 rows, maximum: 500

где это ограничение стоит ?

в вашем драйвере, судя по всему

в querystring http-запроса в кликхаус max_result_rows=500 не передается?

если нет, то в конфиге сервера

они на весь экземпляр работают или огранмчены базой?

У пользователя можно задать <allow_databases>...</allow_databases>

понял, спасибо большое

если нет, то в конфиге сервера

возможно. напрямую через клиент все норм) спасибо

а не подскажите как размер таблицы узнать ?

Доброе утро, скажите пожалуйста как посмотреть через запрос размер таблиц ?

SELECT * FROM system.parts WHERE active AND table = '...' там столбец есть с кол-вом байт его можно еще через formatReadableSize(x) прогнать

SELECT sum(bytes) FROM system.parts WHERE active AND database = 'db_name' AND table = 'table_name'

SELECT sum(bytes) FROM system.parts WHERE active AND database = 'db_name' AND table = 'table_name'

спасибо))

зависит от типа таблицы, но в целом да.

в тестах/доке не нахожу: а можно как-то mutlipart/form-data передать запрос и файл с внешними данными? беспокоюсь только что запрос может быть слишком длинный и не влезет в query string (установлен ли в CH лимит, кстати?)

про лимит вопрос снимаю, в доке нашел про 16кб

Насколько я помню, параметры (в том числе запрос) нет возможности передать в mutlipart/form-data. То есть, если передаются внешние таблицы, то запрос придётся указать в параметре URL.

Помогите разобраться. Необходимо получать сумму значений в зависимости от фильтров. Т.к. фильтры вставляются в запрос на лету, то он выглядит следующим образом SELECT sum(column) FROM table WHERE Date = today() AND ($val = 1 OR Field = $val) AND ($val2 = 1 OR Field2 = $val2) Если $val = 1 - значит фильтровать данные не нужно. По идее, условие сразу должно вернуть true и не влиять на производительность запроса. Но это влияние есть и оно весьма заметно. Есть у кого-то идеи, как это можно оптимизировать?

Через IF не пробовали?

пробовал

без разницы

А, вы ожидаете, что Field = $val не будет вычисляться

Сейчас такое не реализовано, оптимизатора запросов по факту почти нет, к сожалению.

Производительность проседает так как выражение все равно будет вычисляться

Просто убирайте весь этот AND

Не могу убрать AND, т.к. запрос посылается из графаны и там он может быть только в одном варианте.

А этот $val как задается?

Может, туда тупо писать "Field = value" ?

это template значение, которое подставляется в запросы. В нем может лежать идентификатор, например

Привет всем. Подскажите кто нибудь рассматривал\пробовал\использует cehp в качестве сторажда под CH ? У нас есть 2х10Gb сеть, на себя от себя. Вообще как такой вариант? Данных где-то около 10-20ТБ в месяц приходит. выборки из данных в рамках недели до двух месяцев.

Помогите разобраться. Необходимо получать сумму значений в зависимости от фильтров. Т.к. фильтры вставляются в запрос на лету, то он выглядит следующим образом SELECT sum(column) FROM table WHERE Date = today() AND ($val = 1 OR Field = $val) AND ($val2 = 1 OR Field2 = $val2) Если $val = 1 - значит фильтровать данные не нужно. По идее, условие сразу должно вернуть true и не влиять на производительность запроса. Но это влияние есть и оно весьма заметно. Есть у кого-то идеи, как это можно оптимизировать?

clickhouse вычисляет все аргументы and/or, все аргументы if, итд. т.к. они векторизуются и вычисляются пачками и потом пачками над ними выполняются последующие функции. мы такие вещи оптимизируем перед генерацией запроса: вычисляем выражения, известные статически, выбразываем бесполезные условия, итд. правда в вашем запросе это не помогло бы, т.к. в зависимости от строки таблицы каждое из условий может оказаться значимым, это можно только при выполнении оптимизировать.

Привет всем. Подскажите кто нибудь рассматривал\пробовал\использует cehp в качестве сторажда под CH ? У нас есть 2х10Gb сеть, на себя от себя. Вообще как такой вариант? Данных где-то около 10-20ТБ в месяц приходит. выборки из данных в рамках недели до двух месяцев.

Мы не пробовали. Интересно, какой получается throughput последовательного чтения с Ceph? А если со всех серверов сразу читать? А какая latency на операции типа создания, удаления, переименовывания файлов? И какая latency и throughput по случайным чтениям?

что-то мне кажется, что это паршивая затея

https://www.sebastien-han.fr/blog/2012/08/26/ceph-benchmarks/

ребят может кто подскажет как бэкап сделать всей базы?

в mysql это делалось обычным mysqldump. тут только по одной таблице?

Мы не пробовали. Интересно, какой получается throughput последовательного чтения с Ceph? А если со всех серверов сразу читать? А какая latency на операции типа создания, удаления, переименовывания файлов? И какая latency и throughput по случайным чтениям?

Если будем пробовать - думаю смогу отписаться что получилось

ребят может кто подскажет как бэкап сделать всей базы?

По-эффективному через FREEZE PARTITION для каждой партиции, по-простому clickhouse-client -q 'SELECT * FROM ... FORMAT Native' > dump.bin , еще можно доп. реплику поднять и выключить после наливки

По-эффективному через FREEZE PARTITION для каждой партиции, по-простому clickhouse-client -q 'SELECT * FROM ... FORMAT Native' > dump.bin , еще можно доп. реплику поднять и выключить после наливки

как раз таки репликами мне кажется вариант не очень. мне надо собрать бэкап базы и положить на s3 aws предварительно сжав gzip

а MySQL ты как бекапил? не с реплики?

у нас отдельный сервер mysql для статистики. написали скрипт бэкапов на s3. делается sql пакуется в gzip заливается в облако. плохо?

По-эффективному через FREEZE PARTITION для каждой партиции, по-простому clickhouse-client -q 'SELECT * FROM ... FORMAT Native' > dump.bin , еще можно доп. реплику поднять и выключить после наливки

по простому хреновая затея)) т.к. select кладет все содержимое в память а потом пишет в файл. при большом количестве записей не хватит памяти. походу

по простому хреновая затея)) т.к. select кладет все содержимое в память а потом пишет в файл. при большом количестве записей не хватит памяти. походу

ну можно кусками выгружать. по тому же месяцу, чтобы помещалось в память

проще правда через freeze partition

freeze partition неплохо да. я вот не пойму до сих пор через select делается дамп и уже 25 гигов. а партициями там вообще мало места занимает. там все данные?

freeze partition неплохо да. я вот не пойму до сих пор через select делается дамп и уже 25 гигов. а партициями там вообще мало места занимает. там все данные?

в смысле? в одной партиции данные одной таблицы за один месяц

вот data папка 464 мб. а если выгрузить в tsv то получится 21 гб ))

https://clickhouse.yandex/reference_ru.html#Отличительные%20возможности%20ClickHouse

второй пункт

класс. то есть тогда писать скриптик надо - получаем список таблиц в базе данных. делаем партишены. пакуем в архивы закидываем бэкап куда необходимо?

по другому никак?

Обычный SELECT без GROUP BY, ORDER BY и т. п. использует небольшое ограниченное количество памяти. Он не формирует результат в памяти, а отдаёт его клиенту потоково.

Ребят, подскажите по tutorial. Там есть такой запрос: SELECT DestCityName, sum(Year = 2014) AS c2014, sum(Year = 2015) AS c2015, c2015 / c2014 AS diff FROM ontime WHERE Year IN (2014, 2015) GROUP BY DestCityName HAVING c2014 > 10000 AND c2015 > 1000 AND diff > 1 ORDER BY diff DESC в нем в функцию sum передается условие как я понял, но не указывается что суммировать. Как он работает? В доках про условия внутри функции sum ни слова(

может там sumIf должен быть

в доке это описано вот тут https://clickhouse.yandex/reference_ru.html#Комбинатор%20-If.%20Условные%20агрегатные%20функции

да, это более логично. Видимо до этого шага в tutorial никто не доходил))))

дайте ссылку плиз хотя не надо, нашел, ща поправлю

native 13 gb tsv 22 gb. какой самый компатный ? может есть формат который оставляет родную струтуру в 4xx mb ?)

ну сожмите результат Native в gzip тот же, например, да и все

Ребят, подскажите по tutorial. Там есть такой запрос: SELECT DestCityName, sum(Year = 2014) AS c2014, sum(Year = 2015) AS c2015, c2015 / c2014 AS diff FROM ontime WHERE Year IN (2014, 2015) GROUP BY DestCityName HAVING c2014 > 10000 AND c2015 > 1000 AND diff > 1 ORDER BY diff DESC в нем в функцию sum передается условие как я понял, но не указывается что суммировать. Как он работает? В доках про условия внутри функции sum ни слова(

Так и должно быть. Дело в том, что все логические операции и сравнения возвращают значение типа UInt8, равное 0 или 1. Далее эти значения суммируются.

native 13 gb tsv 22 gb. какой самый компатный ? может есть формат который оставляет родную струтуру в 4xx mb ?)

Это, приблизительно, получится, если дамп в формате Native ещё сжать. Можете сжать gzip или родным clickhouse-compressor (второе быстрее).

аа, извините

Так и должно быть. Дело в том, что все логические операции и сравнения возвращают значение типа UInt8, равное 0 или 1. Далее эти значения суммируются.

Аааа, вот оно как. Красивый вариант.

Это, приблизительно, получится, если дамп в формате Native ещё сжать. Можете сжать gzip или родным clickhouse-compressor (второе быстрее).

у меня вообще 230 мб получилось))) еще лучше! clickhouse-compressor установил. но он включается для прилетающих данных на сервер как написано в доке. а как его заюзать при выгрузке в файл?

> Если вы указали в URL compress=1, то сервер будет сжимать отправляемые вам данные.

> Если вы указали в URL compress=1, то сервер будет сжимать отправляемые вам данные.

а в моем случае я не url шлю а на клиент

clickhouse-client -q 'SELECT * FROM statistics.banner_history_segments FORMAT Native' > dump2.bin

понял

ребят это шок)) компрессор чудо

7 секунд чтобы собрать все данные и положить в архив в файлик)

Это, приблизительно, получится, если дамп в формате Native ещё сжать. Можете сжать gzip или родным clickhouse-compressor (второе быстрее).

спасибо!!

если кому интересно как я делал бэкап curl 'http://localhost:8123/?database=statistics&compress=1' -d 'SELECT * FROM banner_history_segments FORMAT Native' > data.bin

gzip -c data.bin > dump.gzip

22 млн записей. 7 секунд создание файл + 7 секунд gzip