Под какие объемы?

Хз, я ж не пробовал, как я могу их узнать. Посещалка сайта ~60к сутки

КХ сервер поднимется и на 512Mb RAM, сколько нужно однозначно зависит от сколько данных

Хз, я ж не пробовал, как я могу их узнать. Посещалка сайта ~60к сутки

зависит от обьемов записи конечно. Но я думаю взлетит.

Хочу модели аттрибуции сделать, соответственно нужны все действия юзеров совершивших конверсию

Ну так, есть желающие помочь? Сделаем через тимвьювер )

Господа, а в AS использовать два слова нельзя да ? хочу SELECT name as Interface number,

но ни в каких кавычках не получается :(

получаю Syntax error: failed at position ...

в обратных пробовали?

` таких вот

спасибо. бектики даже в голову использовать не пришло

Еще разок попробую) Нужно помочь мне поставить и запустить кликхаус на убунте в виртуалке или через докер + загрузить данные, вывести отчеты, показать как это все работает. Оплата за затраченное время Делать будем через тимвьювер

Подскажите, пожалуйста по сборке. Хочу написать Foereign Data Wrapper для PostgreSQL с native протоколом. Расширения PostgreSQL собраются примерно вот так https://github.com/x4m/clickhouse_fdw/blob/master/Makefile Я хочу использовать код из ClickHouse\Server\Client.cpp и его зависимости. Как мне лучше собирать extension? Собрать что-то из Кликхауса и потом к себе линковать? Перенести свой код в cmake сборку Кликхауса? Перенести код к себе и перенастроить сборки расширения PostgreSQL на С++?

на данный момент собрать "чтото" не получится. Только все сразу. Можно собрать основную либу clickhouse.so и ее использовать. Проще всего подключать из cmake

на данный момент собрать "чтото" не получится. Только все сразу. Можно собрать основную либу clickhouse.so и ее использовать. Проще всего подключать из cmake

а куда кладётся .so при сборке make clickhouse в build?

по умолчанию никуда 8)

такой вариант, в принципе, для меня подходит, я просто буду забирать .so и .h

по умолчанию никуда 8)

вот видимо по этому я его и не нашёл

cmake -DMAKE_STATIC_LIBRARIES=0

по умолчанию никуда 8)

так... а именно clickhouse.so?

я не могу его себе вкомилить собрав .o?

cmake -DMAKE_STATIC_LIBRARIES=0

спасибо

или скорее всего лучше использовать все либы как .so и сделать свою .so - cmake -DUSE_STATIC_LIBRARIES=0

можно вкомпилить, собрав .a

я не могу его себе вкомилить собрав .o?

Можно, только называется оно dbms.a и весит около 500м

это неважно, сколько весит статическая либа

или скорее всего лучше использовать все либы как .so и сделать свою .so - cmake -DUSE_STATIC_LIBRARIES=0

для подключения всего этого мне понадобятся только .so и .h? Как-то всё равно не очень понятно как оно gcc в чистый С упоребится, получается до сборки ClickHouse мне нужно ещё добавить С-обёрток над классами?

это будет приключение

Всё нормально, я просто аккуратно отпилю два плюса сбоку

Можно, только называется оно dbms.a и весит около 500м

а для получеия .a мне какие-то ключи нужны?

а, ну вроде оно должно быть в MAKE_STATIC_LIBRARIES

да, оно по умолчанию сделается

да, оно по умолчанию сделается

спасибо

А что за магия такая с запросом? CREATE TABLE cursometr.statements ( statementId String, eventDate Date, eventTime DateTime, verb String, objectId String, onCourse UInt8, courseId UInt16, learnerId UInt16, contextRegistration String, resultScoreRaw Float64, resultScoreMin Float64, resultScoreMax Float64, resultSuccess UInt8, resultCompletition UInt8, resultDuration UInt32, resultResponse String, contextId UInt16) ENGINE = Distributed(statements, \'cursometr\', \'r_statements\', learnerId) │ SELECT eventTime, resultScoreRaw, objectId AS entity_iri PREWHERE (courseId = 8) AND (learnerId = 27008) WHERE (verb = '...') AND (entity_iri = '...') ORDER BY eventTime ASC Received exception from server: Code: 47. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Unknown identifier: verb.

а from где?

а мне подскажите, пожалуйста, я совсем затупила. переношу сервис на кликхаусе на чистый убунту-сервер, и он мне выдает при запросах через http-интерфейс "-bash: POST: command not found" . это мне что надо установить такое системное, чтобы этого не было?

а мне подскажите, пожалуйста, я совсем затупила. переношу сервис на кликхаусе на чистый убунту-сервер, и он мне выдает при запросах через http-интерфейс "-bash: POST: command not found" . это мне что надо установить такое системное, чтобы этого не было?

POST это скрипт из состава LWP

lwp входит в состав libwww-perl

можешь альтернативно переписать на curl например, он чаще встречается у людей

скрипт

а мне подскажите, пожалуйста, я совсем затупила. переношу сервис на кликхаусе на чистый убунту-сервер, и он мне выдает при запросах через http-интерфейс "-bash: POST: command not found" . это мне что надо установить такое системное, чтобы этого не было?

проблема не в КХ, а в том что то что ты делаешь требует пакетов которые не стоят

да-да, я понимаю, что не в кх. спасибо, нагуглила, буду ставить!

POST кстати непригоден для заливания больших объемов

привет. можете подсказать, почему возникает ошибка при запросе с семплированием? DB::Exception: Not found column cityHash64(piwik_id) in block. There are only columns: event_time, url, action_name, ping, piwik_id. Запрос из таблицы со следующими параметрами: ENGINE = Distributed(sports, 'analytics', 'local_clickstream', cityHash64(piwik_id)

POST кстати непригоден для заливания больших объемов

Почему?

Почему?

Скорее всего потому, что при использовании POST все передаваемые данные будут загружены в память, и только потом переданы post-запросом (не уверен, нужно смотреть что и как делает команда POST)

привет. можете подсказать, почему возникает ошибка при запросе с семплированием? DB::Exception: Not found column cityHash64(piwik_id) in block. There are only columns: event_time, url, action_name, ping, piwik_id. Запрос из таблицы со следующими параметрами: ENGINE = Distributed(sports, 'analytics', 'local_clickstream', cityHash64(piwik_id)

Ключ семплирования должен быть указан в первичном ключе.

Ключ семплирования должен быть указан в первичном ключе.

Понятно, спасибо.

странно тогда, почему не ругается при создании таблицы, когда ключа для семплирования нет в первичных

Ага. Мне тоже это было странно.

Скорее всего потому, что при использовании POST все передаваемые данные будут загружены в память, и только потом переданы post-запросом (не уверен, нужно смотреть что и как делает команда POST)

Не очень понял. Post с rowbinary нормально кладёт чанками вроде.

POST это скрипт из состава LWP

Причем тут rowbinary? Насколько я понимаю, POST - команда из состава некотого пакета для перла

Причем тут rowbinary? Насколько я понимаю, POST - команда из состава некотого пакета для перла

а я тут при чем?

Вы привели описание того, что такое POST - я привел это описание, чтобы было понятно про что речь

а

Ребята, можно глупый вопрос. Например есть таблица в которой определены date Date, datetime DateTime, DueTime DateTime,. Тип таблицы MergeTree. Вопрос такой - я делаю инсерт 2017-07-17 │ 2017-07-17 17:13:44 │ 2017-07-17 17:13:38 а потом делаю инсерт 2017-07-17 │ 2017-07-17 17:13:44 │ 2027-07-17 17:13:38. В запросе я делаю выборку по DueTime. Насколько будет эффективно отрабатывать данный запрос если duetime лежит в достаточно далеком временном интервале от date mergeTree.

date вы знаете для выборки?

date вы знаете для выборки?

Например нет. Идет фул скан

гм, а чем мне лучше делать нагрузку вида множество select запросов на одну запись?

через http интерфейс ch спавнит треды бесконечно и адово тупит

есть возможность сделать пачку из таких селектов и вычитать результат?

Например нет. Идет фул скан

настолько же неоптимально, насколько вы бы выбирали любое другое поле, интовое, например в целом неоптимально, но КХ сам по себе очень быстрый, и поэтому должно быстро отработать )

настолько же неоптимально, насколько вы бы выбирали любое другое поле, интовое, например в целом неоптимально, но КХ сам по себе очень быстрый, и поэтому должно быстро отработать )

Ну я понимаю. Просто у нас в таблицу как оказывается могут писаться события с датой в будущем

Не очень понял. Post с rowbinary нормально кладёт чанками вроде.

POST должен посчитать объем данных. и сосет все в память. Я лил неткатом.

ERROR: S client not available

POST должен посчитать объем данных. и сосет все в память. Я лил неткатом.

Зачем ? Это только с content-length. Чанками не надо. Ну только небольшой буффер если под текущий чанк. Он даже в libcurl захардкожен не больше 16кб.

Вопрос: а что за runningAccumulate? (в попытках посчитать moving average)

выводит агрегатное состояние от текущей строки и предыдущими строками в выборке

Получается что основная проблема реализации большинства функций - merge блоков. В kdb такой проблемы получается нет.

Интересно, почему в КХ нет функции для представления json-стринга в виде Nested поля?

У json схема опциональна, у nested - обязательна. Ну и есть рекомендация в доке не делать вложенных структур

Если нужно выцепить несколько значений из json, то приходится его несколько раз парсить

Можно было бы описав структуру необходимых полей, выцепить их разом

Коллеги, а что означает sharding_key = rand(), если у таблицы вот такой движок? Distributed(logs, default, hits, rand()) в доке что-то не нашел про это

и есть ли в КХ возможность получить, например 500 случайных строк из таблицы селектом?

про rand нашел)

елси в запрос добавить rand64() AS rand а потом по нему отсортировать - это нормальное решение?

https://clickhouse.yandex/docs/ru/query_language/queries.html#sample - нет?

это не для всех таблиц

там надо движок с семплирование делать

Всем привет! Подскажите, если при вставке батча одна строка была битая - CH отбросит только ее или весь батч?

Всем привет! Подскажите, если при вставке батча одна строка была битая - CH отбросит только ее или весь батч?

Уточнение: вставка через HTTP POST с TabSeparated

Отбросит весь батч (если батч меньше 1048576 строк). Но если включены соответствующие настройки (https://clickhouse.yandex/docs/ru/operations/settings/settings.html#input-format-allow-errors-num), то можно отдельные строки пропускать.

Отбросит весь батч (если батч меньше 1048576 строк). Но если включены соответствующие настройки (https://clickhouse.yandex/docs/ru/operations/settings/settings.html#input-format-allow-errors-num), то можно отдельные строки пропускать.

Спасибо!

Коллеги, а что означает sharding_key = rand(), если у таблицы вот такой движок? Distributed(logs, default, hits, rand()) в доке что-то не нашел про это

Это будет означать что в таблицу можно писать. При вставке будет выбираться шард в соответствии со значением переданного выражения. В данном случае рандомно.

А если на сервере есть две базы с разными именами, но в обеих есть таблицы с одинаковыми именами

И вот в одной бд есть реплицируемая таблица

а в другой бд не реплицируемая

Никаких конфликтов не будет?

Привет всем! Вопрос по ошибке "Table XXX is creating or attaching right now". Можно как-то понять, что мешает таблице создаться и можно ли решить данную проблему без рестарта?

о, оказывается таблица уже создалась, всего-то 15 минут прошло

Привет всем! Вопрос по ошибке "Table XXX is creating or attaching right now". Можно как-то понять, что мешает таблице создаться и можно ли решить данную проблему без рестарта?

У меня такое было, когда я динамически много (больше 1к) таблиц создавал, иногда вплывала такая ошибка

не, тут такого и близко нет, похоже на какие-то проблемы с ZK или с недоступностью реплик

Часто такое? Может именно в этот момент "интернет" моргнул

не так уж и часто, но все равно неприятно