а вставка не проходит из-за каких-то случайностей или из-за неверных данных?

Могут быть битые данные (отлавливать сложно), может быть проблема с сетью, например в момент вставки что-то случилось с КХ или ООМ шлепнул процесс кторый пишет данные и пр.

combot.org/c/-1001080295593

Админы, добавьте терминатора в чат, плз.

@Cyberdyne_Systems_bot

Убирает ботов и пустые акки из чата

Возможно невнимательно прочитал документацию, но как корректно создать на основе CollapsingMergeTree таблицы любую агрегирующую(например SummingMergeTree) materialised view? Т.е. возможно ли как-нибудь учесть новые строки со знаком "-1" при обновлении данных в исходной таблице. И вообще какое будет поведение у view. Если такой вопрос уже был - тките пальцем где =)

Возможно невнимательно прочитал документацию, но как корректно создать на основе CollapsingMergeTree таблицы любую агрегирующую(например SummingMergeTree) materialised view? Т.е. возможно ли как-нибудь учесть новые строки со знаком "-1" при обновлении данных в исходной таблице. И вообще какое будет поведение у view. Если такой вопрос уже был - тките пальцем где =)

MV не работают с данными в таблице, а только с теми что вставляются, поэтому изменения в таблице никак не отразится на view

Как я понимаю данные и для строки со знаком "+" попадут в MV и для строки со знаком "-" и для сохранения всех метрик мне строку с "-" надо заполнять отрицательными значениями замещаемой строки (сейчас я отправляю ключ + знак "-", все остальные строки default) чтобы а MV это корректно сагрегировалось. Так?

Как я понимаю данные и для строки со знаком "+" попадут в MV и для строки со знаком "-" и для сохранения всех метрик мне строку с "-" надо заполнять отрицательными значениями замещаемой строки (сейчас я отправляю ключ + знак "-", все остальные строки default) чтобы а MV это корректно сагрегировалось. Так?

Не проще mv пересоздать ?

Таблица довольно большая, но, в принципе, тоже вариант

Как я понимаю данные и для строки со знаком "+" попадут в MV и для строки со знаком "-" и для сохранения всех метрик мне строку с "-" надо заполнять отрицательными значениями замещаемой строки (сейчас я отправляю ключ + знак "-", все остальные строки default) чтобы а MV это корректно сагрегировалось. Так?

Да, только чтоб проще было просто всегда при записи в MV умножайте значения на Sign

Может ктото обьяснить, почему при использовании any left join, меняется количесвто строк в запросе(если несколько раз запустить этот запрос)?

может дистрибьютед таблица и не равноценные реплики?

Извините за возможный оффтоп, но, возможно, есть отдельный чат по catboost? Интересует одно из значений, которое может принимать параметр eval_metric обучаемой модели

Привет. В кликхаусе есть возможность использовать результаты запроса как источник для другого запроса? Мне нужен аналог WITH из Postgres'а

несколько раз?

селект из селекта можно

Привет. В кликхаусе есть возможность использовать результаты запроса как источник для другого запроса? Мне нужен аналог WITH из Postgres'а

CTE нет

А можно как-то сделать, чтобы кликхаус при попытке вставить невставляемое не прекращал вставку, а скипал плохую строку и шёл дальше по файлу? Какой-нибудь механизм скипа вот таких вот ошибок Code: 27. DB::Exception: Cannot parse input: expected

А можно как-то сделать, чтобы кликхаус при попытке вставить невставляемое не прекращал вставку, а скипал плохую строку и шёл дальше по файлу? Какой-нибудь механизм скипа вот таких вот ошибок Code: 27. DB::Exception: Cannot parse input: expected

clickhouse-client --help | grep input_format_allow_errors

clickhouse-client --help | grep input_format_allow_errors

Супер, звучит как то, что надо. А как считаются относительные и абсолютные числа ошибок? И что они из себя представляют. Относительное - это накопленное с какого-то момента (какого, всё время работы clickhouse-client в том числе для других вставок, или только в рамках одного вставляемого файла?), а абсолютное - накопленное с момента начала одной вставки? В общем что-то тёмный лес в описании простых на первый взгляд параметров ?

думаю, это в рамках одного вызова clickhouse-client

Коллеги, всем привет! Подскажите, кто как добавляет в существующие таблицы новые колонки с индексами? В голове пока только создать "рядом" новую таблицу со всеми нужными полями и индексами и залить туда данные из старой таблицы. Возможно, есть какой-то более быстрый путь?

Коллеги, всем привет! Подскажите, кто как добавляет в существующие таблицы новые колонки с индексами? В голове пока только создать "рядом" новую таблицу со всеми нужными полями и индексами и залить туда данные из старой таблицы. Возможно, есть какой-то более быстрый путь?

Materalized View вам в помошь

думаю, это в рамках одного вызова clickhouse-client

Попробуем, спасибо. А вы пользовались этим параметром? Кликхаус как-то показывает warning, когда пропускает строки при использовании input_format_allow_errors, или нет? Чтобы в конце можно было глянуть, что же он там пропустил

Коллеги, всем привет! Подскажите, кто как добавляет в существующие таблицы новые колонки с индексами? В голове пока только создать "рядом" новую таблицу со всеми нужными полями и индексами и залить туда данные из старой таблицы. Возможно, есть какой-то более быстрый путь?

Нет, пока это единственный путь

Нет, пока это единственный путь

Кирилл, большое спасибо!

Materalized View вам в помошь

Алексей, подскажите, пожалуйста – можно ли после создания MView убить родительскую таблицу?

Алексей, подскажите, пожалуйста – можно ли после создания MView убить родительскую таблицу?

Я предполагаю что да, можно. MV - это как триггер на вставку данных. Правда я так не делал. Кстати если вам не надо добавлять больше новые данные, то проще сделать просто еще набор таблиц с нужными индексами

Все привет. Опять про ODBC + PSQL. Протестировал несколько версий КХ, простое обновление на стабильные версии. Так как в чейнжлоге вообще ничего не сказано про изменение чего либо в отношении ODBC то хочется понять куда копать. 1.1.54385 ++ 1.1.54388 ++ 1.1.54390 ++ 1.1.54394 [unixODBC]could not create SSL context: library has no ciphers 18.1.0 [unixODBC]could not create SSL context: library has no ciphers 18.4.0 ++ 18.5.1 [unixODBC]could not create SSL context: library has no ciphers 18.6.0 [unixODBC][Driver Manager]Data source name not found, and no default driver specified 18.10.3 [unixODBC][Driver Manager]Can't open lib 'psqlodbcw.so' : file not found Сама настройка ODBC не менялась. В документации сказано что может потребоваться указать прямой путь к либе psqlodbcw.so (менял в файле /etc/odbcinst.ini ). Но это не помогает, тогда вообще все падает ?

Все привет. Опять про ODBC + PSQL. Протестировал несколько версий КХ, простое обновление на стабильные версии. Так как в чейнжлоге вообще ничего не сказано про изменение чего либо в отношении ODBC то хочется понять куда копать. 1.1.54385 ++ 1.1.54388 ++ 1.1.54390 ++ 1.1.54394 [unixODBC]could not create SSL context: library has no ciphers 18.1.0 [unixODBC]could not create SSL context: library has no ciphers 18.4.0 ++ 18.5.1 [unixODBC]could not create SSL context: library has no ciphers 18.6.0 [unixODBC][Driver Manager]Data source name not found, and no default driver specified 18.10.3 [unixODBC][Driver Manager]Can't open lib 'psqlodbcw.so' : file not found Сама настройка ODBC не менялась. В документации сказано что может потребоваться указать прямой путь к либе psqlodbcw.so (менял в файле /etc/odbcinst.ini ). Но это не помогает, тогда вообще все падает ?

Попробуйте линк .so файлу поставить на папку выше

Все привет. Опять про ODBC + PSQL. Протестировал несколько версий КХ, простое обновление на стабильные версии. Так как в чейнжлоге вообще ничего не сказано про изменение чего либо в отношении ODBC то хочется понять куда копать. 1.1.54385 ++ 1.1.54388 ++ 1.1.54390 ++ 1.1.54394 [unixODBC]could not create SSL context: library has no ciphers 18.1.0 [unixODBC]could not create SSL context: library has no ciphers 18.4.0 ++ 18.5.1 [unixODBC]could not create SSL context: library has no ciphers 18.6.0 [unixODBC][Driver Manager]Data source name not found, and no default driver specified 18.10.3 [unixODBC][Driver Manager]Can't open lib 'psqlodbcw.so' : file not found Сама настройка ODBC не менялась. В документации сказано что может потребоваться указать прямой путь к либе psqlodbcw.so (менял в файле /etc/odbcinst.ini ). Но это не помогает, тогда вообще все падает ?

library has no ciphers может, openssl не залинковался?

попробуйте на всякий случай sudo apt-get install openssl openssl-dev

или libssl-dev

library has no ciphers может, openssl не залинковался?

а что поменялось кроме версии КХ? Потом посреди версий вдруг заработало и опять отвалилось ? пока на 18.4.0 обновляюсь. Пока все хорошо.

не знаю, я из сорсов собирал 1 раз, тоже на чём-то застрял. но потом пакеты доставил и заработало.

я из сорцов не собираю, ставлю deb пакеты

Эта функциональность есть пока только в master версии. Настройки input_format_allow_errors_num, input_format_allow_errors_ratio. Использовать стоит для пропуска небольшого количества ошибок (например, 0.1%), так как если ошибок много, то импорт существенно замедляется.

А input_format_allow_errors_ratio - это множитель для input_format_allow_errors_num?

Подскажите, а как выбрать primary key для таблицы? На что нужно обратить внимание?

ну это доджен быть основной критерий для ваших запросов который будет минимизировать выборку для всех остальных критериев

то есть то, что я чаще всего пишу в where в запросах и ставить в primary key?

ну не то что чаще а то что снизит выборку минимально в среднем

ок, спасибо. А порядок следования полей в композитном ключе имеет значение?

ок, спасибо. А порядок следования полей в композитном ключе имеет значение?

https://groups.google.com/forum/#!searchin/clickhouse/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%7Csort:relevance/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ

Алексей, подскажите, пожалуйста – можно ли после создания MView убить родительскую таблицу?

Можно, но лучше создавать VIEW с TO на сущствующую таблицу, чтоб проще обслуживать удалять было

Имеем столбец t с DateTime. Есть ли какой-нибудь простой способ получить выборку с двумя столбцам - собственно t(i), и интервал между двумя соседними строками в секундах t(i+1)-t(i)?

Имеем столбец t с DateTime. Есть ли какой-нибудь простой способ получить выборку с двумя столбцам - собственно t(i), и интервал между двумя соседними строками в секундах t(i+1)-t(i)?

runningDifference

runningDifference

Не работает │ 2018-08-27 14:38:08 │ 0 │ │ 2018-08-27 14:40:07 │ 0 │ │ 2018-08-27 14:42:08 │ 0 │ │ 2018-08-27 14:44:07 │ 0 │

SELECT datetime, runningDifference(datetime) FROM ( SELECT datetime FROM disk GROUP BY datetime ORDER BY datetime ASC LIMIT 10 )

У меня так работает

Про вопросы по catboost.

если просто вопросы на посоветоваться, то на stackoverflow. Если ошибки, то на гитхаб делать issues

Извините за возможный оффтоп, но, возможно, есть отдельный чат по catboost? Интересует одно из значений, которое может принимать параметр eval_metric обучаемой модели

^

подскажите, что с функцией округления, вижу округление вверх, вниз, но округление в зависимости от 0.5 нет, как так?

^

спасибо

SELECT datetime, runningDifference(datetime) FROM ( SELECT datetime FROM disk GROUP BY datetime ORDER BY datetime ASC LIMIT 10 )

Очевидно у вас другой расклад в блоках данных. runningDifference работает в пределах блока

Обратите внимание - у меня два селекта и runningDifference применяется к результатам первого

Очевидно у вас другой расклад в блоках данных. runningDifference работает в пределах блока

можно сначала селект сделать, а потом из него брать дифференс - будет один блок

а вот Станислав уже опередил

Обратите внимание - у меня два селекта и runningDifference применяется к результатам первого

Угу. спасибо

подскажите, что с функцией округления, вижу округление вверх, вниз, но округление в зависимости от 0.5 нет, как так?

Среди trunc, ceil, round, это обычный round. https://clickhouse.yandex/docs/ru/query_language/functions/rounding_functions/#roundx91-n93

Среди trunc, ceil, round, это обычный round. https://clickhouse.yandex/docs/ru/query_language/functions/rounding_functions/#roundx91-n93

он до чётного округляет

он до чётного округляет

Имеется ввиду - округление вверх в случае 0.5? Такого нет.

Имеется ввиду - округление вверх в случае 0.5? Такого нет.

да

по каким причинам может не происходить ALTER TABLE ... FREEZE PARTITION? в system.parts партиции для нее есть, данные в таблице тоже, но после FREEZE в shadow/../data/database партиции для этой таблицы не появляются? во время FREEZE ошибок нет

по каким причинам может не происходить ALTER TABLE ... FREEZE PARTITION? в system.parts партиции для нее есть, данные в таблице тоже, но после FREEZE в shadow/../data/database партиции для этой таблицы не появляются? во время FREEZE ошибок нет

Возможно, неправильно указано имя или префикс для партиции?

Посмотрите в логе сервера всё после вашего запроса. Freezing parts with ... и ниже сообщения с тем же номером потока.

Посмотрите в логе сервера всё после вашего запроса. Freezing parts with ... и ниже сообщения с тем же номером потока.

я сейчас посмотрел логи и увидел что партиции одной таблицы фризятся в $CLICKHOUSE_DIR/shadow/1, а партиции другой в $CLICKHOUSE_DIR/shadow/3 - и стало непонятно, я думал что это порядковый номер инкрементальной копии. Стало вообще неочевидно как работает freeze

я думал что фриз делает хардлинк на файл партиции, но тогда почему у меня в чистой shadow создается 15 директорий (одна копия, как я понимаю мастер - другие инкрементальные)?

я думал что фриз делает хардлинк на файл партиции, но тогда почему у меня в чистой shadow создается 15 директорий (одна копия, как я понимаю мастер - другие инкрементальные)?

Если я правильно помню, это - инкрементальный номер операции freeze. То есть, делаете freeze два раза - будут две директории. Также есть возможность написать FREEZE PARTITION ... WITH NAME 'name' - явно указать имя директории для бэкапа.

Как отлаживать Logical Error's, которые возникают при слиянии частей через какое-то время после вставки? Пишет, например, что длина структуры в файле с длинами массива и с самим массивом не совпадает

Означает ли это, что часть данных была потеряна?

Как отлаживать Logical Error's, которые возникают при слиянии частей через какое-то время после вставки? Пишет, например, что длина структуры в файле с длинами массива и с самим массивом не совпадает

Это баг. Я помню такие проблемы были в очень старых версиях. В первую очередь надо обновить сервер.

Означает ли это, что часть данных была потеряна?

Да, это возможно.

Версия новая, но собирал сам

Версия новая, но собирал сам

Сделайте небольшой тест кейс. Потом надо проверить, если ли различия между собранной версией и версией из готового пакета.

С кейсом проблема — всё пару часов на большой (для одного сервера) работает нормально, пока не начинает сыпать трейсбэки в логах

С кейсом проблема — всё пару часов на большой (для одного сервера) работает нормально, пока не начинает сыпать трейсбэки в логах

Имеет смысл перечислить все особенности данного кейса. Типа таких: какие виды MergeTree используются; есть ли многомерные массивы...

Обычный MergeTree, массивы не многомерные — двух типов, с числами и строками, кастомное паптицирование - почасовое

primary key из небольшого числа (функция от id) и большого - милисекундный таймстемп