18.14.8 интересно глючит, запрос выдает неправильный результат, в зависимости от кол-ва условий в where и после рестарта все проходит, view нету, но есть подзапросы в where ( enable_optimize_predicate_expression включено, пока не понял из-за него или нет).

такое ощущения что КХ начал кешировать результат подзапроса и спустя сутки подзапрос выдает все тот же результат, т.е. типа where a < (select max(aa) from ...)

кэш как причина проблемы как волчанка в сериале доктор хаус

каждый раз на него думают и каждый раз не он

неправда

обычно винят сеть

(а потом, конечно, кэш)

ты код сразу в проде редактируешь?

через вим

конечно же

А в утечках и перерасходе памяти — фрагментацию и кривые аллокаторы.

конечно же

красиво

/me думает как править все облако vim'ом

это ж не ирк

а жаль

@pavel_odintsov https://www.youtube.com/watch?v=pcr8kBeA_kE

irc никуда не уходил, чтобы возвращаться ?

Господа, помогите с составлением запроса, чтобы посчитать разницу между значениями одного типа. SELECT intDiv(toUInt32(Time), 120) * 120 AS t, Type, max(Packets) AS c FROM table GROUP BY t, Type ORDER BY t ASC, Type ASC ┌──────────t─┬─Type─┬─────c─┐ │ 1535712600 │ tcp │ 1000 │ │ 1535712600 │ udp │ 1000 │ │ 1535712720 │ tcp │ 3000 │ │ 1535712720 │ udp │ 5000 │ │ 1535712840 │ tcp │ 5000 │ │ 1535712840 │ udp │ 9000 │ │ 1535712960 │ tcp │ 7000 │ │ 1535712960 │ udp │ 13000 │ │ 1535713080 │ tcp │ 9000 │ │ 1535713080 │ udp │ 17000 │ └────────────┴──────┴───────┘ С ответа видно, что tcp возрастает на 2к, а udp на 4к каждые 2 минуты, что и нужно получить в итоговом запросе. Как посчитать эту разницу? >> runningDifference считает разницу с предыдущей строкой. В моем случае, предыдущая строка может принадлежать другому Type, сравнение с которым будет неправильным.

Т.е. ответ должен быть примерно таким, но без условия в WHERE: SELECT t, Type, runningDifference(c) AS c FROM ( SELECT intDiv(toUInt32(Time), 120) * 120 AS t, Type, max(Packets) AS c FROM table WHERE Type = 'udp' GROUP BY t, Type ORDER BY t ASC, Type ASC ) ┌──────────t─┬─Type─┬────c─┐ │ 1535712600 │ udp │ 0 │ │ 1535712720 │ udp │ 4000 │ │ 1535712840 │ udp │ 4000 │ │ 1535712960 │ udp │ 4000 │ │ 1535713080 │ udp │ 4000 │ └────────────┴──────┴──────┘

Ребят, docker образ clickhouse, ubuntu 18.04. При установке пакета iputils-ping получаю bash: /usr/bin/clickhouse: Operation not permitted Убираю пакет, все ок…

что значит установке/убираю ?

Добрый вечер, кто-то может объяснить, что кликхаус делает при запросе dictGet на http словарь? У меня в запросе стоял лимит на 1000, он мне после выполнения запроса, судя по логам, отправил >1000 ключей на http сервер словаря

покажите запрос и станет все ясно

что значит установке/убираю ?

Эм apt install iputils-ping -> трабл Убираем установку пакета, все ок

Эм apt install iputils-ping -> трабл Убираем установку пакета, все ок

Кого он там зависимостями притаскивает?

Добрый вечер, кто-то может объяснить, что кликхаус делает при запросе dictGet на http словарь? У меня в запросе стоял лимит на 1000, он мне после выполнения запроса, судя по логам, отправил >1000 ключей на http сервер словаря

В обычном случае он по времени обновляет запрос в памяти и вы ходите всегда в нее, в случае cache словаря он для ключей которых нет собирает пачку и пуляет ее одним запросом.

Т.е. ответ должен быть примерно таким, но без условия в WHERE: SELECT t, Type, runningDifference(c) AS c FROM ( SELECT intDiv(toUInt32(Time), 120) * 120 AS t, Type, max(Packets) AS c FROM table WHERE Type = 'udp' GROUP BY t, Type ORDER BY t ASC, Type ASC ) ┌──────────t─┬─Type─┬────c─┐ │ 1535712600 │ udp │ 0 │ │ 1535712720 │ udp │ 4000 │ │ 1535712840 │ udp │ 4000 │ │ 1535712960 │ udp │ 4000 │ │ 1535713080 │ udp │ 4000 │ └────────────┴──────┴──────┘

В вашем случае самое простое сделать UNION по udp/tcp

Кого он там зависимостями притаскивает?

уже завтра посмотрю

кэш как причина проблемы как волчанка в сериале доктор хаус

ну не знаю https://github.com/yandex/ClickHouse/issues/3410 у меня воспроизводится. Очень мерзкая бага, результат запроса неверный и как полечить это неясно.

А как делать healthcheck кликхауса из докера-композа? В документации говорится, что надо curl-ом запросить начальную страницу, а курла в докеровском образе нет. Собирать еще один образ чисто ради мониторинга не хочется.

и тот же вопрос с zookeeper

А как делать healthcheck кликхауса из докера-композа? В документации говорится, что надо curl-ом запросить начальную страницу, а курла в докеровском образе нет. Собирать еще один образ чисто ради мониторинга не хочется.

в чистом докере хелсчеки особо не дают профита

Это чисто по прикладному проще. Тупо запускаем docker ps -a и видим, какие сервисы живы. И парсится оно несложно. И мб дальше на мониторинг передается.

ну не знаю https://github.com/yandex/ClickHouse/issues/3410 у меня воспроизводится. Очень мерзкая бага, результат запроса неверный и как полечить это неясно.

В 18.14.9. не воспроизводится

А как делать healthcheck кликхауса из докера-композа? В документации говорится, что надо curl-ом запросить начальную страницу, а курла в докеровском образе нет. Собирать еще один образ чисто ради мониторинга не хочется.

Оно извне должно мониториться, в чем у вас проблема "стукнутся" на хост порт КХ чтоб пингануть его вашим мониторингом?

не. снаружи стукнуться - проблем никаких

и тот же вопрос с zookeeper

зукипер в докере вам точно не нужен

почему?

@milovidov_an Алексей, а движок MySQL в принципе Decimal поля из MySQL не поддерживает?

Нет. Но это сейчас очень частый запрос, и мы будем это делать.

Спасибо за ответ

почему?

он очень чувствителен к летенси, он не нуждается в обновлении, он stateful, работа репликации и реплицируемых таблиц clickhouse напрямую зависит от здоровья зукипер. если у вас зукипер будет педалить - таблицы replicated будут переходить в readonly

хм... спасибо. подумаю

если у вас будет один сервер на котором докер и в нём контейнеризован зукипер, и больше ничего, это будет работать, но встаёт вопрос, а не является ли докер в этом всём элементом карго культа ?

select * from testx where not a and t < (select tkey from dt) ┌──────t─┬─a─┐ │ 100000 │ 0 │ └────────┴───┘ select tkey from dt ┌─tkey─┐ │ 0 │ └──────┘ select * from testx where not a and t < 0 0 rows in set. Elapsed: 0.001 sec.

А как можно посмотреть detached партиции запросом для таблицы, если их взяли из бэкапа, сделанного freeze, и поместили в detached папку вновь созданной таблицы?

Коллеги, кто-нибудь испытывал проблему записью данных по шардам из distributed-таблицы в 18.14.9?

https://github.com/yandex/ClickHouse/issues/3411

А как можно посмотреть detached партиции запросом для таблицы, если их взяли из бэкапа, сделанного freeze, и поместили в detached папку вновь созданной таблицы?

Вроде о детач партициях сервер ничего не знает кроме когда делаешь атач

подскажите, какой мигратор нормально с кх работает?

Мигратор откуда куда

из up в down :) типа такого https://github.com/golang-migrate/migrate но этот чутка кривой

Блин, там кодить 40 строчек

Подскажите плиз, как удалить или заигнорить part у которого чексумма не совпадает ? кроме выключение проверки чексум

Детач ему сделайте

А хотя там только партишен можно детачнуть

Детачите партишен , удаляете парт , аттачите партишен

аа, понял, спс щас пробну

а то я удалил просто парт, а оно начало другую ошибку сыпать Could not find a column of minimum size in MergeTree, p

Ну без детача удалять парт на живой базе это конечно хитро

А можно ли как-то не перезапуская попросить кликхаус снова отрезолвить адрес реплики?

там есть команда типо флаш двс кеш

прямо в кликхаусе должна быть , это по моему ваш вариант

Добрый день. При использовании запроса ALTER TABLE ..... ON CLUSTER ... DELETE ... появилась ошибка: Code: 60, e.displayText() = DB::Exception: There was an error on XX.XX.XX.XX: An error occured before execution: Code: 60, e.displayText() = DB::Exception: Table default.table doesn't exist., e.what() = DB::Exception, e.what() = DB::Exception Запрос выполняется через http интерфейс. название БД установлено GET параметром. Данная ошибка появилась после обновления до версии 18.14.8. Т.е. на удаленный хост запрос почему-то теперь стучится в БД по умолчанию, хотя до обновления запрос выполнялся. Кто-нибудь подскажет в чем причина?

создайте ишью на гитхабе, видимо баг

у меня вообще ON CLUSTER в принципе не работает и виснет, везет что хоть ошибка есть)

Было один раз такое, что вис, но сейчас не виснет

был баг что оно не работает в кластере, в котором есть internal replication. Создал без репликации - тот же эффект

Я точно не помню на чем у меня выскакивал данный баг, но суть была в том, что пока я тестировал данную конструкцию в определенный момент, запрос подвис и далее на ON CLUSTER вообще ничего не срабатывало. Помог только рестрт клика.

был баг что оно не работает в кластере, в котором есть internal replication. Создал без репликации - тот же эффект

что за баг? у меня недавно была проблема с он кластер после апдейта, но на деле ошибка появилась потому что после апдейта был перезапущен кх даже в бложик чирканул статейку http://pumainthailand.com/neponyatnaya-problema-s-klasternymi-zaprosa-v-baze-dannyh-clickhouse/

Добрый день. При использовании запроса ALTER TABLE ..... ON CLUSTER ... DELETE ... появилась ошибка: Code: 60, e.displayText() = DB::Exception: There was an error on XX.XX.XX.XX: An error occured before execution: Code: 60, e.displayText() = DB::Exception: Table default.table doesn't exist., e.what() = DB::Exception, e.what() = DB::Exception Запрос выполняется через http интерфейс. название БД установлено GET параметром. Данная ошибка появилась после обновления до версии 18.14.8. Т.е. на удаленный хост запрос почему-то теперь стучится в БД по умолчанию, хотя до обновления запрос выполнялся. Кто-нибудь подскажет в чем причина?

Для исследования нужно полное описание проблемы, чтобы можно было воспроизвести

Для исследования нужно полное описание проблемы, чтобы можно было воспроизвести

Есть кластер из двух нод, создана реплецируемая таблица "db.table" (ReplicatedCollapsingMergeTree). При выполнении на первой ноде указанного выше запроса, через http интерфейс (название БД установлено GET параметром "database=db") появляется ошибка что на второй ноде нет таблицы "default.table". Хотя если в запросе явно задать ALTER TABLE db.table DELETE WHERE .... то такой запрос отрабатывает без ошибок.

ch не реплицирует сам структуру таблиц

ручками создавать надо на каждой ноде

Это мне?

ну да =) > создана реплецируемая таблица "db.table" создана на обеих нодах?

всем привет :) У нас сейчас есть такая задача, перенести полностью базу с одной группы серверов на другие. У кого-то может быть был опыт, как к этому вообще лучше подходить? clickhouse-copier воспользоваться это нормальный вариант?

ну да =) > создана реплецируемая таблица "db.table" создана на обеих нодах?

1. Да, таблицы созданы везде 2. Я выше написал что запрос ранее работал 3. в последнем сообщении указанно что при указании БД в самом запросе он отрабатывает. Так что если бы небыло таблицы он не отрабатывал бы

привет. а делал кто-нибудь отдельный шард с hdd вместо ssd для холодных данных? интересует несколько вопросов: - как лучше переносить данные (допустим, старше 3 месяцев)? - наверно, стоит добавить первичный ключ со значением 0/1 для быстрого поиска? - может что-то еще?

всем привет :) У нас сейчас есть такая задача, перенести полностью базу с одной группы серверов на другие. У кого-то может быть был опыт, как к этому вообще лучше подходить? clickhouse-copier воспользоваться это нормальный вариант?

сделайте просто репликами , быстро удобно сложно сломать

@kshvakov Добрый день, подскажите пожалуйста как сделать вставку сразу нескольких строк, я динамически формирую строку, получается например так: stmt, err := tx.Prepare(insert into test.test (id, message) VALUES (?, ?) (?, ?)) _, err = stmt.Exec("1","1 message","2","2 message") получаю ошибку: expected 2 arguments, got 4

идея взята отсюда https://stackoverflow.com/questions/21108084/golang-mysql-insert-multiple-data-at-once

Привет всем, как узнать, почему КХ не перечитывает дочерний конфиг? в логах - ничего, даже если слать серверу HUP ничего не происходит

@kshvakov Добрый день, подскажите пожалуйста как сделать вставку сразу нескольких строк, я динамически формирую строку, получается например так: stmt, err := tx.Prepare(insert into test.test (id, message) VALUES (?, ?) (?, ?)) _, err = stmt.Exec("1","1 message","2","2 message") получаю ошибку: expected 2 arguments, got 4

запятую забыли между (?, ?), (?,?)

Добрый день! Подскажите, пожалуйста, как правильно понимать фразу из документации по INSERT INTO (https://clickhouse.yandex/docs/ru/query_language/insert_into/): "Снижения производительности не будет, если: Данные поступают в режиме реального времени." Хотя часто в документации упоминается, что лучше вставлять отсортированные большие пачки данных (более 1000 строк). В моём случае в реальном времени приходит порядка 50 записей. Правильно я понимаю, что мне можно не накапливать 1000 строк, а сразу вставлять пришедшие 50, и на производительность это не повлияет?

запятую забыли между (?, ?), (?,?)

не помогло

сделайте просто репликами , быстро удобно сложно сломать

попробуем, спасибо

@kshvakov Добрый день, подскажите пожалуйста как сделать вставку сразу нескольких строк, я динамически формирую строку, получается например так: stmt, err := tx.Prepare(insert into test.test (id, message) VALUES (?, ?) (?, ?)) _, err = stmt.Exec("1","1 message","2","2 message") получаю ошибку: expected 2 arguments, got 4

tx:=conn.Begin() stmt:=tx.Prepare(INSERT INTO T VALUES(?, ?)) for _, row:= range rows { stmt.Exec(row[1],row[2]) } tx.Commit()

@kshvakov но это уже не будет один запрос, это будет несколько запросов insert, хотелось сделать одним запросом, так как кликхаус не люлбит одиночные запросы

Добрый день! Подскажите, пожалуйста, как правильно понимать фразу из документации по INSERT INTO (https://clickhouse.yandex/docs/ru/query_language/insert_into/): "Снижения производительности не будет, если: Данные поступают в режиме реального времени." Хотя часто в документации упоминается, что лучше вставлять отсортированные большие пачки данных (более 1000 строк). В моём случае в реальном времени приходит порядка 50 записей. Правильно я понимаю, что мне можно не накапливать 1000 строк, а сразу вставлять пришедшие 50, и на производительность это не повлияет?

Хоть по одной, но это оверхед. Имеется ввиду что делаем INSERT INTO T VALUES, а дальше пишем данные в поток.

@kshvakov но это уже не будет один запрос, это будет несколько запросов insert, хотелось сделать одним запросом, так как кликхаус не люлбит одиночные запросы

Это будет 1 запрос

@kshvakov я думал , что Exec отправляет запрос и они копятся пока не будет Commit тоесть получится поток begin INSERT INTO T VALUES(1, "text") INSERT INTO T VALUES(2, "text") commit получается что 2 insert в транзакции

как там может получиться один запрос не могу понять