Ну у нас 90, поэтому мы пока не очень переживаем. Но тоже неприятно, причём нагрузки на базу почти нет (не больше сотни строки в минуту).

Связываем это как раз с низкой нагрузкой и вставкой маленькими порциями (по десятку за раз, то есть около 10 вставок в минуту)

да, верно, сейчас маленькие порциями пока вставляем, спасибо, понятно куда копать

Господа, в конфиге кх есть строки про компрессию <!— Uncomment if you want data to be compressed 30-100% better. Don't do that if you just started using ClickHouse. —> чем мотивирована вторая строка ?

может быть кто-то использует https://github.com/nikepan/clickhouse-bulk ? Стоит ли?

добрый день, подскажите пожалуйста, как можно посчитать в таблице date,user_id число юзеров, которые каджый день заходят как минимум 1 раз в день на протяжение 3х дней

если у вас мало данных и много времни, то можно так select user, arraySort(groupUniqArray(date)) as ds, arrayExists(d-> has(ds,d+1) and has(ds, d+2),ds) as f from (select today() - modulo(rand(), 20) as date, modulo(rand(), 7) as user from system.numbers limit 30) group by user

Блин, второй день бьюсь - понять не могу. Собираю кластер с такими конфигами https://gist.github.com/count0ru/e0bb494634b3edaaf68fad948a811e03 делаю базу на одной из нод create database test; Потом пытаюсь добавить таблицу шардированную CREATE TABLE test.testTable_sharded ( event_date Date DEFAULT toDate(event_time), event_time DateTime DEFAULT now(), body_id Int32, viwes Int32 ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01/test/testTable_sharded', '02', event_date, (event_time, body_id), 1892); пишет что Can't create replicated table without ZooKeeper что не так? Запрос на CREATE TABLE, или у меня действительно зукипер не работет просто?

апну

если у вас мало данных и много времни, то можно так select user, arraySort(groupUniqArray(date)) as ds, arrayExists(d-> has(ds,d+1) and has(ds, d+2),ds) as f from (select today() - modulo(rand(), 20) as date, modulo(rand(), 7) as user from system.numbers limit 30) group by user

магическое заклинание выдало буквы оформленные в таблицу. но смысл букв ускользает

Блин, второй день бьюсь - понять не могу. Собираю кластер с такими конфигами https://gist.github.com/count0ru/e0bb494634b3edaaf68fad948a811e03 делаю базу на одной из нод create database test; Потом пытаюсь добавить таблицу шардированную CREATE TABLE test.testTable_sharded ( event_date Date DEFAULT toDate(event_time), event_time DateTime DEFAULT now(), body_id Int32, viwes Int32 ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01/test/testTable_sharded', '02', event_date, (event_time, body_id), 1892); пишет что Can't create replicated table without ZooKeeper что не так? Запрос на CREATE TABLE, или у меня действительно зукипер не работет просто?

У вас как минимум xml в конфиге невалидный и сервер не перезапустился и не принял новую конфигурацию

У вас как минимум xml в конфиге невалидный и сервер не перезапустился и не принял новую конфигурацию

ммм, на проде это уже пофикшено

ну т.е. этот тег закрыт нормально

магическое заклинание выдало буквы оформленные в таблицу. но смысл букв ускользает

подзапрос генерит случайные данные, внешний запрос ищет для даты завтра и послезавтра. квадрат будет и без сортировки работать, с сортировкой можно линию сделать. arrayExists(i-> ds[i+1]=ds[i]+1 and ds[i+2]= ds[i]+2,range(length(ds)))

Спасибо, но а если данных много есть другой способ?

если у вас мало данных и много времни, то можно так select user, arraySort(groupUniqArray(date)) as ds, arrayExists(d-> has(ds,d+1) and has(ds, d+2),ds) as f from (select today() - modulo(rand(), 20) as date, modulo(rand(), 7) as user from system.numbers limit 30) group by user

в общем случае без group by userid вы внутри базы историю не получите. этот запрос не масштабируется: у вас этих людей может быь миллион, может быть миллиард, и запрос в какой-то момент перестанет работать. в этом случае надо посмотреть видео Леши про то как с этим жить. то же самое можно сказать про бесконечную длину жизни пользователя, которая растет медленнее, но с которой все еще хуже, т.к. уники по разным периодам не складываются. если у вас есть логика между чтением событий и записью их в базу, вы можете часть обработки попробовать перенести туда.

У кого есть опыт хранения айпишников в clickhouse.... В каком типе вы их храните?

Хранить в виде 4-байтового integer

IPV4 целиком влезет в int32 в бинарном виде

У кого есть опыт хранения айпишников в clickhouse.... В каком типе вы их храните?

если только IPV4 то в int32, у нас и IPV4 и IPV6 хранятся вместе, поэтому храним в FixedString(16) (в Го это так https://github.com/kshvakov/clickhouse/blob/master/ip.go)

любой v4 адрес например 1.2.3.4 может быть представлен как ::ffff:1.2.3.4

А MAC тоже храните в Int ?

У CH для этого даже функции есть https://clickhouse.yandex/docs/en/single/#macnumtostring-num

Назревает ситуация, когда имеющего объёма стораджа под кликхаус перестанет хватать и до апгрейда не дотянуть. Прокатит ли такой костыльный выход: отцепить N старых помесячных партиций (через detach?), складировать их файлы до лучших времён на других серваках, а после апгрейда вернуть на место? Все таблицы - MergeTree на одном сервере. Или есть более подходящие рецепты?

всем привет. запрос падает с DB::Exception: Timeout exceeded: elapsed 15.261051418 seconds, maximum: 15 делал set max_execution_time=60; параметр применился, но ничего не изменилось, запрос так же падает

На сколько я понял set max_execution_time=60 ставит опцию для сессии

попробую set global по аналогии с мускулем

Я не знаю есть ли set global, но это все можно через конфиг править :)

через конфиг у меня не получилось

пробовал в глобальную секцию вставлять и в <default>

А сервер рестартили?

подскажите, а зукипер надо как то готовить предварительно для работы с кх?

Кажется, тут много полезного https://clickhouse.yandex/docs/ru/operations/tips.html#zookeeper

Говпода, а о чём может сигнализировать state - "exit 70" при попытке запустить кх сервер в докер контейнере? подгружаю официальный образ (https://hub.docker.com/r/yandex/clickhouse-server/) , в докер компосере кроме собственно образа, прописан только проброс портов

А max_query_size можно глобально поменять как то?

Подскажите, может кто то сталкивался - ZooKiper 3.4.5 (built on 06/10/2013) Обслуживает 3 шарда и 3 реплики Начал падать послдение несколько дней- при увеличении нагрузки, Вчера поправили конфиги из доки CH - эффекта не заметили ZK вслед за собой заваливает кластер CH 1.1.54276 - ноды по очереди теряются ... Размер снапшота -rw-r--r-- 1 zookeeper zookeeper 2725042154 Aug 28 04:40 snapshot.4700f32b75 Помимо старой версии ZK что может быть ?

Все размещено в хетзнеровской сети

Игорь, это снапшот за 4 утра. теперь уже -rw-r--r-- 1 zookeeper zookeeper 4254400423 Aug 28 22:34 snapshot.47017003c1

Всем привет! В роад мепе написано :Доработки синтаксиса JOIN для совместимости со стандартом SQL

это значит можно будет джойнить больше 1 таблицы?

это значит что добавится стандартный джоин он и можно будет без заморок джойнить больше одной таблицы

Вопрос отчаяния: На последних версиях CH 1.1.54276, не кто не наблюдает падение ZK или CH ? После обновления на 54276 - начались проблемы... уже не знаем куда капать, ZK просто не справляется ...

В логах-то что?

2017-08-28T23:23:42.246+0300: 182107.234: [Full GC2017-08-28T23:23:42.246+0300: 182107.234: [CMS2017-08-28T23:23:45.362+0300: 182110.350: [CMS-concurrent-preclean: 3.127/3.127 secs] [Times: user=3.16 sys=0.00, real=3.12 secs] (concurrent mode failure): 7536639K->7536639K(7536640K), 11.1848250 secs] 8303196K->7712239K(8303424K), [CMS Perm : 11087K->11087K(21248K)], 11.1849520 secs] [Times: user=11.28 sys=0.00, real=11.18 secs] 2017-08-28T23:23:53.431+0300: 182118.419: Total time for which application threads were stopped: 11.1851190 seconds, Stopping threads took: 0.0000280 seconds Получается у нас ZK упирается в GC

в clickhouse-server.err.log: 2017.08.29 00:24:01.469525 [ 181 ] <Error> executeQuery: Code: 53, e.displayText() = DB::Exception: Type mismatch for column topic_id. Column has type UInt32, got type Int32, e.what() = DB::Exception (in query: INSERT INTO model.history_news_sharded VALUES) только такие

У нас как бы две проблемы - c одной стороны "Type mismatch for column" и " Total time for which application threads" из за роста размера снапшота ZK

До последнего обновления CH - честно не смотрели за ZK т/к он не доставлял проблем и возможно всегда был такой размер снапа

Я не настоящий сварщик, я на стройке нашел - но ощущаю я, что проблема одна - из-за невозможности вставки зоокипер жрет место. Что будет, если исправить типы?

Вот это завтра попробуем сделать - через DROP TABLE

Страшно - что может это опять завалить весь кластер, будем молиться богу ZK))) А подскажите какой у вас размер снапшота ZK? Просто чтобы оценивать большой он у нас или маленький?

2017-08-28T23:23:42.246+0300: 182107.234: [Full GC2017-08-28T23:23:42.246+0300: 182107.234: [CMS2017-08-28T23:23:45.362+0300: 182110.350: [CMS-concurrent-preclean: 3.127/3.127 secs] [Times: user=3.16 sys=0.00, real=3.12 secs] (concurrent mode failure): 7536639K->7536639K(7536640K), 11.1848250 secs] 8303196K->7712239K(8303424K), [CMS Perm : 11087K->11087K(21248K)], 11.1849520 secs] [Times: user=11.28 sys=0.00, real=11.18 secs] 2017-08-28T23:23:53.431+0300: 182118.419: Total time for which application threads were stopped: 11.1851190 seconds, Stopping threads took: 0.0000280 seconds Получается у нас ZK упирается в GC

у вас, кажется, вся оператива выжралась зукипером, и он постоянно уходит в гц

точнее, вся выделенная ему оператива

это вполне может быть утечка, сам я точнее не скажу и не представляю ваши объемы, но можно проверить, увеличив ему пространство для действия

но вообще цифры для восьми гигов не очень нормальные

Вопрос отчаяния: На последних версиях CH 1.1.54276, не кто не наблюдает падение ZK или CH ? После обновления на 54276 - начались проблемы... уже не знаем куда капать, ZK просто не справляется ...

Есть проблема в текущей версии, тоже наблюдаем

Рестартаните кликхаус для очистки zk

Есть проблема в текущей версии, тоже наблюдаем

СПАСИБО!

Там старые ноды не удаляются

Мы также перезапускали с force_restore_data

@frenzme не подскажешь конкретику?

просто у нас нагрузка сильно возросла на выходных мы подняли размер памяти для ZK, сегодня ( понедельник ) спала к нормальным значениям и в 22:00 вылетел опять ZK

force_restore_data нигде не потребовалось делать. Мы только перезапустили CH и он почистил лишние ноды в zk.

Мы тоже просто restart ZK master ноды делаем и restart CH ноды которая вылетела

Нет нет

Растратите весь кластер

Рестартите

Там тупо утечка нод

Мы завтра ресетапим ZK с большей памятью и на SSD, сейчас он на блинах. Как думаете это поможет?

Ещё раз, там утечка

Вопрос просто времени когда он упадёт

У нас zk на ssd с xmx 80gb

Не особо помогает

То есть это просто баг и надо дождаться фикса

Хорошо что мы кх не апдейтим)

ок

То есть это просто баг и надо дождаться фикса

очень ждем))) +1 большой "спасибо" а то выходные и сегодняшний вечер прошли весело )))

Не только у вас

Метрика на выходных отставала не просто так :)

А разве нельзя его откатить в ожидании фикса?)

Можно конечно

Viktor Tarnavskiy, а какой у Вас размер снепшота ЗК, если вы поставили 80гб хипа?

А разве нельзя его откатить в ожидании фикса?)

Честно, мне стремно как то - а если данные тю тю ... Мы только планируем на сентябрь сделать второй кластер, копию основного - но со своим CH и ZK

@ligich до 40гб доходил, но в этот момент 80gb Xmx было маловато.

Добрый день. Подскажите. Пытаюсь создать distributed таблицу. Но запрос падает по таймауту. В чем может быть причина.

Сами шарды настроены.

То есть это просто баг и надо дождаться фикса

Это не оно https://github.com/yandex/ClickHouse/commit/37820f7f64dde22beb19573649635601687d6857 ? В v1.1.54283-testing оно есть, можно попробовать апнуть deb пакеты тоже есть http://repo.yandex.ru/clickhouse/trusty/pool/main/c/clickhouse/

Салют! А как обновить кликхаус до последней версии?

apt upgrade

apt upgrade

Спасибо, это будет последняя стабильная или вообще последняя ?

смотря какой репозиторий подключен, если стабильный, то стабильная

Доброе утро! Подскажите, как правильно колонку добавить в ReplicatedSummingMergeTree, как-то атомарно колонку + менять PK? А то вдруг проблемы будут.. Может он куски старые не замержил еще, там нет этой колонки, а тут вдруг добавится :)

а, PK похоже не поменять вообще, только новую таблу создавать на основе текущей

не могу найти в документации, куда надо поместить max_bytes_before_external_group_by ? Эта опцию нужно поменять для readonly доступа, а в нём её нельзя выставлять

надо положить в конфиг