куда нести деньги?!?!?

у нас linux ?

напишите, если у вас заведется, пожалуйста

привет, как выбрать из столбца массив со значениями из этого столбца?

groupArray(x)

напишите, если у вас заведется, пожалуйста

Как получится, скажу что делали ?

Единственное решение, которое я видел - когда десктоп и сервер на одной машине, и с десктопа воркбуки пабляшатся на сервер. Извините за обилие англицизмов

если на сервер паблишить с удаленных десктопов, коннекшн до CH не работает

groupArray(x)

Шикарно! Пасибо!

Единственное решение, которое я видел - когда десктоп и сервер на одной машине, и с десктопа воркбуки пабляшатся на сервер. Извините за обилие англицизмов

У нас игровая база на монге, которая забирается в ClickHouse. Он стоит на Linux-сервере. Я хочу забирать базу в Табло, которое стоит на Mac os x и отправлять сделанное там в веб.

сочувствую. Если отчаятесь - посмотрите в сторону superset. У него не odbc подключение к ch, там одной проблемой будет меньше

не odbc - то есть обычное ch-http

Ещё. Оказалось, что после ALTER TABLE .. ADD COLUMN .. метаданные в ZK не изменились, и по прежнему не содержат новую колонку. Так и должно быть?

Вообще должны менятся, насколько я помню, да и по логике оно должно быть так, ведь правда @ztlpn ? Какая у вас версия сервера и действительно ли вы смотрите в тот ZK (и актуален ли он)?

Вообще должны менятся, насколько я помню, да и по логике оно должно быть так, ведь правда @ztlpn ? Какая у вас версия сервера и действительно ли вы смотрите в тот ZK (и актуален ли он)?

Версия сервера 1.1.54385. ZK правильный: использую сразу несколько таблиц в кластере, и остальные таблицы реплицируются правильно

И это тем более странно, что на момент, когда я добавлял новые колонки в одну из реплик, оно синхронизировалось на остальные. А теперь не даёт мне создать таблицу со всеми колонками, потому что Table structure in ZooKeeper is too different from local table structure

мм есть вопрос, по поводу arrays, tuples и прочего, рою документацию, но точно сформулировать по прочитанному пока не могу, буду благодарен если кто либо меня направит в нужном направлении: есть массив построенный через квери вида groupArray((column1, column2, column3,...columnN, Count)) AS groupArr - количество колонок произвольно, есть outer квери по результату - SELECT arrayMap(lambda(tuple(a), (a .1, a .2, a.3, а.N)), groupArr), я могу каким то образом в врхнем квери взять все елементы массива(кортежа) кроме например последнего, сделать для каждого элемента toString() и concat() всех елемнтов или например arrayStringConcat(), затем взять последний елемент а.LAST и вернуть как результат?

если непонятно обьяснил - буду рад сформулировать подробнее

если такое возможно - сильно поможет в динамической группировке при построении графиков

Ещё. Оказалось, что после ALTER TABLE .. ADD COLUMN .. метаданные в ZK не изменились, и по прежнему не содержат новую колонку. Так и должно быть?

Смотря какие метаданные - есть общий список (`/путь/к/таблице/columns`), а есть ещё и список столбцов каждой реплики (`/путь/к/таблице/replicas/реплика/columns`). Общий список столбцов должен первым делом меняться.

Смотря какие метаданные - есть общий список (`/путь/к/таблице/columns`), а есть ещё и список столбцов каждой реплики (`/путь/к/таблице/replicas/реплика/columns`). Общий список столбцов должен первым делом меняться.

в /путь/к/таблице/replicas/реплика/columns нету новых колонок, в общем списке по пути select * from system.zookeeper where path='/clickhouse/tables/0/myTable_replicated/columns' ничего не выдает. если запрашивать select * from system.zookeeper where path='/clickhouse/tables/0/myTable_replicated' and name = 'columns' format Vertical, то выдаст, снова таки список колонок, в котором нету новых

А когда проявился разный порядок столбцов первичного ключа?

Такого не должно быть. Только если кто-то где-то вручную поправил.

А когда проявился разный порядок столбцов первичного ключа?

Вот без понятия. Оно себе работало-работало, а тут понадобилось добавить новую реплику и это проявилось. Говорят, что никто не правил.

Даже если закрыть глаза на порядок в кортеже ключей, непонятно, что делать с колонками. Можно создать таблицу со старым списком колонок, и потом вручную добавить новые. (Хотя при добавлении первый раз я добавлял новые колонки только в одну из реплик и было всё правильно). Непонятно только, как оно будет стягивать старые данные. Вдруг сначала загрузятся только колонки, которые есть, а потом я сделаю alter table до полного набора колонок но данные из новых колонок не добавятся?

Я почти уверен, что всё работает (при вставке реплицируются все поля: как новые, так и старые), но только метаданные в ZK этого не отображают и не дают создавать новые реплики

Если кому интересно, косвенно мой вопрос решается: groupArray((Count, (Column1,Column2,ColumnN)))) AS groupArr и поверх этого arrayMap(lambda(tuple(a), (a.2, a.1)), groupArr) тогда количество колонок в groupArray() можно менять динамически

Вопрос не по сабжу, как доказать админам что они не вывозят

?

драматичнее было бы спросить у Алисы

Вопрос не по сабжу, как доказать админам что они не вывозят

поадминить вместо них.

Вопрос не по сабжу, как доказать админам что они не вывозят

Думаю они знают и особо ничего не надо доказывать

про даннинга-крюгера не забываем

А есть вообще опытные системщики?

вообще - есть, но присутствующие вряд ли признаются

?

И сколько получается processed rows если выбирать метрику которая не существует? Чтобы 0 строк вернулось?

Вы правы, далеко не моментально возвращаются ответы про несуществующие метрики ? 0 rows in set. Elapsed: 26.385 sec. Processed 647.17 thousand rows, 37.26 MB (24.53 thousand rows/s., 1.41 MB/s.)

Вы правы, далеко не моментально возвращаются ответы про несуществующие метрики ? 0 rows in set. Elapsed: 26.385 sec. Processed 647.17 thousand rows, 37.26 MB (24.53 thousand rows/s., 1.41 MB/s.)

в общем у меня есть похожая проблема, выборка по первичному ключу (проблема правда в том что читателей много и они вычитывают из КХ буквально несколько террабайт в день(по сети, пожатого), и диски загружены на 150%). Я двигаюсь в сторону уменьшения index_granularity, в моем случае оптимальным оказалось 256 (строки очень широкие, а КХ читает по 1 МБ.), плюс шардирования по серверам, т.е. метрика_id % (кол-во шардов) = номер_сервера_в_КХ_кластере, будут лежать на одном сервере, и таким образом будет заранее известно на какой сервер идти за метрикой, чтобы не напрягать остальные сервера.

Коллеги, а есть какая-нибудь информация по новым версиям? Которые v18.xx ? Стоит их собирать и пробовать или пока лучше не надо? :)

Изменена схема версионирования. На совместимость это не влияет - по прежнему, новые версии совместимы по форматам данных, протоколу и т. п., если в changelog не указано обратное. Changelog появится завтра.

Уважаемые, а формат JSONEachRow все еще не умеет парсить забубенные структуры?

/stat@combot

combot.org/c/-1001080295593

combot.org/c/-1001080295593

Уважаемые, а формат JSONEachRow все еще не умеет парсить забубенные структуры?

Нет.

жаль, распарсить самому нет проблемы, но теряется вся красота и элегантность использования ENGINE Kafka

может на стороне брокера можно, но это я еще не исследовал. посмотрю сам, спасибо

Изменена схема версионирования. На совместимость это не влияет - по прежнему, новые версии совместимы по форматам данных, протоколу и т. п., если в changelog не указано обратное. Changelog появится завтра.

Спасибо

Если кого заинтересует: RabbitMQ->Clickhouse писатель https://github.com/kak-tus/corrie

Если кого заинтересует: RabbitMQ->Clickhouse писатель https://github.com/kak-tus/corrie

со всей дури пишет сколько сил хватит ?

Скорее, защита от потерь на первом месте. А потом уже скорость.

Подскажите, а можно ли импортировать TSV/CSV файл в КХ, в котором меньше столбцов, чем в таблице, заполняя отсутствующий столбец на этапе импорта? Делать столбец Default значением - не вариант, т.к. вставляться может в рамках разных импортов разные в пределах разных вставок значения, но одинаковые в пределах одной вставки. Ожидаю что-то вроде, но не работает: clickhouse-client --max_insert_block_size=2048576 --host 127.0.0.1 -u localadmin --query="INSERT INTO logtest.logtest ('12' ,A, B, C, D) FORMAT TabSeparated" < testimport

cat testimport|awk '{print 12"\t"$0}'|clickhouse-client --max_in....

Подскажите, а можно ли импортировать TSV/CSV файл в КХ, в котором меньше столбцов, чем в таблице, заполняя отсутствующий столбец на этапе импорта? Делать столбец Default значением - не вариант, т.к. вставляться может в рамках разных импортов разные в пределах разных вставок значения, но одинаковые в пределах одной вставки. Ожидаю что-то вроде, но не работает: clickhouse-client --max_insert_block_size=2048576 --host 127.0.0.1 -u localadmin --query="INSERT INTO logtest.logtest ('12' ,A, B, C, D) FORMAT TabSeparated" < testimport

Так не получится. Но можно поступить по-другому. Создать временную таблицу типа TinyLog только с нужными столбцами. Загрузить туда данные. Потом переложить в основную таблицу с помощью INSERT SELECT - при этом можно применить любое преобразование.

Господа кто сталкивался

У меня в syslog 24ГБ в день таких сообщении Jul 25 06:56:37 tsf-zk21 zkServer.sh[5518]: 2018-07-25 06:56:37,014 [myid:21] - INFO [ProcessThread(sid:21 cport:-1)::PrepRequestProcessor@596] - Got user-level KeeperException when processing sessionid:0xb0064c4ed980003 type:multi cxid:0xe33586 zxid:0x33ea68d15 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/metrics_recent/01/MetricsDistributedRecentView/replicas/tsf-data13/parts/6a39566fb0adee5a545faefe40600f00_677_764_22 Error:KeeperErrorCode = NodeExists for /clickhouse/tables/metrics_recent/01/MetricsDistributedRecentView/replicas/tsf-data13/parts/6a39566fb0adee5a545faefe40600f00_677_764_22 Jul 25 06:56:37 tsf-zk21 zkServer.sh[5518]: 2018-07-25 06:56:37,014 [myid:21] - INFO [ProcessThread(sid:21 cport:-1)::PrepRequestProcessor@596] - Got user-level KeeperException when processing sessionid:0xb0064c4ed980002 type:multi cxid:0xf2db5c zxid:0x33ea68d17 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/metrics_recent/01/MetricsDistributedRecentView/replicas/tsf-data22/parts/777d4a1a0371586f80193e7b6fa367f4_800_800_0 Error:KeeperErrorCode = NoNode for /clickhouse/tables/metrics_recent/01/MetricsDistributedRecentView/replicas/tsf-data22/parts/777d4a1a0371586f80193e7b6fa367f4_800_800_0

Понимаю что INFO но все же 24ГБ это не мало Весь лог забило

Это потенцияльная проблема или реально нормально и забить?

подскажите что делать если parts_to_check > 0 ?

Народ а что за 18 релизы?

clickhouse-client_18.1.0_all.deb 23-Jul-2018 22:15 3712

https://repo.yandex.ru/clickhouse/deb/stable/main/

подскажите что делать если parts_to_check > 0 ?

Ничего

такое впечатление что 544 отожрало в начале

Народ а что за 18 релизы?

По новому версии именуются

По новому версии именуются

они обратно совместимы жешь да?

они обратно совместимы жешь да?

Да, совместимы

а тут их нет

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

выглядит как то странно

а тут их нет

Сегодня будут

а ну тогда и обновимся

Изменена схема версионирования. На совместимость это не влияет - по прежнему, новые версии совместимы по форматам данных, протоколу и т. п., если в changelog не указано обратное. Changelog появится завтра.

Изменена схема версионирования. На совместимость это не влияет - по прежнему, новые версии совместимы по форматам данных, протоколу и т. п., если в changelog не указано обратное. Changelog появится завтра.

может это стоит в шапке закрепить на недельку?

Если кому интересно, косвенно мой вопрос решается: groupArray((Count, (Column1,Column2,ColumnN)))) AS groupArr и поверх этого arrayMap(lambda(tuple(a), (a.2, a.1)), groupArr) тогда количество колонок в groupArray() можно менять динамически

На самом деле в КХ есть куча всяких красивых функций для работы с массивами. Для удаления последнего элемента можно воспользоваться arrayPopBack (если я конечно правильно понял суть вашего вопроса).

может это стоит в шапке закрепить на недельку?

Угу. Вместе с фразой про "завтра" :-D

Ничего

но горит алерт , который я настроил на запрос отсюда

https://clickhouse.yandex/docs/en/operations/system_tables/#systemreplicas

т.е. другие проблемы теперь не возможно будет увидеть

как вариант поднять parts_to_check > 100, но зачем тогда эта проверка если ничего не надо с этим делать

т.е. другие проблемы теперь не возможно будет увидеть

в обычной ситуации этот селект выдает 0, у меня тоже настроен на мониторинг. Найдите проблемный кусок, перегрузите реплики, посмотрите в логи

Звиняйте что повторяюсь но что делать с этими логами Error:KeeperErrorCode = NoNode for /clickhouse/tables/metrics_recent/01/MetricsDistributedRecentView/replicas/tsf-data22/parts/777d4a1a0371586f80193e7b6fa367f4_800_800_0 Все под корень заспамили

Звиняйте что повторяюсь но что делать с этими логами Error:KeeperErrorCode = NoNode for /clickhouse/tables/metrics_recent/01/MetricsDistributedRecentView/replicas/tsf-data22/parts/777d4a1a0371586f80193e7b6fa367f4_800_800_0 Все под корень заспамили

У вас сколько серверов ZK? Я про myid = 21

в обычной ситуации этот селект выдает 0, у меня тоже настроен на мониторинг. Найдите проблемный кусок, перегрузите реплики, посмотрите в логи

ок. спасибо. попробую разобраться

но горит алерт , который я настроил на запрос отсюда

Если он просто > 0, не катострафически большое число то ок, КХ почекает его и поймет что с ним делать, такое бывает когда КХ не уверен записал он данные о куске в ZK или нет, т.е. в курсе ли другие ноды об этом, поэтому он его не выкинул, а оставил на "проверку"

У вас сколько серверов ZK? Я про myid = 21

3 сервера.

они в 3 AZ поэтому такая нумерация

На самом деле в КХ есть куча всяких красивых функций для работы с массивами. Для удаления последнего элемента можно воспользоваться arrayPopBack (если я конечно правильно понял суть вашего вопроса).

вопрос был не совсем про удаление из массива, но я уже решил, спасибо, с точки зрения графаны это выгладит так: SELECT groupArray((($unescape($param)), Count)) AS groupArr и поверх него SELECT arrayMap(lambda(tuple(a), (replaceRegexpAll(replaceRegexpAll(toString(a.1), '[(|)|\']', ''), ',', ' - '), a.2)), groupArr) - не факт что самое красивое решение но дает в легенду произвольное содержимое $param через -

Всем привет. Если кому интересно, я вчера заходил с вопросом, то нам удалось таки поженить MongoDB -> ClickHouse на Linux, которая забирается в Tableau на Mac OS X. Через боль и терни, но это работает и живо. Теперь женим MongoDB параллельно с ClickHouse в тот же Tableau на Mac OS X, в качестве параллельного источника данных.

Всем привет. Если кому интересно, я вчера заходил с вопросом, то нам удалось таки поженить MongoDB -> ClickHouse на Linux, которая забирается в Tableau на Mac OS X. Через боль и терни, но это работает и живо. Теперь женим MongoDB параллельно с ClickHouse в тот же Tableau на Mac OS X, в качестве параллельного источника данных.

Будет полезно если опишите полную инструкцию как это у вас получилось

Добрый день. Подскажите, пожалуйста, может появились какие-нибудь функции для решения задачи. Есть таблица статусов пользователей, статусы могут меняться по несколько раз на дню. надо вытащить кол-во статусов пользователей на дату от начала временного периода. Т.е. некоторое накопленное значение, например, на 2018-07-25 было 1000 пользователей в статусе активен. С помощью argMax для конкретной даты данные можно вытащить. Задача усложняется двумя моментами. Нужны данные по временному промежутку, чтобы построить график. И у каждого пользователя есть теги, по которым тоже надо фильтровать.

а вопрос-то в чём?

появились ли инструменты или есть ли идеи как лучше сделать

появились ли инструменты или есть ли идеи как лучше сделать

А что именно вызывает сложности? Чтобы знать как это сделать ЛУЧШЕ нужно примерно представлять как это уже сделано, и что именно вызывает затруднения.

Из этого (очень общего) описания - всё звучит так как несколько селектов с разными GROUP BY. С правильно выбранным первичным ключом всё должно работать быстро.