Чтобы избежать дублей, я бы брал файлы оттуда где они появляются, переносил в отдельную папку, оттуда загружал и переносил дальше, в постоянный архив

* выдаст файлы на момент запуска.

вы правы, для обновлемых по имени файлов не подойдет

А есть возможность не из файлов, а напрямую потоком загружать данные в кх?

откуда именно загружать?

Данные транслировать по сети, и не создавая файлов загружать в кх.

И? В чём проблема?

У ch есть два интерфейса для этого - http и tcp

В конце-концов, можно поставить клиента на удалённой машине

А есть возможность не из файлов, а напрямую потоком загружать данные в кх?

Я ссылку для кого кидал ?

/me на части хостов вообще через curl грузит...

А есть библиотека, которая обращается к client и напрямую льет данные в stdin?

Какая библиотека ? Из консоли все делается

/me

Ну почему же? Есть и библиотеки для питонов всяких...

/me

Это из других чатов

даже во всяких питонах лучше кормить субпроцесс кликхаус-клиента через стдин

по кр мере, проще

даже во всяких питонах лучше кормить субпроцесс кликхаус-клиента через стдин

А вот это уже очень интересно. Можно рассказать подробнее

ээээ proc = subprocess.Popen( [ 'clickhouse-client', '--database=<>', '--query=' + ins_stmt, ... ], stdin=subprocess.PIPE, stdout=subprocess.PIPE, ) output, err = proc.communicate(input=bytes(YOUR_CUTE_DATA, 'utf-8'))

чот типа такого, наверное?

ээээ proc = subprocess.Popen( [ 'clickhouse-client', '--database=<>', '--query=' + ins_stmt, ... ], stdin=subprocess.PIPE, stdout=subprocess.PIPE, ) output, err = proc.communicate(input=bytes(YOUR_CUTE_DATA, 'utf-8'))

Спасибо большое, добрый человек! Обязательно попробую так сделать)

@milovidov_an Доброго дня, Вы под алпайн кликхаус не собираете?

Привет, товарищи. Скажите, SummingMergeTree гарантирует полное схлопывание строк или нет? Наблюдаю частичное суммирование, часть строк остались отдельно жить.

┌─adv_id─┬─price─┬─event_date─┬─event_type─┬─event_count─┬──────event_datetime─┐ │ 1 │ 100 │ 2018-08-07 │ publish │ 1 │ 2018-08-07 15:09:47 │ │ 1 │ 100 │ 2018-08-07 │ publish │ 1 │ 2018-08-07 15:09:47 │ │ 1 │ 100 │ 2018-08-07 │ publish │ 1 │ 2018-08-07 15:09:47 │ │ 1 │ 100 │ 2018-08-07 │ publish │ 21 │ 2018-08-07 15:09:25 │ └────────┴───────┴────────────┴────────────┴─────────────┴─────────────────────┘

Нет. Применяйте OPTIMIZE ... FINAL , но и это не даст 100% гарантии.

спасибо

Нет. Применяйте OPTIMIZE ... FINAL , но и это не даст 100% гарантии.

хм. дало эффект однако

@milovidov_an Доброго дня, Вы под алпайн кликхаус не собираете?

КХ сам по себе не мало весит и смысла брать алпайн нет, больше проблем с созданием под него пакетов, в официальном ubuntu-minimal, который тоже не сильно большой.

хм. дало эффект однако

Ну и хорошо :) Но обычно доагрегируем уже в SELECT-е, главное что SummingMergeTree сделает за вас 99% работы, и как правило на порядки ускорит агрегацию результата.

господа, а ни у кого нет рабочей связки logstash-clickhouse?

господа, а ни у кого нет рабочей связки logstash-clickhouse?

https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse

оно не особо работает нынче

господа, а ни у кого нет рабочей связки logstash-clickhouse?

а какие вы логи хотите лить в КХ?

версия logstash-mixin-http_client (<6.0.0) конфликтует с той, что поставляется с логстешем 6.2

а какие вы логи хотите лить в КХ?

небольшое кол-во логов приложения

а у приложения нет возможности конфигурировать log format?

я лью в КХ аксес логи nginx

приложение не хочется учить само ходить в КХ

так не надо, его учить ходить в КХ

пусть оно и дальше пишет в файл, который ротируется и прочее, а filebeat + logstash пишут в кх

так не надо, его учить ходить в КХ

а куда его писать?

я сделал все банально просто: в nginx сформировал access log в json формате, и повесил на крон баш скрипт, которые раз в 5 минут ротирует лог файл и льет данные в КХ

да, попахивает велосипедом, но работает на ура

это немного топорно, ага

да, топорно, но мне ничего более и не надо

Привет. Подскажите пжлст такой момент. У меня таблица SummingMergeTree(event_date, (adv_id, price, event_type), 8192, event_count) где я собираю события публикации/снятия с публикации объектов. Специфика такая, что юзеры могут перепубликовывать (без снятия) много раз объявления для: - актуализации даты - для изменения цены Такие события схлопываются успешно и суммируются в event_count

Все ок. Но дальше юзер снимает с публикации объявление. А через пару дней - снова публикует. И эта публикация начинает схлопываться снова.

А делать этого мне нельзя, так как это не последовательно идущие публикации. Последовательность разрывается событием UNPUBLISH. Средствами движка можно как то реализовать схлопывание только последовательно идущих одинаковых значений первичного ключа (adv_id, price, event_type) ?

@milovidov_an Доброго дня, Вы под алпайн кликхаус не собираете?

Нет, не собираем.

А делать этого мне нельзя, так как это не последовательно идущие публикации. Последовательность разрывается событием UNPUBLISH. Средствами движка можно как то реализовать схлопывание только последовательно идущих одинаковых значений первичного ключа (adv_id, price, event_type) ?

При unpublish версию документа меняйте и запихайте её в ПК

Добрый вечер, как из массива строку получить не подскажите?

[1,2,4,5] -> 1_2_4_5

При unpublish версию документа меняйте и запихайте её в ПК

это на ReplacingMergeTree значит переходить надо? там версии указываются

Нет, не собираем.

спасибо

Sergey (0) увеличил репутацию Alexey Milovidov (4)

Добрый вечер, как из массива строку получить не подскажите?

arrayStringConcat(arrayMap(x -> toString(x), [1, 2, 3, 4]), '_')

Добрый вечер, как из массива строку получить не подскажите?

arrayStringConcat SELECT arrayStringConcat(['a', 'b', 'c'], '_') ┌─arrayStringConcat(['a', 'b', 'c'], '_')─┐ │ a_b_c │ └─────────────────────────────────────────┘

Спсб большое в доках не нашел - плохо искал

это на ReplacingMergeTree значит переходить надо? там версии указываются

понял мысль. спасибо, можно и на прежнем двиге остаться

arrayStringConcat SELECT arrayStringConcat(['a', 'b', 'c'], '_') ┌─arrayStringConcat(['a', 'b', 'c'], '_')─┐ │ a_b_c │ └─────────────────────────────────────────┘

First argument for function arrayStringConcat must be array of strings..

A если целые то какая магия?

привести к строке?

ага

arrayMap

Спсб

Чувствую летать будет ))

@milovidov_an Подскажи, другие алгоритмы джоинов помимо hash join не планируются?

@milovidov_an Подскажи, другие алгоритмы джоинов помимо hash join не планируются?

Планируем сделать merge join. Также уже сейчас есть nested loops (для cross join).

Планируем сделать merge join. Также уже сейчас есть nested loops (для cross join).

merge join - это отлично. Смешно ) я вообще не знал, что есть cross join, ведь в доке он не описан. Хотелось бы возможно выбора nested loops для всего, потому что: 1) Не всегда весь набор таблиц, участвующих в join, влезает в память 2)Часто нужен джоин не только на равенство колонок

@milovidov_an я попробовал 18.1 и сразу наступил на https://github.com/yandex/ClickHouse/issues/2795 и я не могу понять почему это вообще сломалось (читая readme и комиты) и вот теперь уже страшно вообще тестить 18-ю, там вообще много затронуто и что могло сломаться еще?

Разработчики КХ, это просто песня, спасибо вам)

Я помню на митапе в Берлине обсуждался вопрос отсутствия английского слогана для кх. Как на счёт "Clickhouse - performance full house" ?)

Нет правда мы не КХ написали корпоративный мессенджер =) действильно fullhouse

ClickHouse does not lag?

да просто написать Clickhouse -- ne tormozit. со спатником и перестройкой прокатило.

Is ClickHouse slow? Nyet

clickhouse never slow down

Даун можно опустить

clickhouse - no chaos

clickhouse - no chaos

не катит, если читать правильно(

Планируем сделать merge join. Также уже сейчас есть nested loops (для cross join).

А где бы почитать об этом? :(

@milovidov_an я попробовал 18.1 и сразу наступил на https://github.com/yandex/ClickHouse/issues/2795 и я не могу понять почему это вообще сломалось (читая readme и комиты) и вот теперь уже страшно вообще тестить 18-ю, там вообще много затронуто и что могло сломаться еще?

Я тоже (пока) не знаю, каким образом это сломалось. Ошибка для нас новая; сами уже используем версию 18.5.1 в продакшене. Сейчас будем разбираться. По количеству изменений, не смотря на изменение схемы версионирования, разница между версиями 1.1.54394 и 18.1.0 такая же как при других релизах.

merge join - это отлично. Смешно ) я вообще не знал, что есть cross join, ведь в доке он не описан. Хотелось бы возможно выбора nested loops для всего, потому что: 1) Не всегда весь набор таблиц, участвующих в join, влезает в память 2)Часто нужен джоин не только на равенство колонок

У нас в настоящее время идёт работа по JOIN. Один из пунктов - поддержка варианта записи, в котором таблицы перечисляются через запятую, а условия приводятся в WHERE. Такой вариант преобразуется в INNER JOIN путём переноса максимального возможного количества условий в ON, но если таких нет - получится CROSS JOIN.

Нет правда мы не КХ написали корпоративный мессенджер =) действильно fullhouse

Мне не совсем понятно, как ClickHouse подходит для мессенджера. Можно складывать все сообщения в таблицу для аналитики. Но в качестве основной базы для мессенджера - это вряд ли.

ClickHouse - performance first ??

Is ClickHouse slow? Nyet

*niet

Мне не совсем понятно, как ClickHouse подходит для мессенджера. Можно складывать все сообщения в таблицу для аналитики. Но в качестве основной базы для мессенджера - это вряд ли.

А потом еще добавить "(+)"-синтаксис из оракла для outer join и вообще огонь! :)

Привет всем! Кто подскажет, что необходимо сделать после изменения схемы хранения, чтобы КХ перезста смердживать данные до 1 минуты, конфиг такой: <pattern> <regexp>^DevOps\.clickhouse\.test\.</regexp> <function>avg</function> <retention> <age>0</age> <precision>5</precision> </retention> </pattern> а данные: SELECT Timestamp, Value FROM graphite WHERE Path = 'DevOps.clickhouse.test.testval' ORDER BY Timestamp ASC ┌──Timestamp─┬──────────────Value─┐ │ 1533703153 │ 6 │ │ 1533703199 │ 13.5 │ │ 1533703259 │ 34.333333333333336 │ │ 1533703269 │ 43.5 │ │ 1533703319 │ 90.5 │ │ 1533703342 │ 116.16666666666667 │ │ 1533703439 │ 163.64285714285714 │ │ 1533703492 │ 219 │ │ 1533703619 │ 257 │ │ 1533703679 │ 321.5 │ │ 1533703739 │ 375 │ │ 1533703784 │ 415.5263157894737 │ │ 1533703799 │ 433 │ │ 1533703859 │ 492 │ │ 1533703919 │ 522 │ │ 1533703979 │ 577.5 │ │ 1533704039 │ 640.5 │ │ 1533704099 │ 694.5 │ │ 1533704119 │ 714 │ │ 1533704219 │ 746.5 │ │ 1533704246 │ 767.0357142857143 │ │ 1533704279 │ 801 │ │ 1533704339 │ 856.90625 │ │ 1533704395 │ 911.5 │ │ 1533704459 │ 922 │ │ 1533704519 │ 981.5 │ │ 1533704579 │ 1036.5 │ │ 1533704623 │ 1078.1818181818182 │ │ 1533704639 │ 1092.5 │ │ 1533704642 │ 1102 │ │ 1533704663 │ 1113.5 │ │ 1533704679 │ 1131.5 │ └────────────┴────────────────────┘ шлю каждую секунду

инкрементальный счетчик