Мне сейчас приходится делать http запрос, сохранять результаты во временный csv, а потом pandasом читать уже из csv

Тогда pandahouse вам подойдёт

создание базы это sql алхимия делает. Есть у нее бага такая. про 500 надо в логи смотреть

Pandas по умолчанию её использует же

Тогда pandahouse вам подойдёт

Погуглю

ставится и подключается отдельно

Только неделю назад ещё считало, что бд - всегда default

Патч есть, если что

Подскажите, пожалуйста, возможно ли как-то реализовать приватный ключ по значению элемента из массива? Необходимо чтоб при каждом запросе не искать по всей таблице развертывая регулярно через ARRAY JOIN. На тестовых данных таблица состоит из 40к записей, а при развертывания 1.4 млн записей.

yandex/ClickHouse was tagged: v1.1.54370-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54370-stable Release notes: v1.1.54370-stable

yandex/ClickHouse was tagged: v1.1.54370-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54370-stable Release notes: v1.1.54370-stable

Скажите, пожалуйста, когда в ченджлог появится?

Скажите, пожалуйста, когда в ченджлог появится?

Судя по всему там просто багфиксы к 1.1.54362

Судя по всему там просто багфиксы к 1.1.54362

Спасибо, Кирилл

А разве jdbc-клиент не умеет стримить жирные ответы?

Хороший вопрос

Добавил в telegraf input плагин для ClickHouse, можно попинать PR (https://github.com/influxdata/telegraf/pull/3894), а то ребята из InfluxData могут на него подзабить если решат что оно мало кому надо )

Коллеги, давайте добьёмся, чтобы в графану добавили алерты для CH. Для этого нужно, как я понимаю, чтобы плагин vertamedia добавили в апстрим, в плагины по-умолчанию. А потом уже можно будет сделать доработку для алертов (как понимаю, у vertamedia оно уже даже есть). Я готов создать issue на добавление, но логичнее это будет сделать от имени vertamedia.

?

Может быть я что-то не так запомнил, но к 5-й версии графаны обещали что это можно сделать, в 4-й версии её нужно было пересобрать для поддержки алёртов, более точно может сказать @hagen1778. С графаной есть еще одна проблема, их очень сложно в чем-нибудь убедить, а тем более как-то подтолкнуть разработчиков

Про перенес движок алертов в плагины - писал я здесь давно уже (это у них в роадмапе, собственно), но пока он всё ещё в планах.

А по поводу подтолкнуть - на вид, они добавляют новые плагины, алерты для них делают, судя по issues. Может не так быстро, но тем не менее.

Я за, мы достаточно активно используем этот плагин, давайте issue заведем

Вы из Vertamedia?

Нет

Тогда предлагаю подождать, возможно, они увидят. Через некоторое время создам и подниму тему, если будет тихо.

Не надо надеяться на то что увидят или нет, нужно призвать разработчика плагина @hagen1778 ;)

Поддержка алертов плагином будет означать полный перенос фронт и бэк части в репозиторий графаны, а значит и его поддержка тоже станет заботой разработчиков графаны. Текущая реализация плагина может отличаться от их стандартов и подходов (например, от реализации потсгрес плагина), что потребует внесения дополнительных изменений. В чатике "Церковь метрик" есть автор плагина для zabbix @alexanderzobnin, он входит в команду разработчиков графаны - можно еще спросить его экспертного мнения.

W: Conflicting distribution: http://repo.yandex.ru/clickhouse/deb/stable main/ Release (expected main/ but got clickhouse stable)

как можно это починить?

Вроде адрес репозитория менялся. В закрепленном сообщении инфа.

так это новый репозиторий

на новой вм-ке

Поиском по чату что-то находится.

как можно это починить?

Это ворненг

Никак, пока репа такая универсальная будет

уничерсальную репу можна сделать без такого костыля.....

Подскажите пожалуйста, как можно увидеть clickhouse из mssql server. Или хотя бы где в каком направлении смотреть

В направлении ODBC драйвера.

Подскажите пожалуйста, как можно увидеть clickhouse из mssql server. Или хотя бы где в каком направлении смотреть

еще можно по http через tsql обращатся

Приветствую. Подскажите, а как часто мержатся куски в таблицах с движками MergeTree семейства? Где в конфиге это прописано?

И есть ли способ узнать, что оптимизировать больше нечего?

И есть ли способ узнать, что оптимизировать больше нечего?

Скорее всего когда партиция одним куском

Добрый день, Сталкивался ли кто с такой проблемой? Materialized view на основе ReplicatingAggregateMergeTree c запросом на локальную таблицу ReplicateMergeTree Вставляем данные в Buffer который смотрит на ReplicateMergeTree Потом сравниваем погрегность по количеству евентов ReplicateMergeTree с Materialized view и внешней системой Получается количество евентов в ReplicateMergeTree совпадает полностью с внешней системой, а вот в Materialized view не хватает примерно 3%

Добрый день, Сталкивался ли кто с такой проблемой? Materialized view на основе ReplicatingAggregateMergeTree c запросом на локальную таблицу ReplicateMergeTree Вставляем данные в Buffer который смотрит на ReplicateMergeTree Потом сравниваем погрегность по количеству евентов ReplicateMergeTree с Materialized view и внешней системой Получается количество евентов в ReplicateMergeTree совпадает полностью с внешней системой, а вот в Materialized view не хватает примерно 3%

Покажите что за запрос лежит в основе вьюхи

Если упростить, то такой: ReplicatedAggregatingMergeTree('/clickhouse/tables/{shard0}/events_agg_partition', '{replica0}') PARTITION BY event_date ORDER BY (install_date, event_name) SETTINGS index_granularity = 512 AS SELECT event_date, event_name, install_date, countIfState(event_type = 'impressions') AS impressions_count GROUP BY event_date, event_name, install_date

Приветствую. Подскажите, а как часто мержатся куски в таблицах с движками MergeTree семейства? Где в конфиге это прописано?

нет гарантированного времени запуска мержа. Он происходит в некоторый момент времени.

Привет, бандиты, а есть документация по pandahouse?

Либо существует ли какая-то инструкция, как правильно настроить pandas для запросов из clickhouse

Добрый день я пытаюсь сгенерировать 1 миллион тестовых записей используя php и https://github.com/sanchezzzhak/kak-clickhouse скрипт падает Out of memory, htop показывает, что съедено 2Гб оперативки никто не сталкивался с подобным?

/** @var \kak\clickhouse\Connection $client */ $client = \Yii::$app->clickhouse; $client->createCommand($this->batchInsert('hit', $data))->execute(); как я понимаю эта библиотека при выполнении команды отправляет данные курлом

Добрый день я пытаюсь сгенерировать 1 миллион тестовых записей используя php и https://github.com/sanchezzzhak/kak-clickhouse скрипт падает Out of memory, htop показывает, что съедено 2Гб оперативки никто не сталкивался с подобным?

php -i|grep memory_limit

У всех собирается из докера. У меня ошибка The repository 'https://repo.yandex.ru/clickhouse/xenial dists/stable/main/binary-amd64/ Release' does not have a Release file. E: Failed to fetch https://repo.yandex.ru/clickhouse/xenial/dists/stable/main/binary-amd64/Packages 404 Not Found E: Some index files failed to download. They have been ignored, or old ones used instead. [0mThe command '/bin/sh -c apt-get update && apt-get install -yq gettext && apt clean && rm -rf /var/lib/apt/lists/* /var/cache/debconf' returned a non-zero code: 100

Либо существует ли какая-то инструкция, как правильно настроить pandas для запросов из clickhouse

Минимальный скрипт: import pandas as pd from pandahouse import read_clickhouse ch = {'host': 'http://clickhouse:8123', 'database': 'dbname', 'user': 'dbuser', 'password': 'dbpassword'} QUERY = "SELECT datetime, data FROM table WHERE ... ORDER BY datetime" df = read_clickhouse(QUERY, connection=ch, index_col='datetime') df.plot() pandahouse - слегка правленная, так как неправленная не даёт возможности обратиться к указанной БД (не форвардит указание БД в кликхаус) Вот дальше я пока не продвинулся.

php -i|grep memory_limit -> -1

Хм... Упирается в 2Гб... 32 бита чтоль?

64

кто нибудь работал с clickhouse и php?

Скорее всего когда партиция одним куском

Но при этом, кажется, есть ограничение на максимальный размер куска.

я 2 гига одним файлом в post запрос кидал

при более тысячи записей в массиве

курл ругается

ну я не курлом конешно кидал

вопрос в том почему столько оперативы он кушает

2 гига немного же

но все же

что такое 2 гига оп в наши времена

обычный лимит на недорогой вдс, если что :-)

для скрипта который просто генерит 1 миллион записей

по тысяче записей отправляя с помощью библиотеки kak-clickhouse курлом в clickhouse

ну может тогда проблема в скрипте)

Где-то что-то не освобождается.

он элементарный

я формировал просто tsv файлы и целиком кидал

кто-нибудь работал с библиотекой kak-clickhouse?

или с другой библиотекой написанной для php (yii2)?

нет гарантированного времени запуска мержа. Он происходит в некоторый момент времени.

А что будет, если я буду через крон дёргать optimize условно каждые 5 минут?

А что будет, если я буду через крон дёргать optimize условно каждые 5 минут?

Обязательно следите за тем чтобы новый optimize запускался только после отработки предыдущего. В остальном наверное ничего страшного. Важно только понять, есть ли в этом смысл? КХ сам отлично это делает. А брать данные из аггрегационных таблиц надо всегда с допгрегацией

Если упростить, то такой: ReplicatedAggregatingMergeTree('/clickhouse/tables/{shard0}/events_agg_partition', '{replica0}') PARTITION BY event_date ORDER BY (install_date, event_name) SETTINGS index_granularity = 512 AS SELECT event_date, event_name, install_date, countIfState(event_type = 'impressions') AS impressions_count GROUP BY event_date, event_name, install_date

Попробуйте создать ещё одну мат вью, может данные совпадут с ReplicateMergeTree и внешней системой

Понял, спасибо

Всем привет, вопросы про BI тулзы наверняка уже задавались, в поиске не нашёл ответов. Есть ли в мире что-то, что работает из коробки для КХ? Редаш хорош, но вдруг альтернативы есть. Looker/Sisense не способны работать напрямую, хотя для BI смотрели на них.

Всем привет, вопросы про BI тулзы наверняка уже задавались, в поиске не нашёл ответов. Есть ли в мире что-то, что работает из коробки для КХ? Редаш хорош, но вдруг альтернативы есть. Looker/Sisense не способны работать напрямую, хотя для BI смотрели на них.

у меня вполне работает power bi

Всем привет, вопросы про BI тулзы наверняка уже задавались, в поиске не нашёл ответов. Есть ли в мире что-то, что работает из коробки для КХ? Редаш хорош, но вдруг альтернативы есть. Looker/Sisense не способны работать напрямую, хотя для BI смотрели на них.

вроде для совместимости с tableau были коммиты, еще стоит попробовать superset

tableau к сожалению не вариант, про суперсет спасибо, гляну

tableau к сожалению не вариант, про суперсет спасибо, гляну

повторюсь - power bi вам тоже не вариант?)

он же только десктопный? Я просто никогда с ним не сталкивался)

он же только десктопный? Я просто никогда с ним не сталкивался)

всякий, десктопное приложение больше для создания отчетов, их можно публиковать в веб

После отправки insert 1000 записей в цикле (1000 итераций) используя http интерфейс htop показывает, что съедено 2Гб оперативки это нормально?

не течет ли память, когда используется http интерфейс?

После отправки insert 1000 записей в цикле (1000 итераций) используя http интерфейс htop показывает, что съедено 2Гб оперативки это нормально?

1000 реквестов по 1000 записей?

да

да

Посмотрите в логи, CH скорее всего мержить пошел ваши инсерты. Лучше жирнее инсерты и меньше реквестов

ну и да, сколько данных? 2Гб как то не серьезно выглядит для CH. Не потому что он прожерливый, скорее потому что для тех обьемов для которых он предназначен это слегка маловато)

на проде сервер с 32 Гб

это тестовый дроплет