проверить не шатается ли сеть между хостами, может потери пакетов или пинг оч большой

Просто такое ощущение что если указать timestamp то идет фул скан

Просто такое ощущение что если указать timestamp то идет фул скан

Покажите пример запроса. Ключ в ORDER BY сильно зависит от типов запросов и должен выбираться чтобы покрывать большинство ваших запросов (лучше чтобы все)

в запросе в where у вас и datetime и timestamp ? зачем вам два поля?

в запросе у вас нету timestamp

и?

``` SELECT * FROM book WHERE (datetime >= '2018-10-20 00:00:00') AND (datetime < '2018-10-20 01:00:00') Ok. 0 rows in set. Elapsed: 346.529 sec. Processed 878.07 million rows, 40.65 GB (2.53 million rows/s., 117.31 MB/s.) ```

MergeTree можно по произвольному ключу делать? я просто может туплю)

делать? партиционировать можно как угодно, partition by timestam/1000%(3600*24)

ок

и вам нужно понять насколько гранулярные данные вам нужны, и возможно хранить только суммы сгруппированные в 5 минут (по часу) например, или хранить агрегаты в отдельной MV и делать запросы к ней.

Запрос делает фуллскан поскольку ключ партиционирования - PARTITION BY toYYYYMM(datetime) - по дате. А в запросе - по DateTIme. Попробуйте так SELECT * FROM book WHERE toYYYYMM(datetime)='201810' AND(datetime >= '2018-10-20 00:00:00') AND (datetime < '2018-10-20 01:00:00')

Тоже медленно...

Тоже медленно...

наверное нужно партицировать по часам

у вас проблема в том что в where нет ограничения по timestapm

сейчас сварганю). Глянем. Просто данных очень много.... Примерно несколько сотен тысяч в секунду.

Насколько изменилась скорость по сравнению с предыдушим запросом? Или прям воообще одни в один?

Запрос делает фуллскан поскольку ключ партиционирования - PARTITION BY toYYYYMM(datetime) - по дате. А в запросе - по DateTIme. Попробуйте так SELECT * FROM book WHERE toYYYYMM(datetime)='201810' AND(datetime >= '2018-10-20 00:00:00') AND (datetime < '2018-10-20 01:00:00')

У вас сравнивается результат от функции с константой, такое не будет нигде работать хорошо

как кх понимает в какие партиции заходить? Хранит ли он значения Макс и мин для всех полей как метадата партиции? Или только полей по которым партиции?

В кх работает. Только для определенных функций, я не понимаю как. Видимо для дат кх умеет выворачивать хешфункцю в диапазон.

За исходники спасибо, однако и про продукт интересно - его можно как-то использовать например с prometheus/любым_другим_сервером_сбора метрик?

чем лучше fluentd?

Подскажите пожалуйста, возможно кто-то уже сталкивался. Пытаюсь подключится к консоли клик хауза через докер, и всплывает такая ошибка: docker: Error response from daemon: OCI runtime create failed: container_linux.go:348: starting container process caused "exec: \"--host\": executable file not found in $PATH": unknown Для запуска использую след.команды: 1) docker run -d --name some-clickhouse-server --ulimit nofile=262144:262144 yandex/clickhouse-server - чтобы поднять сервер 2) docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server - чтобы подключится к консоли. После второй команды возникает ошибка. Буду благодарен любым советам)

Метрики, собранные во время обрыва теряются?

Хм... Срок актуальности настраивается? А то как-то нехорошо хранить метрики пару суток и упасть из-за невозможности сохранить свежие за 5 минут до восстановления канала.

Кстати, а переделать бекенд на кликхаус возможно? А то от influxdb пришлось отказаться из-за некоторых причин типа невозможности переварить нужное количество данных...

А... Это несколько хуже. Пока придётся остаться на скриптах, запускаемых при помощи telegraf.

хмм, то есть вы бэкендом принимаете в ормате инфлюкса, но льёте в кх? интересно. вообще, вижу, что в доке агента написано "скоро будет отдача в формате хттп"

да принимаем как инфлукс и льем в КХ и в еластиксерч

А какая схема хранения самих метрик в КХ?

Такое лучше в личку а то уволят меня:) Строго все у нас

Кстати, jre от openjdk8 достаточно будет?

https://github.com/sematext/sematext-agent-integrations не вижу в списке

(мы много шлем некорректных запросов в этот конкретный кластер, но раньше таких утечек не было)

ребятки, при импорте csv без заголовка, как можно скипнуть какой-нибудь столбец? или хотя бы обрезать значение? там просто blob, хочется от него избавиться... есть какие-то рычаги?

Всем привет. А если сделали огромной табличке optimize final, но спустя 13 часов поняли, что это боль. Можно сделать kill query?