@metrics_ru

« Назад

Страница 81 из 681

Далее »

Dmitry

24.01.2017
10:57:02

у меня было 2.5M

я при переливке по 1M записей собираю и фигачу в него

Vladimir

24.01.2017
10:57:31

я при переливке по 1M записей собираю и фигачу в него

тоже верно, да

Dmitry

24.01.2017
10:57:38

это пока тест

Google

Dmitry

24.01.2017
10:57:47

хочу понять плотность хранения и стоимость метрики

и насколько шустро выборка пойдет

пока грубо получается в районе 4 байт

Vladimir

24.01.2017
10:58:36

я пихал метрики как в графит (имя-число-время + кликхаусовые версия + дата)

Dmitry

24.01.2017
10:58:38

примерно соизмеримо с influx

а я другой формат придумал

Vladimir

24.01.2017
10:58:53

получалось на разных данных от 4.5 байт до 6.5

4.5 на синтетике

от 5 до 6.5 на реальных

а я другой формат придумал

какой?

Dmitry

24.01.2017
10:59:14

CREATE TABLE interface ( date Date, ts DateTime, object UInt32, interface String, -- Дальше идут определения колонок, по одной на соответсвующий metric type load_in UInt64, load_out UInt64, admin_status UInt8, oper_status UInt8 ) ENGINE = MergeTree(Date, (object, interface, ts), 8192)

типа такого

Vladimir

24.01.2017
10:59:19

object?

Google

Dmitry

24.01.2017
10:59:21

у нас коллектор свой

Vladimir

24.01.2017
10:59:24

а

ну у вас не графитное )

Dmitry

24.01.2017
10:59:32

ну да

Vladimir

24.01.2017
10:59:36

мы еще ограничены тем что у нас графитный формат

Dmitry

24.01.2017
10:59:40

поэтому мы можем сгруппировать

Vladimir

24.01.2017
10:59:45

и в начале придется его колупать

Dmitry

24.01.2017
10:59:49

ну у нас своя система, как скажем, так и будет

Vladimir

24.01.2017
10:59:51

а потом уже думать что делать

Dmitry

24.01.2017
11:00:00

графит у нас был, но пару итераций назад

Vladimir

24.01.2017
11:00:07

ну у нас своя система, как скажем, так и будет

ну у нас тоже графит кастомный и перепиленный

но менять формат сложно, т.к. люди в таком виде уже шлют данные

Dmitry

24.01.2017
11:00:26

ну да

Vladimir

24.01.2017
11:00:29

но у меня кое какие планы есть

а еще у нас Graphite'ый энджин

который на базе ReplacingMergeTree

Dmitry

24.01.2017
11:00:49

у нас FM/PM для сетевого оборудования

опросники, которые собирают метрики по SNMP и CLI

и шлют в NSQ

и писалки, которые кормят с ложечки базу метрик

Google

Dmitry

24.01.2017
11:01:36

и динамические дашборды для графаны

так что формат поменять можем, мало кто вообще заметит

ptchol

24.01.2017
11:02:04

Так я не понял.

у кого же длиннее ?

Dmitry

24.01.2017
11:02:32

а мы и не мерялись

графитный формат в CH не очень хорошо класть

я посмотрел, там timestamp самый здоровый будет

если класть несколько измерений в строку, то он пошарится на все столбцы

да и с точки зрения чтения во время отрисовки дашборда точно абсолютно в кеше останется

китайские сетевые железки - не серверы :) собрать с них 100k+ метрик по snmp - тоже задача

пришлось BER encoder/decoder свой делать

Vladimir

24.01.2017
11:06:41

ну у нас разные задачи пока что )

Vladimir

24.01.2017
11:06:48

так что да

у меня есть одна мысль, которую я активно думаю

о том чтоб собирать много событийной статистики с серверов

и класть их в кликхаус

но это пока на уровне мыслей

Dmitry

24.01.2017
11:08:22

мы выгрузку alarm'ов делаем сейчас

оперативные данные в монге

аналитику в CH выносим

Google

Vladimir

24.01.2017
11:11:09

мы только играемся ) вроде сейчас в кликхаусе нуллы появились, жизнь проще станет

Dmitry

24.01.2017
11:11:34

типа отметить, что метрику собрать не удалось?

Vladimir

24.01.2017
11:11:57

не, просто если схема не очень четкая то может быть в поле нулл

исторические особенности

раньше нуллов не было, нужно было по каждому полю делать реплейс в зависимости от схемы

а теперь можно просто писать как есть

Dmitry

24.01.2017
11:56:01

господа, я наверное глупость спрошу, но мне очень надо

вот елк стек он логи собирает онлайн

или я могу например сливать туда логи раз в день?

ну и вообще, может он так работать, чтобы я туда заливал логи пачкой

Admin

ERROR: S client not available

ptchol

24.01.2017
11:57:53

ELK это про стек, В эластик ты можешь записывать соыбтия как тебе заблогароссудится. Единственное с чем будет "проблема", тебе придётся привести в порядок timestamp'ы

Dmitry

24.01.2017
11:58:16

т.е. оригинальный я не смогу оставить?

или все зависит от того как я напарсю?

ptchol

24.01.2017
11:58:45

если про logstash то, если не ошибаюсь он хранит оффсет, и если типа его по крону запускать раз в день то ты как раз получишь вычитку лога целиком и запихивание его в эластик

там ещё опция есть перечитывать лог \ продолжит ьс оффсета

Ну там у тебя будет 2 таймстемпа, время прихода события в эластик и время из лога

тебе там придётся с этим как то разобраться

если в дальнейшем собираешься искать по времени.

Dmitry

24.01.2017
12:01:33

окей, я понял

Google

Dmitry

24.01.2017
12:01:34

спс

блин, не могу понять все таки какой компонент отвечает за загрузку по расписанию