как-то так выглядело

А чем график строился?

А чем график строился?

graphite-web из этого самого clickhouse :)

А метрики как считались? Парсился вывод haggar?

А метрики как считались? Парсился вывод haggar?

на входе

по статистике самого carbon-clickhouse

потом в принципе на глазок оценивался count()

@AndreevDm к сожалению тестилки графит-совместимых стораджей хорошей нет

:(

А кто-нибудь сталкивался с вот такой ошибкой в haggar? panic: runtime error: invalid memory address or nil pointer dereference [signal 0xb code=0x1 addr=0x20 pc=0x4028f4] goroutine 209 [running]: panic(0x5634e0, 0xc8200100e0) /usr/lib/go/src/runtime/panic.go:464 +0x3e6 main.(*Agent).flush.func1(0xc837103f18) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:60 +0x34 main.(*Agent).flush(0xc837103f18, 0x7f2e4c3987e8, 0xc831beaeb0) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:70 +0x2b4 main.(*Agent).Start(0xc837103f18) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:41 +0x90 main.launchAgent(0x197, 0x2710, 0x3b9aca00, 0x59c170, 0xe, 0x7ffe382ec7fb, 0xe) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:86 +0xe4 created by main.main /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:128 +0x5d8

А кто-нибудь сталкивался с вот такой ошибкой в haggar? panic: runtime error: invalid memory address or nil pointer dereference [signal 0xb code=0x1 addr=0x20 pc=0x4028f4] goroutine 209 [running]: panic(0x5634e0, 0xc8200100e0) /usr/lib/go/src/runtime/panic.go:464 +0x3e6 main.(*Agent).flush.func1(0xc837103f18) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:60 +0x34 main.(*Agent).flush(0xc837103f18, 0x7f2e4c3987e8, 0xc831beaeb0) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:70 +0x2b4 main.(*Agent).Start(0xc837103f18) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:41 +0x90 main.launchAgent(0x197, 0x2710, 0x3b9aca00, 0x59c170, 0xe, 0x7ffe382ec7fb, 0xe) /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:86 +0xe4 created by main.main /home/andreevdm/go/src/github.com/gorsuch/haggar/main.go:128 +0x5d8

А как запускал?

Например вот так go/bin/haggar -agents=300 -flush-interval=1s -jitter=50ms -metrics=10000 -prefix="one_min.test5m" -spawn-interval=100ms

ревертни 001dd2049e1559d9e783a9850ffbca764ffadc96

Ну в коде там явно баг. может вылезти если не оно не смогло отправить данные в сокет (например порвали соединение с другой стороны)

Например вот так go/bin/haggar -agents=300 -flush-interval=1s -jitter=50ms -metrics=10000 -prefix="one_min.test5m" -spawn-interval=100ms

я кстати запускал много копий хаггара

Я хотел обойтись одной

я боюсь он недостаточно хорош чтоб жить в 1 копии

./haggar -agents=50 -carbon="graphite-2285:2003" -flush-interval=1s -jitter=1s -metrics=6000 -prefix="haggar1"

2 копии таких

Но это же всего 300к в секунду

Я хотел 3-5кк

@AndreevDm запускай много копий на 1 сервере

я поэтому и говорил что он так себе написан )

Меня так и подбивает это на java переписать

@AndreevDm лучше на Го :)

и не переписать, а написать нормальное

да, написать

но как бы это типа стандартная тулза )

ревертни 001dd2049e1559d9e783a9850ffbca764ffadc96

Откатился на dd39c9522823987df5f01e0e3110dab3a7cd07fa не помогло

Я хочу на досуге изучить го, но сейчас я не настроящий сварщик

А на java я знаю, что напишу за пару часов

Вот сюда https://github.com/gorsuch/haggar/blob/master/main.go#L60 надо вписать if a.Connection != nil { a.Connection.Close() }

Тогда хоть падать на ровном месте не будет

А на java я знаю, что напишу за пару часов

Тогда на го напишешь за четыре. А пользоваться таким будет больше народу. Не все хотят жвм тащить себе

Чатик, подскажи куда уехать от кафки с таймсириес данными? Кафка утомила партициями и невозможностью прочитать диапазон временной.

Расскажите подробнее пожалуйста

Что не так с партициями?

Минусы те же что с кх. Пишешь или батчами или получишь фигню

Почему не писать точками а потом перечитывать и переуладывать?

Почему не писать точками а потом перечитывать и переуладывать?

Потому что удалять в кх сложно

А запись единичных точек не эффективно

Я думал там в этот момент вопрос про Кассандру был

Тогда на го напишешь за четыре. А пользоваться таким будет больше народу. Не все хотят жвм тащить себе

А го всем тащить? Если честно не вижу разницы.

Примерно вот так работает andreevdm@graph01gt:~$ time curl -s "http://localhost:7000/search?query=o*.D*.{l,m}*.{r,t}*.*" | wc -l 671 real 0m0.020s user 0m0.008s sys 0m0.000s

Придумал как заоптимизировать фуллскан в моем случае для таких запросов. У меня в табличке с метриками level на первом месте в ключе. Так что можно выполнить серию запросов level = 1 and path like "o%", потом с его результатами к level = 2 и тд. Прям совсем быстро конечно не будет, но все-таки за более-менее разумное время отработает и в памяти не надо ничего хранить.

А го всем тащить? Если честно не вижу разницы.

А го тащит, да!

А го всем тащить? Если честно не вижу разницы.

Бинарник можно затащить

А го тащит, да!

Я просто оставлю это здесь https://www.tiobe.com/tiobe-index/

Бинарник можно затащить

В java 9 тоже можно будет :))

Я просто оставлю это здесь https://www.tiobe.com/tiobe-index/

Действительно, неплохо! https://www.tiobe.com/tiobe-index/go/

https://erikbern.com/2017/03/15/the-eigenvector-of-why-we-moved-from-language-x-to-language-y.html что там у нас на пересечении go/java... )

Я не сморю, что го сейчас набирает популярность, но мне сейчас быстрее и эффективнее написать на java (уже написал кстати). В написать за 4 часа производительное многопоточноеприложение на новом языке - я простите не верю :))

так что я праивльно понял что на кх пдлотность хранения данных в формате гарфита будет около 7 байт на измерение ?

и это всё потому что таблица не широкая

ибо на широкой таблице получается сильно веселее.

надо тока придумать как сделть таблицу шире :)

Я не сморю, что го сейчас набирает популярность, но мне сейчас быстрее и эффективнее написать на java (уже написал кстати). В написать за 4 часа производительное многопоточноеприложение на новом языке - я простите не верю :))

Лично я пока еще не настолько хорошо знаю Джаву что бы с нее перейти на Го.

Лично я пока еще не настолько хорошо знаю Джаву что бы с нее перейти на Го.

Так я и не предлагаю. :)

Я просто оставлю это здесь https://www.tiobe.com/tiobe-index/

не могу понять, о чем спор? Если вопрос в том, чтобы написать на языке, который нравится или не писать вообще - пишите на том, который нравится. У нас, например, экспорт данных из эластика вообще на node.js. Потому что нет другого.

Какой-то голанг канал как будто бы

по рейтингу TIOBE надо было писать кликхаус на явве

она-то самая популярная на сегодня :)

А популярность влияет на что-то?

а я хз :)

ssd

А дисковая конфигурация какая?

Что не так с партициями?

С партициями в кафке? То, что их надо заранее жестко задавать или потом довольно неприятно добавлять.

А дисковая конфигурация какая?

He raid0 из 2х sas SSD, но там загрузка диска была 500-600 иопс на запись

He raid0 из 2х sas SSD, но там загрузка диска была 500-600 иопс на запись

мне вон скоро должны прийти ssd у которыз 2600 чтение и 1600 запись

pci-e

буду их мучить хадупом и hbase

ERROR: S client not available

2600/1600 можно и на tlc получить в 2017-м году

смешно будет, если это действительно tlc окажется и хрыч будет ныть, что ссд говно

?

у нас так закупились тлцшными ссд под кеш для виртуализации

через неделю сняли обратно — без них быстрее, кек

добрый

господа, кто для прометеуса настраивал ресиверы?

receivers: - name: "alerta" webhook_configs: - url: 'http://localhost:8080/webhooks/prometheus' send_resolved: true

типа вот так?

написал свой - туда ничерта не падает

такое ощущение что он просто не срабатывает

так а условие попадания-то где?

route: receiver: martian-ops routes: - match: severity: critical receiver: telephone-ops continue: true - receiver: 'amplifr-slack' match: cluster: amplifr continue: true - receiver: 'amplifr-email' match_re: cluster: amplifr severity: warning|critical continue: true receivers: - name: 'martian-ops' email_configs: - to: 'bregor@evilmartians.com' send_resolved: true ...

вот примерно так

Ребят, есть у кого нибудь стата, кол-во метрик к кол-во iops?

Просто, у меня хуйня какая-та получается

Или я что-то не то смотрю вообще?

# cat /etc/carbon/storage-schemas.conf [carbon] pattern = ^carbon\. retentions = 60:90d [default] pattern = .* retentions = 10s:7d,1m:21d,15m:5y Если это важно.

кстати, коллеги, а кто-нибудь в курсе, в прометей планируется вводить retention? или его все так же принципиально не будет

Просто, у меня хуйня какая-та получается

А что не нравится?

кстати, коллеги, а кто-нибудь в курсе, в прометей планируется вводить retention? или его все так же принципиально не будет

Почему?

Вроде же оно само ретеншится

Вроде же оно само ретеншится

там чистка есть, а агрегатов нет

А что не нравится?

Не нравится кол-во иопс

нельзя пожать данные, снизив точность

чем?

может, я хочу, как в графите - с абсолютной точностью месяц и грубо - год

Не нравится кол-во иопс

Вопрос в том какие настройки у демона который пишет

чем?

Много очень нужно ио и то, у меня не все подключено :-(

Вопрос в том какие настройки у демона который пишет

Мм.. Всмысле время сброса на диск и т.д.?