какой то маленький хайлоад :)

Абсурдное словосочетание т.к. понятие хайлоада не строго фиксировано в цифрах - оно наступает тогда когда конкретная инфраструктура перестает справляться с текущей нагрузкой :)

Так что у всех свой хайлоад ..

так оксюморончик же

на хайлоадах (конференции) принято мерятся миллионами чего нибудь... так что 400/сек лучше описывать как 1.4М/час

Бгг, ох уж мне эти "принято" :)

Так что у всех свой хайлоад ..

Жду хайлоад на текстовых файлах. По теме сказать не чего.

ну может строки длинные, что то я по докладам о работе флуента не помню таких маленьких цифр

Строка в гиг?

тер

можно даже аудиторию при докладе так троллить

ну сейчас валится на 400 строк в секунду

Там webrick используется (однопоточный блокирующийся веб-сервер, идущий в стдлибе руби), потому вряд ли можно что-то «затьюнить» без переписывания модуля.

А, нет, насчет webrick-а наврал.

Всем привет. А есть ли способ загрузить json файл с дашбордом в графану не через GUI?

Всем привет. А есть ли способ загрузить json файл с дашбордом в графану не через GUI?

Да. Через апи.

Всем привет. А есть ли способ загрузить json файл с дашбордом в графану не через GUI?

http://docs.grafana.org/reference/dashboard/

Да. Через апи.

благодарю

А, нет, насчет webrick-а наврал.

а что там

что-то мне подсказывает, что не будет работать индекс. т.е. все будет очень медленно

Попробовал - так и есть - вьюхи работаю медленно.

Вот интересно, неужели ни у кого не стояло задачи поменять внутри кликхауса имя метрики в соотсветствии со словарем? Или все метрики пушат уже в удобочитаемом виде?

Это какая-то очень специфичная хотелка. Обычно достаточно поменять имя уже при отображении и для конечного числа метрик. например, графитной функцией alias

Новое слово из соседнего чатика: "каминг-заббикс"

ну вот живой пример

collectd собирает статистику виртуалок в префикс вида instance-000002f4

хочется его взять и преобразоваьт в нормальное имя тенанта + имя ВМ

опять де если бы alias умел лазить например в другую базу я бы даже не заморачивался с этим

кстати вот интересный FR написать функцию алиаса которая делает резолвинг некоторой последовательности из словаря \ базы

какой нибудь aliasFromDB(nodename,lookupdb,lookuptable)

alias переименовывает результат поиска. но искать-то ты наверняка хочешь тоже по читабельному имени

мда

да хочу :(

кстати, если говорить про поиск то задача несколько проще решается

графаня умеет в несколько DS и их можно использовать как источник алиасов

во всяком случае influx как хранилка алиасов а графит как хранилка данных - такой вариант работает через Templating

но уж больно он некрасивый

с каким-нибудь ceres или whisper я не парился и просто создавал симлинки в нужные мне места в фикстивной структуре каталогов(метрик)

в кликхаусе такой фокус не работает , а видеть человечески-названные метрики хочется

мы тоже раньше использовали симлинки. при переезде в кх пришлось вместо них сделать простую систему тегов. оно не решает проблему отображения красивых имен, но решает проблему поиска по красивым именам

ну вот - в этом и беда

теги нужны

они хотя бы решат часть проблем

а в итоге на чем система тегов работала?

это в апстриме graphite-clickhouse есть?

есть

логично было бы кстати добавить aliasByTAG

тогда можно было бы задачу с двух сторон закрыть

чуть-чуть про наши теги написано тут https://github.com/lomik/graphite-clickhouse/wiki/TagsRU и тут https://gist.github.com/lomik/08708fa4bf5f526919942337a9cf4622 но так как никто кроме меня самого ими не пользуется (насколько мне известно), то документацию расширять не планирую

а что там

там свой http-сервер на асинхронных сокетах. от webrick-а только парсер в одном месте используется.

у меня тут стойкое ощущение что инфлюксовцы скоро опять движок поменяют )

уж больно они активно пилят https://github.com/influxdata/arrow

логично было бы кстати добавить aliasByTAG

теги чтобы прям совместимо с aliasByTag не так просто сделать, чтобы оно машстабировалось

чуть-чуть про наши теги написано тут https://github.com/lomik/graphite-clickhouse/wiki/TagsRU и тут https://gist.github.com/lomik/08708fa4bf5f526919942337a9cf4622 но так как никто кроме меня самого ими не пользуется (насколько мне известно), то документацию расширять не планирую

Очень интересная реализация

видимо база должна быть вынесена за пределы нод и быть независимой в некоторой степени от них

видимо база должна быть вынесена за пределы нод и быть независимой в некоторой степени от них

скорее наоборот, база тегов должна быть близко к серверам с метриками и также шардирована как сами метрики.

просто потому что база на 5-10млн метрик проще в реализации чем на 120-130М

ребят, а по elk тут поясняют? или у них отдельный чатик.

Есть @elasticsearch_ru но думаю, можно и тут ...

начну с простого: наиболее удобночитаемый (eng/рус) гайд/дока по ELK только у elastic.co? есть достойные альтернативы? больше интересует как оно все под капотом устроено, разобраться в сущностях. в хард моде готов собирать инфу отовсюду (чем и занимаюсь), но надеялся найти одно место с максимум инфы

начну с простого: наиболее удобночитаемый (eng/рус) гайд/дока по ELK только у elastic.co? есть достойные альтернативы? больше интересует как оно все под капотом устроено, разобраться в сущностях. в хард моде готов собирать инфу отовсюду (чем и занимаюсь), но надеялся найти одно место с максимум инфы

по эластику очень мало документации, особенно по внутреннему устройству. Увы

Ну, как минимум, есть: 1. loghouse 2. oklog Второе вроде тут еще никто даже не пробовал)

Ну, как минимум, есть: 1. loghouse 2. oklog Второе вроде тут еще никто даже не пробовал)

так понимаю, альтернатива elastic? мне бы вкурить эластик

по эластику есть отдельный канал

https://t.me/elasticsearch_ru

там вероятно быстрее помогут

Ну, да, loghouse использует clickhouse, а oklog что-то внутри свое использует.

ERROR: S client not available

Но clickhouse точно не дает такой гибкости поиска по логам, если она нужна.

https://arxiv.org/pdf/1801.07947.pdf

paper про titandb (вроде что-то новое), там куча всяких бенчмарков и сравнений

что интересно, две самые производительные БД в рамках теста - B+Tree-based

Нейминг ( http://titan.thinkaurelius.com/

Это вроде не та база, что в статье

точно, там tritandb

http://www.tritandb.com/

На котлине, как минимум забавно

А вот что делает Нетфликс, если кто не видел - https://medium.com/netflix-techblog/scaling-time-series-data-storage-part-i-ec2b6d44ba39?__s=u6q6zqbdouom8kbonaiv

https://arxiv.org/pdf/1801.07947.pdf

а есть ли какая-то обзорная статья про сжатие? а то мне лень читать десяток вайтпейперов о том, как радиоастрономы фильтры для hdf5 изобретают

а есть ли какая-то обзорная статья про сжатие? а то мне лень читать десяток вайтпейперов о том, как радиоастрономы фильтры для hdf5 изобретают

есть доклад Аксенова на HL++

@SirEdvin спасибо, ща добавлю )

Эм ... за что?

Я только потупил немного, занес то инфу Evgeny

Evgeny ок, тебе спасибо за инфу про Тритан

баз на котлине у меня в списке еще не было )

Зато теперь базочек стало 53 штуки

а юзабельные хорошо если парочка? :)))

а юзабельные хорошо если парочка? :)))

Graphite :)

Prometheus :)

так это закон природы считай

ваще что считать "юзабельным" )

они все кажется юзабельные в каких-то кейсах

я далматинер на локалхосте кормил данными

Кто-нибудь знает в каком формате нужно прописывать параметр —v (log level for V logs) в kube-state-metrics? Нигде не могу документацию найти.

привет, вокруг алерты никаких костылей случайно нет для того чтобы из нее прокидывать silence в prometheus с комментариями?

через телегу то ?

думаю там можно заменить keyboard на / команды

я имел ввиду web ui

в который пырится дежурный