в имени какой-то сабсет, вроде [a-zA-Z0-9_]+

Косяк с доступом. Я пытаюсь скрейпить промом в докере, хост на котором он запущен, походу где-то тут собака порылась.

Ошибка правда странная...

да, неочевидно

то ли дело context deadline exceed, ага?

Хз, такой еще не видел :D

обозначает "таймаут"

Хмм, не, я видел конкретный connection timeout, или типа того, если порт закрыт.

Хм… у clickhouse есть http и сырой tcp интерфейсы. Странно, что remote adapter никто не сделал.

"таймаут подключения" и "таймаут получения данных" - разные таймауты

Эт понятно

А тем временем в го завозят округление. Ожидайте всадников апокалипсиса со дня на день.

https://github.com/golang/go/commit/03c3bb5f843cbda7382b5618de82a74adb779393

Эм ... я думал, что там крутая стандартная либа. А округления там не было?

Эм ... я думал, что там крутая стандартная либа. А округления там не было?

Крутая, ага. Но round() появится в ней только в 1.10. Потому что.

Эм ... я думал, что там крутая стандартная либа. А округления там не было?

ну так а зачем оно. сами пишите.

А тем временем в го завозят округление. Ожидайте всадников апокалипсиса со дня на день.

Лол, даже я не пишу на го а успел накостылить раунд там

ну так а зачем оно. сами пишите.

Как минимум потому, что написать нормальный раунд может быть немного сложновато)

я грустно троллю

гошка это вообще язык про "вам это не нужно" и "а зачем это вам?"

гошка это вообще язык про "вам это не нужно" и "а зачем это вам?"

это уже становится скучным. сколько раз возвращались к этой дискуссии?

Кстати, @not_logan раз ты тут, не сложно ли будет ответить на странный вопрос?) Почему в твоем примере в nginx_lua_prometheus не используется разделение по path? Слишком большой оверхед?

Хм… у clickhouse есть http и сырой tcp интерфейсы. Странно, что remote adapter никто не сделал.

Ты про promhouse?

Кстати, @not_logan раз ты тут, не сложно ли будет ответить на странный вопрос?) Почему в твоем примере в nginx_lua_prometheus не используется разделение по path? Слишком большой оверхед?

мне просто не нужно было решать такую задачу, все просто. У меня много локаций, если я на каждую локацию буду отдельную метрику создавать – я сойду с ума, пытаясь посчитать, скажем, общее соотношение 200 к 500-м

думаю, в моем случае имеет смысл делать что-то типа тегов, но пока что я не сильно углублялся – мне нужна только очень базовая статистика

Следующий вопрос. В документации написано, что сторадж прометея не предназначен для длительного хранения данных. Что сейчас модно/кошеrно использовать для хранения исторических данных?

Я дико извиняюсь, но по-моему сторадж прометея вообще не предназначен для хранения данных ? То есть хранить-то оно конечно может, но вот отдать правильные данные - нет. По крайней мере получить в графане дельту каунтеров за время не представляется возможным. Вернее получить можно, но данные получаются с потолка. Такой вот наброс на вентилятор )

А, ясно) Окей, спасибо за ответ. Я просто достаточно слабо знаю nginx + lua, думал, может там есть подвох. В целом сделал как-то так: if ngx.var.uri ~= "/metrics" then local host = ngx.var.host:gsub("^www.", "") metric_requests:inc(1, {host, ngx.var.uri, ngx.var.status}) metric_latency:observe(ngx.now() - ngx.req.start_time(), {host, ngx.var.uri}) end

А, ясно) Окей, спасибо за ответ. Я просто достаточно слабо знаю nginx + lua, думал, может там есть подвох. В целом сделал как-то так: if ngx.var.uri ~= "/metrics" then local host = ngx.var.host:gsub("^www.", "") metric_requests:inc(1, {host, ngx.var.uri, ngx.var.status}) metric_latency:observe(ngx.now() - ngx.req.start_time(), {host, ngx.var.uri}) end

я его вообще не знаю :) Но язык, вроде, не шибко сложный :)

Это точно)

Я дико извиняюсь, но по-моему сторадж прометея вообще не предназначен для хранения данных ? То есть хранить-то оно конечно может, но вот отдать правильные данные - нет. По крайней мере получить в графане дельту каунтеров за время не представляется возможным. Вернее получить можно, но данные получаются с потолка. Такой вот наброс на вентилятор )

часть про «с потолка» не понял

Долго писать, я лучше кину баг репорт на почитать )

https://github.com/prometheus/prometheus/issues/3746

Я два дня пытался заставить эту дрянь отдать мне актуальные данные, не получилось =(

о да, это боль

Особенно доставляет реакция разрабов. - "Мы долго думали и пришли к решению, что ничего делать не будем, изменения не вписываются в наши правила, пущай так остается"

браин вообще себя так всегда ведет

да, я заметил )

во времена 1.5 там был громкий кек, про то кто на самом деле пишет

а кто поддерживает

https://github.com/prometheus/prometheus/issues/3746

милота-то какая

но к прошлогоднему промкону успокоились или набрали клиентов

Сделал сенсор загазованности. поместил в кошачий лоток.

браин вообще себя так всегда ведет

Брайан Бразил?

да.

Сделал сенсор загазованности. поместил в кошачий лоток.

а что в качестве датчика использовал?

а что в качестве датчика использовал?

Не MQ

забыл уже

да.

Я очень неровно к его персоне дышу. Очень хочется нанести ему травмы.

я тоже дышал так до промкона 2016 и в прошлом году в Мюнхене на промконе 2017 плодотворно пообщались

Я очень неровно к его персоне дышу. Очень хочется нанести ему травмы.

вообщем это пройдет при личной встречи

а что в качестве датчика использовал?

Хочу натравить на это ML

я тоже дышал так до промкона 2016 и в прошлом году в Мюнхене на промконе 2017 плодотворно пообщались

плодотворно == с увечиями? (-:

Сделал сенсор загазованности. поместил в кошачий лоток.

Вот это я понимаю свободного времени у человека!

вообщем это пройдет при личной встречи

Это почему, интересно? )

я тоже дышал так до промкона 2016 и в прошлом году в Мюнхене на промконе 2017 плодотворно пообщались

Ну хз… его манера отвечать «notabug» и не мои проблемы очень бесит

Вот это я понимаю свободного времени у человека!

Страсть к технологиям не пропьёшь

Ну хз… его манера отвечать «notabug» и не мои проблемы очень бесит

он все равно это все в скрежаль заносит и педалирует

он все равно это все в скрежаль заносит и педалирует

Ключевое слово «педалирует»

именно от данных эта скотина и зависит от всех этих вот подписей к графикам и прочего, там вроде поговаривали что в свежей 5-ке они отрисовку поправили, может перестанет и скакать :)

В 5.0 панели имеют фиксированный размер (не зависит от контента) и новый движок расположения панелей на дашборде (grid layout). Таких проблем быть не должно. Зато могут быть другие ?

вы жаловались на старые баги, так мы их поменяли на новые? :)))

кстати, в каком оно состоянии, пора суетится и начинать пробовать?

Бета уже вышла, критических багов не замечено, можно пробовать и репортить баги, которые найдете, постараемся все исправить.

вы жаловались на старые баги, так мы их поменяли на новые? :)))

В целом, почти так ? просто теперь новый движок имеет свои особенности.

Кстати, @not_logan раз ты тут, не сложно ли будет ответить на странный вопрос?) Почему в твоем примере в nginx_lua_prometheus не используется разделение по path? Слишком большой оверхед?

Ты в курсе, что эта штука блокирующая?

ERROR: S client not available

openresty вроде утверждает, что как раз lua скрипты хоть и синхронны, но не блокирующие. Это не так? Вот тут написано, что не блокирующая: https://github.com/openresty/lua-nginx-module#description

А, все, понял

Скрипты-то не блокирующие, а структура, в которой хранятся метрики - блокирующая

Хм ... ну, посмотрим. Надеюсь, к серьезным тупнякам не приведет.

Lua вроде довольно быстро работает

луа у нас на ~ 10k rps фигачит, json'ки разгребает, cpu грузит на 30-40%. Но мы забили на метрики через lua - нам достаточно парсить логи nginx'а через nginxlog-exporter

Эх, надо будет посмотреть, я думал, что сиутация получше.

Я очень неровно к его персоне дышу. Очень хочется нанести ему травмы.

+1

пики - во время мочеиспускания?

пики - во время мочеиспускания?

Я точно хз, возможно когда убираю лоток

луа у нас на ~ 10k rps фигачит, json'ки разгребает, cpu грузит на 30-40%. Но мы забили на метрики через lua - нам достаточно парсить логи nginx'а через nginxlog-exporter

Луа вполне может и на 150к фигачить, включая метрики ;)

Луа вполне может и на 150к фигачить, включая метрики ;)

Не спорю :) мы вообще тогда по цпу больше из за ссл просели. Луа мне понравилась в связке с nginx. Очень гибко получается.

https://github.com/go-graphite/carbonapi/releases/0.9.0 was tagged

Ты в курсе, что эта штука блокирующая?

Ну, такое. Сверху накинулось до 10 милисекунд. С моими нагрузками я переживу)

Как-то так выглядит: https://pastebin.com/t3jT3Umq

клёво тебе :)

https://github.com/go-graphite/carbonapi/releases/0.9.0 was tagged

Вова сдался ?

хотя nginxlog expoter тоже надо глянуть :( В нем вроде больше инфы можно втащить

Вова сдался ?

Ну да, я там рефакторинг затеял

А это уже слишком много

https://github.com/go-graphite/go-graphite-docs немного иронично выглядит ...

надо просто ссылку на этот чатик туда прилепить :)

Почему иронично, все верно

документация отсутстуит

Я там хотел именно документацию на весь стек сделать, на компоненты документация есть в их репах

не на все есть нормальная )

увы это надо фиксить

я думал прикрутить сфинкс к этому

Хм ... кто-то заводил https://github.com/martin-helmich/prometheus-nginxlog-exporter ? Эту штуку можно научить отдавать путь и я просто неправильно пишу логи или таки нельзя?

Вопрос снят, надо просто было как всегда полезть читать код( Если что, то можно, через релейблинг

Хм ... кто-то заводил https://github.com/martin-helmich/prometheus-nginxlog-exporter ? Эту штуку можно научить отдавать путь и я просто неправильно пишу логи или таки нельзя?

mtail ?