в кибане можно разграничить доступ

да чёт за это народ не сильно стремится платить

м-м ... там бесплатное есть

насчёт ldap-а вряд ли, а вот user/pass - есть

Привет @b0g3r

Ну привет, хехе

Привет @friendly_zika

Привет @b0g3r

Мир тесен :)

ну вообще не вижу ничего плохого в том, что дев и прод в одном кластере. Мало того, что их надо засунуть в разные индексы, дак вы еще и можете настроить разные правила по очистке этих индексов. Например продовские данные важные и вы храните на A серверах по B дней. А дев данные вы во-первых пишите с оч большой частотой уровня trace, дак еще и срок жизни можете им поставить в C дней и хранить только в одном экземпляре. Удобство в том, что у вас одна точка входа для поиска логов. Однако если данных ну просто пипец много или вы любите именно настраивать сам elk стэк (индексы там подкручиваете постоянно) или же вы хотите именно ограничить работу с продовскими логами (чтобы 400 человек не искало по тексту что-то постоянно) , то тогда определенно точно стоит сделать отдельный кластер

Я бы так никогда не делал

Я бы так никогда не делал

Никогда так не делайте и никогда не пишите то, что потом нельзя отредактировать, а то вдруг забанят :)

Лучше бан, чем ещё раз такое прочитать ?

успехов :)

Настраиваю дашборд Kibana для какого-нибудь приличного отображения логов из Java приложения. Понятно, что ELK не подходит для нормального сбора метрик, мы его для этого и не планируем использовать, но какую-то начальную инфу на тему "не сломалось ли что после апдейта" хотелось бы из него получать. Я сделал пару гистограм - по дате, по типу логгера, по level - чтоб можно было понять когда вдруг стало больше логов, но это мне кажется не очень серьезно. В связи с этим пара вопросов. Какие-то советы, примеры, где можно посмотреть? Может не просто примеры дашбордов, а именно видео на тему как именно оно используется - какие-то use cases. Или, например, можно ли на одном графике отображать данные текущие и недельной давности, чтобы сравнивать. Или как-то отображать релизы, чтоб видно было сразу. Или может проще какие-то данные форвардить в grafana или прям grafana настроить, чтоб она работала с elastic? Ну то есть хотелось бы послушать опыт людей, наступивших на грабли. На хабре так навскидочку не нашел - там в основном темы "как я настроил кибану", какие были проблемы с производительностью. Про отображение не особо.

/link@yetanotherstatsbot

https://yasb.exileed.com/telegram/chat/1001068522817

/link@yetanotherstatsbot

А не дохуя статботов?

Ещё и с админскими правами? @Civiloid ?

А это чтоб ссылки постил..

Настраиваю дашборд Kibana для какого-нибудь приличного отображения логов из Java приложения. Понятно, что ELK не подходит для нормального сбора метрик, мы его для этого и не планируем использовать, но какую-то начальную инфу на тему "не сломалось ли что после апдейта" хотелось бы из него получать. Я сделал пару гистограм - по дате, по типу логгера, по level - чтоб можно было понять когда вдруг стало больше логов, но это мне кажется не очень серьезно. В связи с этим пара вопросов. Какие-то советы, примеры, где можно посмотреть? Может не просто примеры дашбордов, а именно видео на тему как именно оно используется - какие-то use cases. Или, например, можно ли на одном графике отображать данные текущие и недельной давности, чтобы сравнивать. Или как-то отображать релизы, чтоб видно было сразу. Или может проще какие-то данные форвардить в grafana или прям grafana настроить, чтоб она работала с elastic? Ну то есть хотелось бы послушать опыт людей, наступивших на грабли. На хабре так навскидочку не нашел - там в основном темы "как я настроил кибану", какие были проблемы с производительностью. Про отображение не особо.

графана вообще не очень по сравнению с тем что таймелион может. Выводить графики старые рядом с новыми можно

еще есть нюанс с эксперементами, то что на дев ты можешь тестить и потерять данные если что, а на проде нет

Нюанс с экскрементами, что часто бывает так, что сначала в прод, потом в тестовые среды. И так во многих больших конторах. А чего то про как должно быть, затирать, и как оно есть на практике, это две разные вещи

И нюансик почему. Да потому никогда тестовые контура не идентичны проду

Настраиваю дашборд Kibana для какого-нибудь приличного отображения логов из Java приложения. Понятно, что ELK не подходит для нормального сбора метрик, мы его для этого и не планируем использовать, но какую-то начальную инфу на тему "не сломалось ли что после апдейта" хотелось бы из него получать. Я сделал пару гистограм - по дате, по типу логгера, по level - чтоб можно было понять когда вдруг стало больше логов, но это мне кажется не очень серьезно. В связи с этим пара вопросов. Какие-то советы, примеры, где можно посмотреть? Может не просто примеры дашбордов, а именно видео на тему как именно оно используется - какие-то use cases. Или, например, можно ли на одном графике отображать данные текущие и недельной давности, чтобы сравнивать. Или как-то отображать релизы, чтоб видно было сразу. Или может проще какие-то данные форвардить в grafana или прям grafana настроить, чтоб она работала с elastic? Ну то есть хотелось бы послушать опыт людей, наступивших на грабли. На хабре так навскидочку не нашел - там в основном темы "как я настроил кибану", какие были проблемы с производительностью. Про отображение не особо.

экспешены например http://joxi.ru/MAjMwpNtvLx3l2.png сводный график по операциям на распределенном хранилище http://joxi.ru/gmvew7dcxMvGXr.png ну тип видно что тормозит и где да фиг знает, сиди да тыкай мышкой, у меня сотни три или четыре всяких графиков

Нюанс с экскрементами, что часто бывает так, что сначала в прод, потом в тестовые среды. И так во многих больших конторах. А чего то про как должно быть, затирать, и как оно есть на практике, это две разные вещи

Бред какой. Если руки не из плеч, не надо валить это на других.

И нюансик почему. Да потому никогда тестовые контура не идентичны проду

Это искусство - делать хорошее нагрузочное тестирование и уметь из мелкой тестовой среды получить выводы для прода

Нюанс с экскрементами, что часто бывает так, что сначала в прод, потом в тестовые среды. И так во многих больших конторах. А чего то про как должно быть, затирать, и как оно есть на практике, это две разные вещи

То что есть на свете дураки не значит что это хорошо и нужно быть таким же

То что есть на свете дураки не значит что это хорошо и нужно быть таким же

Но это же модно и просто

Но это же модно и просто

Можно это хотя бы а-б тесты

И это тоже не просто

Катить изменения на 1% аудитории, а потом увеличивать долю участвующих в эксперименте - требует тоже систематического подхода, мониторинга и т.п.

Но это проще, чем тестовая среда, да

Зачем напрягать пузо, если и так сойдет?

Действительно

да и вообще - ыджайл: выкатили-ошибки-откатили-накодили-выкатили-ошибки-откатили ...

да и вообще - ыджайл: выкатили-ошибки-откатили-накодили-выкатили-ошибки-откатили ...

Тестовая среда тут никак не мешает :)

да и вообще - ыджайл: выкатили-ошибки-откатили-накодили-выкатили-ошибки-откатили ...

откатили? хах только вперед, выкладка - хотфикс - хотфикс

да и вообще - ыджайл: выкатили-ошибки-откатили-накодили-выкатили-ошибки-откатили ...

Откатывать то зачем?

откатили? хах только вперед, выкладка - хотфикс - хотфикс

А во, именно ?

Сказочники

хотфиксы для слабаков

выложили - выложили - выложили

нужно чтоб даже в хотфиксе были новые фичи!!!

а если какой серьезный баг - в следующем спринте поправим )

Сказочники

Я кстати не очень шутил

Вот выкатили вы версию апишечку которая представляет собой интеграцию с другой апишечкой и которая реализует представления для каких нить мобайл клиентов, и новой ее версии используете новую версию 3й стороны

И хренак какой нить мобайл апп крашится начал

И чо делать ? Впихивать манкипатчинг в свой сервис или в мобильных аппах изменения вносить ? Или откатить ?

И чо делать ? Впихивать манкипатчинг в свой сервис или в мобильных аппах изменения вносить ? Или откатить ?

Все и сразу!

И чо делать ? Впихивать манкипатчинг в свой сервис или в мобильных аппах изменения вносить ? Или откатить ?

У тебя простой пример довольно

сказал он, но не сказал чо делать)

https://github.com/prometheus/prometheus/releases/2.0.0-beta.5 / 2017-09-21 was tagged

https://github.com/grafana/grafana/releases/v4.5.2 was tagged

чот у меня бот оказывается выключенным лежал )

в контексте "хотфикс-хотфикс" вы добавляете сложности, и скрытого поведения, что по сути своей не очень хороший подход.

не откатитесь, работать нихера не будет

Я видел в одном проекте прокидывание в прод доступа к легаси сервисам через 2 nginx и один haproxy, просто потому что так сложилось))

а что тебя в этом смущает?

у меня тоже куча проксей подряд идут, а как иначе то?

Потому что когда оно легло, то без документации пол часа шастали по серверам, на которые еще и доступа не было, чтобы выяснить где оно вообще

Ваша проблема, имхо

Мой комент был про хотфиксы вообще, потому что эта цепочка родилась в результате залатывания дыр во время жизни прода за пару лет.

Настраиваю дашборд Kibana для какого-нибудь приличного отображения логов из Java приложения. Понятно, что ELK не подходит для нормального сбора метрик, мы его для этого и не планируем использовать, но какую-то начальную инфу на тему "не сломалось ли что после апдейта" хотелось бы из него получать. Я сделал пару гистограм - по дате, по типу логгера, по level - чтоб можно было понять когда вдруг стало больше логов, но это мне кажется не очень серьезно. В связи с этим пара вопросов. Какие-то советы, примеры, где можно посмотреть? Может не просто примеры дашбордов, а именно видео на тему как именно оно используется - какие-то use cases. Или, например, можно ли на одном графике отображать данные текущие и недельной давности, чтобы сравнивать. Или как-то отображать релизы, чтоб видно было сразу. Или может проще какие-то данные форвардить в grafana или прям grafana настроить, чтоб она работала с elastic? Ну то есть хотелось бы послушать опыт людей, наступивших на грабли. На хабре так навскидочку не нашел - там в основном темы "как я настроил кибану", какие были проблемы с производительностью. Про отображение не особо.

Если не видел: https://www.youtube.com/watch?v=YA42xVgfrFE

Подскажите, как в графане повернуть график из прометея?

например у меня по X метрики, а по Y значения сейчас

Axes?

могу я повернуть?

а, понял

спс

спс

у меня не получилось повернуть)

блин, а еще странно, что он показывает мне в count(ALERTS > 0) by (instance) интансы, по которым нет алертов на чарте

Настраиваю дашборд Kibana для какого-нибудь приличного отображения логов из Java приложения. Понятно, что ELK не подходит для нормального сбора метрик, мы его для этого и не планируем использовать, но какую-то начальную инфу на тему "не сломалось ли что после апдейта" хотелось бы из него получать. Я сделал пару гистограм - по дате, по типу логгера, по level - чтоб можно было понять когда вдруг стало больше логов, но это мне кажется не очень серьезно. В связи с этим пара вопросов. Какие-то советы, примеры, где можно посмотреть? Может не просто примеры дашбордов, а именно видео на тему как именно оно используется - какие-то use cases. Или, например, можно ли на одном графике отображать данные текущие и недельной давности, чтобы сравнивать. Или как-то отображать релизы, чтоб видно было сразу. Или может проще какие-то данные форвардить в grafana или прям grafana настроить, чтоб она работала с elastic? Ну то есть хотелось бы послушать опыт людей, наступивших на грабли. На хабре так навскидочку не нашел - там в основном темы "как я настроил кибану", какие были проблемы с производительностью. Про отображение не особо.

Несколько дней занимаюсь тем что multiline для томкат логов настаивать

Несколько дней занимаюсь тем что multiline для томкат логов настаивать

Томкат же наверняка с log4j или slf4j логирует, их можно настроить на вывод логов в json, и без всякого мультилайна в эластик

Кажись log4j

Я просто не думал что секс такой будет

С мултилайн

Ну вот, там просто достаточно. Главное чтобы в одну строку логгер json укладывал

чуваки

если ваш логгер может выводить json - так пусть выводит

вдумайтесь

у вас есть структурированные данные

внутри софтины

вы их конвертируете в человекочитаемый вид аля апач какой-нибудь или еще во что-то такое

а потом разбираете обратно, зачастую регулярками, чтобы скормить в эластик

не кажется что тут что-то пошло не так?

(речь в том числе про nginx'овые логи)

оставьте отдельно логи для людей на сервере, если хочется

или обучите людей пользоваться jq

или вообще обучите людей что все в эластике, вот тут кибана или еще кто

хотите логи - идите туда, а не ssh server, tail | grep | grep | awk | grep | tail

или обучите людей пользоваться jq

jq великолепен, не мастер его использования, но он вообще может )

и вообще логи не метрики, есть отдельный канал по эластику и всему прочему

:)) удивительно сколько у меня времени ушло чтобы донести до коллег эту простую мысль

jq великолепен, не мастер его использования, но он вообще может )

я уже много раз замечал что jq по логам в json в среднем удобнее чем конструкции из авка

:)) удивительно сколько у меня времени ушло чтобы донести до коллег эту простую мысль

иногда надо быть технофашистом

и причинять добро