Пробую fluent и filebeats

#платиновые_треды_k8s

Ищу золотую середину :)

#платиновые_треды_k8s

Угу

да бери чо больше нравится

направление у тебя уже неплохое

А кто чем логи собирает?

ELK + fluentd

Чем filebeat не подошёл?

А кто чем логи собирает?

ELK + fluentd +1

Чем filebeat не подошёл?

он в grok не умеет. Или не умел когда я это делал.

graylog?

Что то я пока не представляю как писать правила для всех внутренних сервисов + аппы

Будь то fluentd или filebeat

Что то я пока не представляю как писать правила для всех внутренних сервисов + аппы

В смысле? А в чем проблема? Кормишь его логами с ноды, разбираешь сначала JSON, а потом уже сообщение лога.

Это понятно, форматы логов разные. Разделять фильтра по неймспейсам, или как?

сайдкаром цепляй к подам

Дичь, не?

Или там где надо особая обработка

А общак с ноды брать...

А общак с ноды брать...

ставим fluent как daemonset, маунтим в поду fluent докеровскую папку с логами, с ноды парсим вообще все логи одним консистентным образом

ставим fluent как daemonset, маунтим в поду fluent докеровскую папку с логами, с ноды парсим вообще все логи одним консистентным образом

сейчас все так и работает, разве что разделяю namespace -> index

сейчас все так и работает, разве что разделяю namespace -> index

?

но напрягает каша в логах

особенно в java apps

все было так хорошо, пока не пришла java

но напрягает каша в логах

какая конкретно каша?

multiline, timstamp отличается от go

такое в общем все

это все же настравиется форматом в logback или чем там логируется?

log4j

угу

так какая каша то?

формат не попадает в правила

ну это таки к разрабам надо вылазить

multiline, timstamp отличается от go

преступление

> timstamp отличается от go я бы за это медаль выдавал

а тем кто юзает гошный формат - расстреливал бы на месте

наркоманы придумали же

я про вот это вот https://golang.org/pkg/time/#Time.Format

в соседнем чате недавно был спор, что у американцев непонятно все с датами, потому что день/месяц/год идут не по порядку, а тут вообще в противоположных углах

давайте ещё пообсираем американские названия для например гаечных ключей

побьём лежачих

13/15 дюйма всякие

13/15 дюйма всякие

Инчей?

У них же инчевая система

У них же инчевая система

у тебя тоже не инчевая до момента пока "дайте мне переходник с пол дюйма на три четверти"

У них же инчевая система

а inch как на русский перевести?

у тебя тоже не инчевая до момента пока "дайте мне переходник с пол дюйма на три четверти"

на 5/8

Ньюфаги не помнят rrdtool

Ньюфаги не помнят rrdtool

тогда уж не знают. графики очень олдфажные получаются :)

Олдфажные это mrtg

Вы тут ещё про кактус вспомните тогда

кактус это ньюфажное

относительно

кактус же емнип ррдтулом и рисует

могу ошибаться

разок ставил на посмотреть давно и забросил

Коллеги, кто нибудь skycap использовал? Как он вообще? Если с дроном сравнить? (Ну не лезит душа с гитлабу, ну не могу)

а чем тебе drone не угодил?

Товарищи, у кого несколько кластеров, чем контекст переключаете? Или алиасы к kubctl нафигачить? Как вы это лрганизовываете чтобы не запутаться?

а чем тебе drone не угодил?

:) не могу сказать что не угодил) В целом он у меня на почётном 3 месте счас по сложности взлета) Сразу перед гитлабом:) И на первом по скорости

Товарищи, у кого несколько кластеров, чем контекст переключаете? Или алиасы к kubctl нафигачить? Как вы это лрганизовываете чтобы не запутаться?

я по подсказке из этого чата сделал на env переменной. Просто разные конфиги в зависимости от env. Это для jenkins. На локальной тачке собрал конфиг и переключаю контексты.

я по подсказке из этого чата сделал на env переменной. Просто разные конфиги в зависимости от env. Это для jenkins. На локальной тачке собрал конфиг и переключаю контексты.

На локальной как то не очень удобно один конфиг, когда работаешь с нескольклми кластерами в разных консолях

Ребят, а какие есть бест практики для сбора логов из pod’ов в которых приложение умеет писать только в файлик?

tail -f file.log & app

Либо ln -sf /dev/stdout /var/log/app.log

Либо сайдкар цеплять

Либо сайдкар цеплять

Сайдкар? Какой?

fluentd, filebeat, на свой вкус

fluentd, filebeat, на свой вкус

Аааа, и шарить между ними что-то вроде emptydir и с неё лить логи?

Угу

Да уж, выбор из 3х зол ?

Аааа, и шарить между ними что-то вроде emptydir и с неё лить логи?

тут только еще одна проблема с ротированием этого лога

Товарищи, у кого несколько кластеров, чем контекст переключаете? Или алиасы к kubctl нафигачить? Как вы это лрганизовываете чтобы не запутаться?

Вот эти два https://github.com/blendle/kns/tree/master/bin плюс https://github.com/jonmosco/kube-ps1/blob/master/README.md

:) не могу сказать что не угодил) В целом он у меня на почётном 3 месте счас по сложности взлета) Сразу перед гитлабом:) И на первом по скорости

Скорость CI или скорость работы контейнеров в этом CI? Второе кажется должно быть одинаковым

Глянул глазом - drone выглядит платным

Вот эти два https://github.com/blendle/kns/tree/master/bin плюс https://github.com/jonmosco/kube-ps1/blob/master/README.md

спасибо

Глянул глазом - drone выглядит платным

Он бесплатный

Опенсорсный

Точнее, некоторые удобные фичи - платные

S3 "blob storage" только за бабки?

На фоне гитлаба это выглядит странненько

Общие секреты

на остальное пока не наступали

Дрон приколочен гвоздями к докеру, не очень клауднативно

Дрон сделан на докере :-)

Кажется про это и речь

Товарищи, у кого несколько кластеров, чем контекст переключаете? Или алиасы к kubctl нафигачить? Как вы это лрганизовываете чтобы не запутаться?

У каждого кластера отдельный конфиг-файл в .kube, для работы с нужным кластером копирую его конфиг-файл в .kube/config. Если нужно разово запустить команду для другого кластера, то env KUBECONFIG=$HOME/.kube/config-file-name kubectl ... Мне так удобнее, чем иметь один большой .kube/config, переключать контексты и т.д.

У каждого кластера отдельный конфиг-файл в .kube, для работы с нужным кластером копирую его конфиг-файл в .kube/config. Если нужно разово запустить команду для другого кластера, то env KUBECONFIG=$HOME/.kube/config-file-name kubectl ... Мне так удобнее, чем иметь один большой .kube/config, переключать контексты и т.д.

Вот там вверху ссылка была kube-ps1, думаю сочетать отображение текущего контекста с переменной kubeconfig, чтобы в разных консолях работать паралельно

kube-ps1 выглядит интересно, но с моим любимым tcsh не дружит. ?

Народ, что является хорошим тоном по деплю фронта в куб? Билдить имейдж ? с nginx или его отдельным имейджом в поде?

CDN не предлагать?

ни

тогда без разницы

ок

подложить его под ингресс - плохая идея?