пайплайн кривой или что

не. просто надо понять как жить. есть несколько проектов коммонс - это просто либы, от которых зависят уже другие приложения. но не каждая либа меняется каждый спринт

и вопрос был скорее в бэст практис - писать собственный велоспиед по учитыванию зависимостей или кто-то уже подумал на счёт этого (понаступал на грабли, имеет хороший опыт)

https://devopsnet.com/2012/02/21/continuous-delivery-using-maven/

спасибо. может что-то поможет. хотя скорее всего будут свои самописные костыли

Кто-то коннектится с помощью logstash к s3 для логов elb? Подскажите норм способ

Кто-то коннектится с помощью logstash к s3 для логов elb? Подскажите норм способ

Только elk

Я с этим стаком и работаю, но что-то никак не могу логи затянуть с балансера

документаций ноль

Я с этим стаком и работаю, но что-то никак не могу логи затянуть с балансера

Ты же через beats это делаешь?

документаций ноль

Документации тонна) но ориентироваться в ней сложно, это да

Документации тонна) но ориентироваться в ней сложно, это да

молитесь, что это не документация Oracle. А то они забывают треть написать.

Без beats, плагином logstash-input-s3 Beats практичней?

молитесь, что это не документация Oracle. А то они забывают треть написать.

ништяк)) ну там сделано все прям хорошо. можно примеры по кнопочке в кибану слать. ноооо....

Без beats, плагином logstash-input-s3 Beats практичней?

ну битс такой стандартненький для сбора логов. вторым не пользовался. ща гляну что за зверь)

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-s3.html

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-s3.html

не. все верно. судя по описанию для этого сервиса s3 и нужен. точнее для всего что в амазоне

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-s3.html

а что не получается?

По логам говорит, что пайплайн нормально работает. Но в сам ES ничего не создается/не падает

фильтр кривой?

дефолтно по порту отдает без фильтров?

Попробую без фильтра

фильтр может косячить, сам щас с grok парюсь сижу:)

фильтр может косячить, сам щас с grok парюсь сижу:)

Ты там с руби, случайно, не игрался?)

фильтр кривой?

Он бы тогда падал, либо загружал хоть что-то в индекс

Пусто - ничего не поменялось)

Он бы тогда падал, либо загружал хоть что-то в индекс

не, я ему пытаюсь лог приложения давать и свой шаблон ставить, как шаблон врубаю, перестает слать

значит не посылает

а кто лог отдает?

или его прямо с машины logstash забирает

ELB пишет в S3

логстэш слушает файл или порт?

Он плагином к бакету коннектится, по идее

Добрые люди, подскажите советом Есть задача поднять LDAP с нуля в офисе Какие полноценные опенсорс решения?

openldap)))

Добрые люди, подскажите советом Есть задача поднять LDAP с нуля в офисе Какие полноценные опенсорс решения?

Windows Server.

Добрые люди, подскажите советом Есть задача поднять LDAP с нуля в офисе Какие полноценные опенсорс решения?

Freeipa

Windows Server.

Опенсорс

Да похер.

Он плагином к бакету коннектится, по идее

пропробуйте кусок лога забрать на машину и скормить logstash без фильтров ES подтянет инфу?

Неее не похер) Нужен Linux, Unix. И лучше что бы все было в а-ля в коробке)

или его прямо с машины logstash забирает

Вот этого не помню. У нас приложения шлют логи

Вот этого не помню. У нас приложения шлют логи

я ему на порт шлю с filebeat

пропробуйте кусок лога забрать на машину и скормить logstash без фильтров ES подтянет инфу?

Только надо кодек верно указать.

я ему на порт шлю с filebeat

Пакеты точно приходят? Кстати, ты можешь в аутпут включить вывод rubydebug и посмотреть что происходит. Надо проверить tcpdump, что все приходит и рубидебаг, что он принял и хочет слать

логстэш слушает файл или порт?

Зависит от метода получения

Пакеты точно приходят? Кстати, ты можешь в аутпут включить вывод rubydebug и посмотреть что происходит. Надо проверить tcpdump, что все приходит и рубидебаг, что он принял и хочет слать

да там проще скорее всего, фильтр не работает, потому что в дефолтных шаблонах то что я даю у него нет без фильтра то все работает:)

вот пытаюсь найти куда ему накалякать свои регулярки

Без фильтра тож не работает

Без фильтра тож не работает

@elasticsearch_ru попробуй тут спросить ещё

Без фильтра тож не работает

значит logsatch говорит "у меня все ок, без данных"

вот пытаюсь найти куда ему накалякать свои регулярки

Если разбирать логи то тебе grok надо курить

Если разбирать логи то тебе grok надо курить

так я с чего и начал говорить

фильтр может косячить, сам щас с grok парюсь сижу:)

значит logsatch говорит "у меня все ок, без данных"

Но в логсташ синтаксис дурной ещё.

@elasticsearch_ru попробуй тут спросить ещё

Спасибо, поразбираюсь. Хотелось простенько подключить и пойти дальше, но это не про elk стак похоже)

Спасибо, поразбираюсь. Хотелось простенько подключить и пойти дальше, но это не про elk стак похоже)

Вообще не про него) полтора месяца завожу netflow и аутентификацию))))

фильтр может косячить, сам щас с grok парюсь сижу:)

А логи в каком формате? Если есть возможность в JSON их перевести, то рекомендую это сделать. Там кодек сам разбирает

TIME [App] PID [Manager] [Connection] MESSAGE тип того

дефолтно он его заберет но кибанка будет дефолтные поля посдставлять, хаос творится:)

дефолтно он его заберет но кибанка будет дефолтные поля посдставлять, хаос творится:)

Да. Он хочет паттерны. Собственно grok и парсит в JSON, который для него понятен. До дома доеду, погляжу чего как. Можешь конфиг скинуть в личку?

ERROR: S client not available

всем привет заранее извиняюсь, в докер чате не ответили почему-то, репостну сюда, тематика вроде схожа подскажите. Есть jar, который используется в нескольких разных docker-образах tomcat. Номальная ли практика билдить этот jar в спец. билд-контейнере и пушить в нексус? А потом подтягивать из нексуса на этапе билда нескольких томкат контейнеров. Или в докер-мире что-то более удобное существует?

всем привет заранее извиняюсь, в докер чате не ответили почему-то, репостну сюда, тематика вроде схожа подскажите. Есть jar, который используется в нескольких разных docker-образах tomcat. Номальная ли практика билдить этот jar в спец. билд-контейнере и пушить в нексус? А потом подтягивать из нексуса на этапе билда нескольких томкат контейнеров. Или в докер-мире что-то более удобное существует?

не ответили потому что не знают пробуйте DAPP

всем привет заранее извиняюсь, в докер чате не ответили почему-то, репостну сюда, тематика вроде схожа подскажите. Есть jar, который используется в нескольких разных docker-образах tomcat. Номальная ли практика билдить этот jar в спец. билд-контейнере и пушить в нексус? А потом подтягивать из нексуса на этапе билда нескольких томкат контейнеров. Или в докер-мире что-то более удобное существует?

да, нормальная практика

всем привет заранее извиняюсь, в докер чате не ответили почему-то, репостну сюда, тематика вроде схожа подскажите. Есть jar, который используется в нескольких разных docker-образах tomcat. Номальная ли практика билдить этот jar в спец. билд-контейнере и пушить в нексус? А потом подтягивать из нексуса на этапе билда нескольких томкат контейнеров. Или в докер-мире что-то более удобное существует?

Тоже так делал для образа с подключением s3fs - по другом не придумать. Пока что минусов не много увидел: много layers, и необходимость ручного обновления этого образа

не ответили потому что не знают пробуйте DAPP

спасибо, интересно, думал что это какая-то обертка над helm, а оно больше!

всем спасибо

пацаны, вопрос на миллион. в aws можно где-то посмотреть историю шатания инстансов?

или хотя бы откуда логинились

ООМ-killer срабатывает при 20 занятых ГБ RAM из 32-х. В dmesg, кроме active_file=7Gb, ничего не могу найти. Может, кто удачные статьи на эту тему видел?

так ты целиком вывод оом-киллера покажи

Java приложения?

если джава приложения то это вполне нормальное поведение

нет, оом киллер не убивает приложения если есть свободная память, независимо от их языка:)

он убивает когда контейнеры за лимиты просятся; поэтому чтоб точно не убивал джаву 25 ну или 50 проц от лимитов контейнера надо выставлять в xmx или использовать спец флаги; джава8 не уважает сигруппы

Java признает только java_opts. Если явно не указать, то она видит всю память ноды

И жрёт соответсвенно

Сам с этим месяц назад воевал

он убивает когда контейнеры за лимиты просятся; поэтому чтоб точно не убивал джаву 25 ну или 50 проц от лимитов контейнера надо выставлять в xmx или использовать спец флаги; джава8 не уважает сигруппы

-XX:+UseCGroupMemoryLimitForHeap

-XX:+UseCGroupMemoryLimitForHeap

-XX:+UnlockExperimentalVMOptions \ -XX:+UseCGroupMemoryLimitForHeap и только с джавы 8.131+

НО по дефолту фракшн для памяти будет 25% (MaxRAMFraction=4)

т.е. 25% лимитов контейнера под xmx пойдет

Xmx наше всё :)

@nikoinlove Полный текст ООМ - https://dpaste.de/2bUd

как поставить easy_install-3.4 pip за проксей?

yum работает

Посмотри найстройки прокси для юма

(http_proxy) https_proxy=http://my.proxy:1234/ pip install ... и если очень повезет, то сработает. Или с опцией --proxy. А может у вас свой кэш пипа есть.

Посмотри найстройки прокси для юма

Ям он. Вкусный.

Не "вкусный", а yellowdog updater modified.

lts выходит раз в два года. саппорт у него сильно длиннее. но вот свежие ядра бекпортить они берутся только два года, насколько я помню. секурити фиксы бекпортят на всем протяжении саппорта

лтс - 3 года основной саппорт, еще 2 секурити, потом идти курить. Всего 5 лет, ни о чём.