вы можете убрать любой фрагмент лога из шаблона message с помощью grok

на каком этапе это удобнее сделать и с помощью чего?

вы когда регулярки будете в грок писать, пишете нужные слова ЗА регулярку, и оно исключается вообще из вывода допустим у вас есть строк Error superquery 10 вы выносите слово superquery за регулярку, а для поля 10 присваиваете регулярку к "имени поля в кибане" - superquery

вот я чет не вижу грока в описании файлбита а логстеш сразу выдает в моем случае происходит именно так как оказано выше, поскольку логи своих приложений разные, под каждый писал грок, каждый лог затегирован

вот я чет не вижу грока в описании файлбита а логстеш сразу выдает в моем случае происходит именно так как оказано выше, поскольку логи своих приложений разные, под каждый писал грок, каждый лог затегирован

грок есть в модулях,

https://www.elastic.co/guide/en/beats/filebeat/6.2/filebeat-modules.html#filebeat-modules

где?

я не возражаю мне просто интересно

где?

Думаю его там и нет. Похоже, что по логике все ресурсоемкое должно выполняться на сервере. Это и логично, ибо мониторинг не должен есть ресурсы

Думаю его там и нет. Похоже, что по логике все ресурсоемкое должно выполняться на сервере. Это и логично, ибо мониторинг не должен есть ресурсы

ну ну

скажи это фанатам заббикса

то что вы его в файле нашли не значит что он его использует это может быть файл для того чтобы файлбита в грок логстеша попадали

если этого нет в офф доке значит вы не туда смотрите

эж надо до такого дойти) искать свою теорию в файлах самого файлбита, за неимением такого в доках

скажи это фанатам заббикса

Агент разве много кушает?

Агент разве много кушает?

до 5 гб если захочет

А почему логстеш долго запускается?

если этого нет в офф доке значит вы не туда смотрите

А ты не хочешь логи в другой формат перевести?

потому что заббикс не должен жрать логи

до 5 гб если захочет

Это что с ним делать надо?

задача заббикса агрегация хостов

потому что заббикс не должен жрать логи

а кто сказал что он логи жрёт

Это что с ним делать надо?

oracledb им мониторить

а что он будет на 5гб такого делать)

А почему логстеш долго запускается?

Потому что Ява)

а зачем логстеш если есть fluentd?

5 сек долго?

5 сек долго?

Это от плагинов зависит

а зачем логстеш если есть fluentd?

потому что это эластик стек и он 100% не будет вас чем то удивлять

oracledb им мониторить

Ну то есть он скрипты выполняет постоянно?

если этого нет в офф доке значит вы не туда смотрите

Вполне может так и случиться. передо мной стоит задача - мониторить лог ядра сервера, который выступает в роли фаервола, прокси сервера и т.д. - и надстройка над iptables в виде Ferm - логирует новые подключения в лог ... вот их мне и надо собрать. Попробую написать свой модель и проверю как при парсинге логов (без логстейшн) будет работать Грок Спасибо вам за помошь и направление для мысли

вообще под оракл прометей лучше, там аналитика самое то а че заббиксом то его мониторить, не понятно, у прометея агенты легкие

потому что это эластик стек и он 100% не будет вас чем то удивлять

сейчас модно elastic+fluentd+kibana

elk это устарело

теперь efk

Вполне может так и случиться. передо мной стоит задача - мониторить лог ядра сервера, который выступает в роли фаервола, прокси сервера и т.д. - и надстройка над iptables в виде Ferm - логирует новые подключения в лог ... вот их мне и надо собрать. Попробую написать свой модель и проверю как при парсинге логов (без логстейшн) будет работать Грок Спасибо вам за помошь и направление для мысли

логстеш сразу умеет файл слушать:)

вообще под оракл прометей лучше, там аналитика самое то а че заббиксом то его мониторить, не понятно, у прометея агенты легкие

ну типа чтобы зопарк не плодить, ты попробуй если сто или руководитель 40+ объяснить что заббикс ненужен

это зачастую проще работу новую искать

заббикс вообще не для мониторинга сложных приложений, камон

а для чего он вообще

вот допустим есть оракл база что он будет с нее собирать и что будет прометей собирать сколько будут жрать оба агента и какой профит лучше

вот допустим есть оракл база что он будет с нее собирать и что будет прометей собирать сколько будут жрать оба агента и какой профит лучше

не поможет

а прометей аналитика

задача заббикса агрегация хостов

заббикс вообще не для мониторинга сложных приложений, камон

Мы вот хотим все что надо грузить в ёлку и уже запросы мониторить

задача заббикса агрегация хостов

icinga под это лучше

Мы вот хотим все что надо грузить в ёлку и уже запросы мониторить

логи и метрики разное дело

Мы вот хотим все что надо грузить в ёлку и уже запросы мониторить

все пральна, ELK - логи, заббикс хосты и системные метрики(ну или сколько приложения жрут в памяти), а глубокие штуки вообще другая история, ораклы+заббикс я думаю глупо

все пральна, ELK - логи, заббикс хосты и системные метрики(ну или сколько приложения жрут в памяти), а глубокие штуки вообще другая история, ораклы+заббикс я думаю глупо

много чего глупо

но смотря вот на такое

- Участие в организации непрерывного и безопасного процесса деятельности компании (разработка, выполнение проектов и сопровождение клиентов); - Взаимодействие и консультация разработчиков ПО и системных администраторов по обеспечению ИБ; - Администрирование Windows и Linux серверов; - Администрирование коммерческой среды (обеспечение ИБ, мониторинга, целостности и т.д.); - Организация и обеспечение непрерывности и автоматизации разработки; - Сопровождение программных продуктов компании, решение инцидентов, обращений пользователей; - Участие в организации и оптимизации ИТ-инфраструктуры компании. Требования: ∙ Опыт работы по направлению от 6 лет ∙ Знание операционных систем Windows Server RHEL\Debian Linux ∙ Опыт написания скриптов на go\python\powershell\tsql\psql ∙ Опыт работы с системами виртуализации на основе HyperV\KVM ∙ Опыт управления и настройки сервисов IIS,nginx,PostgreSQL,MSSQL под высокие нагрузки, репликация,кластеризация ∙ Знание модели OSI ∙ Понимание принципов туннелирования и маршрутизации ∙ Знание процесса разработки ПО, и понимание принципов CI\CD ∙ Знание CI инструментов и платформ: GitLab, Jenkins, Jira - Опыт оркестрации и развёртывания контейнеризации на основе docker - Знания ELK, ProGet, RabbitMQ, Azure Stack и когда это в 2 рожи на 50 кодеров

там уже не до размышлений про эффективность

и правильность

сколько за этот список они хотят?

80-120

да лол сиёзна

если еще и жиру админить

сколько за этот список они хотят?

Сколько бы не хотели в каску это неприятно

то это список для психопата

так ты скажи это в соседенм чатике

там скажут это ахуенно, это рынок и вообще круто

развитие ведь

Хрыч, ты реально достаешь нытьем. Погугли и расшифруй девопс. Да, это 10 позиций в одной. Я для себя лично исключаю qa, ты тож можешь. Смерись или уйди в небытие, тк тьма людей готова исполнять эту роль. Я прям читаю и вижу переписку в газете вчерашних подмастерьев что чудак форд запилил конвейер и теперь им надо исполнять другие роли.. блин, эхо истории, нытье людей не вписавшихся в новый тех уклад.

получаем результаты

вот ровно то, о чём я ещё подольскому и чистякову с дженни и ещё толпе говорил в 2016

2015

что скоро devops превратиться в новый тип эникеев только с x10 обязанностей

и люди ещё будут это защищать

так и вышло

был у нас в одной корторе учень умный чувак, который решил ч то он Шива и нагрузил себя похожим списком. Все это он умел збс, но вот одновременно. короче 24 часа это мало)

вот ровно то, о чём я ещё подольскому и чистякову с дженни и ещё толпе говорил в 2016

Не улавливаю посыл, если честно. Реально только "всё плохо"? А как же конструктив?

Не улавливаю посыл, если честно. Реально только "всё плохо"? А как же конструктив?

раньше был сетевик, инфраструктурщик, билд инженер, релиз инженер

первый занимался сетями и мониторингом сетей

раньше был сетевик, инфраструктурщик, билд инженер, релиз инженер

у нас щас так. и это норма

второй занимался железом, гипервизорами, стораджами, бэкапами и мониторингом этого

был у нас в одной корторе учень умный чувак, который решил ч то он Шива и нагрузил себя похожим списком. Все это он умел збс, но вот одновременно. короче 24 часа это мало)

devops, вообще-то, предполагает команду и взаимозаменяемость, а не полное исполнение всех обязанностей в одно рыло

devops, вообще-то, предполагает команду и взаимозаменяемость, а не полное исполнение всех обязанностей в одно рыло

я на 20 собесов уже сходил за 3 месяца, везде хотят в 1 рыло

devops, вообще-то, предполагает команду и взаимозаменяемость, а не полное исполнение всех обязанностей в одно рыло

ну вот это он потом понял) умолял донабрать народу)

сейчас у еламы висит вакансия

значит не в те компании на собесы ходишь хД )

канбан доску видели? девопс вырос из того, что стопка задач в колонке "деплой" при пустых остальных колонках - бесит

https://spb.hh.ru/vacancy/26347860

туда с девопс чатика сходило 3 тела

вместо того чтобы сделать сетевика, инфраструктурщика, и девопа на билды и кубер, они ищут ещё 1 сеньор девопа, который тупо будет работать как нынешние 3 ток в 1 рожу

Ну вот Хрыч говорит, что теперь дивапсы заняты всем подряд и это плохо. Пусть так. Я просто хочу понять, что предлагается сделать, чтобы стало хорошо.

Ну вот Хрыч говорит, что теперь дивапсы заняты всем подряд и это плохо. Пусть так. Я просто хочу понять, что предлагается сделать, чтобы стало хорошо.

нужновбивать в головы людей, что делать всё подряд это не опыт и не развитие, это деградация и помощь уродам

вместо того чтобы сделать сетевика, инфраструктурщика, и девопа на билды и кубер, они ищут ещё 1 сеньор девопа, который тупо будет работать как нынешние 3 ток в 1 рожу

вот нахрен им сетевик если у них сетевого оборудования даже нет толком ? ...

нужновбивать в головы людей, что делать всё подряд это не опыт и не развитие, это деградация и помощь уродам

Тебе же не пологло

вот нахрен им сетевик если у них сетевого оборудования даже нет толком ? ...

зато есть сети через жопу и 10001 маршрут, в результате чего человек должен любить ебанутый роутинг

сетевик это не только когда у тебя 200 сотни цисок

Чат погряз в пучину

Хрыч ты честна уже оба чата засрал(да простят меня админы)

зато есть сети через жопу и 10001 маршрут, в результате чего человек должен любить ебанутый роутинг

Пиздец ты нытик , ... если у них десяток хромых серверов ни сетевик, ни инфраструктурщик им нахрен не нужны , ... настраивается это все 1 раз , и работает потом сто лет , нафиг тогда нанимать девопса, если можно нанять обезьянку которая будет в кнопочку на дженкинсе тыкать ? ... По хорошему для сети и инфраструктуры им конечно нужен не девопс а системный администратор. А девопс уже на поддержку команды разработчиков выделяться.

Пиздец ты нытик , ... если у них десяток хромых серверов ни сетевик, ни инфраструктурщик им нахрен не нужны , ... настраивается это все 1 раз , и работает потом сто лет , нафиг тогда нанимать девопса, если можно нанять обезьянку которая будет в кнопочку на дженкинсе тыкать ? ... По хорошему для сети и инфраструктуры им конечно нужен не девопс а системный администратор. А девопс уже на поддержку команды разработчиков выделяться.

да хоть 1000 раз нытик, но факт в том, что разница между обьяной с ансибл и кнопочкой не сильно велика, при таком кол-ве обязанностей на рыло в любом случае будет обезьяна