Всем, привет! коллеги, подскажите пожалуйста, хотя бы в какую сторону копать. есть задача. заббиксом мониторить лог на наличие FATAL и когда нашел он эту строчку то необходимо присылать на почту не только саму строчку а еще стэк трейс самого фатала. это порядка еще 15 строк. триггер стоит на поиск строки FATAL в логе. каким образом это реализовать?

Экшен c грепом.

а поподробнее? ?

grep -B 15 "ALARM" /var/log/messages | telegram-tra-ta-ta

Вместо ALARM использовать переменную, которую выдавать из заббикса. Лучше, если в переменной будет время или что-то подобное, к чему можно просто зацепиться.

grep -B 15 "ALARM" /var/log/messages | telegram-tra-ta-ta

не совсем понял. это будет скрипт линуксовый который будет вызываться заббикс-агентом? и что такое | telegram-tra-ta-ta

про grep -B я думал, но там нюанс что есть два типа фаталов и в одном 15 строк стектрейса а во втором 9 строк стектрейса и нужно как то определять (хотя бы по пустой строке) сколько брать строк после фатала. можно ли такое вобще сделать?

Да, это не совсем, конечно, удобненько. А не вариант писать какой-нибудь жсон в лог?

я далек от жсон логов. только примерно знаю что это

надо написать парсер лога, который бы вычленял нужные строки. Думаю, что всё уже придумано до нас, и надо просто погуглить.

Реализовать – не используя заббикс как систему парсинга логов

Потому что заббикс – это система мониторинга

вторая, более интересная задача - это сделать так, чтобы в работу брались только новые строки, а старые игнорировались. Но и тут думаю, что всё уже придумано до нас.

А для фаталов с трейсами – лог алертинг нормальный

вот да. Навесить на заббикс алерт типа "атата, новая ошибка" - это норм. Но полный текст ошибок писать... это задача для другой системы

Народ. Через 10 минут после срабатывания триггира приходит ОК Событие .. что не так? хотя интерфейс упал в даун и так в нем и лежит. А после того как интерфейс поднимается срабатывает триггер и снова ОК событие

{Kerio SNMP:ifOperStatus[{#SNMPVALUE}].diff(0)}=1

потому что diff

ага последнее с предыдущим сравнивается .. на что можно поменять ?

last

ок попробую сейчас

по latest data лучше свериться, чтобы узнать, какие цифры каким статусам соответствуют

вот да. Навесить на заббикс алерт типа "атата, новая ошибка" - это норм. Но полный текст ошибок писать... это задача для другой системы

подскажиет тогда в сторону какой системы посмотреть? потому что найти в логе строчку фатал прислать ее в телеграмм канал просто известив о том что тсрока найдена мне маловажно. мне нужно присылать именно стектрейс после этой строчки. я так понимаю что с помощью заббикса ее решить не получится т.к. он не парсер логов ниразу

Потому что заббикс – это система мониторинга

согласен полностью. но мониторинг должен быть информативным, а не типа "там что-то случилось иди посмотри что" ?

подскажиет тогда в сторону какой системы посмотреть? потому что найти в логе строчку фатал прислать ее в телеграмм канал просто известив о том что тсрока найдена мне маловажно. мне нужно присылать именно стектрейс после этой строчки. я так понимаю что с помощью заббикса ее решить не получится т.к. он не парсер логов ниразу

тут я не подскажу, таких задач у меня пока не возникало. Если задача решаема простым баш скриптом, я бы решил её именно так, без каких-то навороченных систем

сложно становится когда скриптов переваливает за N а их никто не держит в гите

а вообще чисто технически можно и через заббикс весь стектрейс прогонять, чтобы он весь в алерты попадал, если сильно хочется. Может это даже было бы правильнее, чем ставить что-то дополнительно. Главное хранение настроить, чтобы не было оверхедов.

подскажиет тогда в сторону какой системы посмотреть? потому что найти в логе строчку фатал прислать ее в телеграмм канал просто известив о том что тсрока найдена мне маловажно. мне нужно присылать именно стектрейс после этой строчки. я так понимаю что с помощью заббикса ее решить не получится т.к. он не парсер логов ниразу

У нас самописная. Мне рекомендовали как-то это https://sentry.io/welcome/

но парсинг должен быть на агенте, это 100%

сентри тема, да. Но это как базука по воробьям в некоторых случаях.

спасибо! про сентри надо почитать сейчас будет.

согласен полностью. но мониторинг должен быть информативным, а не типа "там что-то случилось иди посмотри что" ?

Ни одна система не может быть построена для решения абстрактных задач любой сложности. Заббикс не имеет той специализации, что вам нужна. Можно допиливать его или искать иную систему мониторинга.

а вообще чисто технически можно и через заббикс весь стектрейс прогонять, чтобы он весь в алерты попадал, если сильно хочется. Может это даже было бы правильнее, чем ставить что-то дополнительно. Главное хранение настроить, чтобы не было оверхедов.

я и хочу через заббикс делать т.к. если писать скрипт то нужна привязко ко времени проверки, т.е. чтобы он понимал в какое время он уже проверля лог и после него смотреть фаталы а не каждый раз грепать весь лог и вываливать мне все фаталы. а у заббикса это уже реализовано. про хранение логов, да, знаю.

сентри это целая система, состоящая из постгреса, редиса и нескольких демонов. Если всё что надо - это слать в алерты стектрейсы, то сентри это люто избыточно

Короче, чтобы реализовать задачу – надо уметь руками что-то делать, а не кнопочки нажимать

сентри это целая система, состоящая из постгреса, редиса и нескольких демонов. Если всё что надо - это слать в алерты стектрейсы, то сентри это люто избыточно

ну да, согласен. это не мой случай

Короче, чтобы реализовать задачу – надо уметь руками что-то делать, а не кнопочки нажимать

?

я и хочу через заббикс делать т.к. если писать скрипт то нужна привязко ко времени проверки, т.е. чтобы он понимал в какое время он уже проверля лог и после него смотреть фаталы а не каждый раз грепать весь лог и вываливать мне все фаталы. а у заббикса это уже реализовано. про хранение логов, да, знаю.

скрипты наше все

если всё что надо - это стектрейс в алерты слать, то можно локальными скриптами по тем же каналам связи их слать параллельно с заббиксом, разница будет небольшая

так что надо решить, сильно ли надо иметь их именно в заббиксе. В целях хранения истории инцидентов, к примеру

я и хочу через заббикс делать т.к. если писать скрипт то нужна привязко ко времени проверки, т.е. чтобы он понимал в какое время он уже проверля лог и после него смотреть фаталы а не каждый раз грепать весь лог и вываливать мне все фаталы. а у заббикса это уже реализовано. про хранение логов, да, знаю.

а вот задача вычленения именно новых записей будет возникать в любом случае

можно написать демон, который будет делать "tail -F". Можно вызывать периодически, запоминая позицию в логе. Вариантов много

нет, мне не обязательно хранить историю, история хранится в том же самом телеграмме к примеру если туда их слать. задача просто найти фатал взять его стектрейс и отправить. судя по всем заббиксмо не получится. в самом деле проще будет сделать локальными скриптами

можно написать демон, который будет делать "tail -F". Можно вызывать периодически, запоминая позицию в логе. Вариантов много

вот за это спасибо! сейчас наверное в эту сторону и посмотрю

стоит сперва погуглить, 99% что готовый вариант найдётся легко)

Если записей не так чтоб много и используется rsyslog, то он много чего умеет сам.

Если записей не так чтоб много и используется rsyslog, то он много чего умеет сам.

rsyslog используется, но записей довольно таки много

Не прототипе, а именно сам дискавери основывать на траппере?

Привет. Получилось?

Привет. Получилось?

Да получилось Вроде все ок Проблема только в том, чтобы передавать параметр PS скрипту в юзерпараметр прототипа айтема в ковычках (‘$1’)

Но думаю нагуглю решение

Ok, спасибо, буду иметь в виду ?

Вот так прокатило {\"data\":[{\"{#TITLE}\":\"test7\"},{\"{#TITLE}\":\"test8\"}]}

This

@ableev

@ableev

Понял

Спасибо

У меня не ругается ни на что – молча жрёт данные

Прототип создал?

И ещё есть проблема, что любой может, зная ключ, снести дискавери ?

Прототип создал?

Конеш. Я просто решил переделать запуск с агента на крон.

И ещё есть проблема, что любой может, зная ключ, снести дискавери ?

То есть, Вася Пупкин запустит zabbix_sender с того же хоста, сделав echo host key {"data": []} | zabbix_sender и всему конец

То есть, Вася Пупкин запустит zabbix_sender с того же хоста, сделав echo host key {"data": []} | zabbix_sender и всему конец

Нужно каждые 5 минут по крону через API менять ключ, являющийся хэшем от времени + секретная соль ? ?

Про троллейбус из хлеба уже шутили?

Про троллейбус из хлеба уже шутили?

иногда троллейбус из хлеба - самое невинное, что может соорудить человек, волею судьбы занесённый в данный чат. это из наблюдений. серьёзно.

Нужно каждые 5 минут по крону через API менять ключ, являющийся хэшем от времени + секретная соль ? ?

Нормальная тема, только заббиксу нужно время на синк данных

ERROR: S client not available

Это даунтайм

Так в пределах keep lost items, они должны опрашиваться невзирая на то, что в lld прилетело, разве нет?

Так в пределах keep lost items, они должны опрашиваться невзирая на то, что в lld прилетело, разве нет?

он не об этом. но я сейчас проверю, чтоб убедиться. как раз вопрос нерешённый, который возникал давным давно, но был забыт.

Нормальная тема, только заббиксу нужно время на синк данных

это да. была у меня откуда-то инфа, что фронт научился обновлять конфигурацию сервера в рилтайме. при беглом просмотре не нашёл такого в коде. видать приснилось. в любом случае минута в дефолтной конфигурации не столь большой крюк ) для бешеной-то собаки

есть заббикс на работе. хочу туда добавить проверку на доступность(пинг) парочки камер в домашней сетке. и там, и там свои наты. кроме впн и тоннеля, и кроме заббикс-прокси есть еще варианты решения задачи?

есть заббикс на работе. хочу туда добавить проверку на доступность(пинг) парочки камер в домашней сетке. и там, и там свои наты. кроме впн и тоннеля, и кроме заббикс-прокси есть еще варианты решения задачи?

Давайте отвлечемся от заббикса. Есть возможность откуда то их пинговать?

есть заббикс на работе. хочу туда добавить проверку на доступность(пинг) парочки камер в домашней сетке. и там, и там свои наты. кроме впн и тоннеля, и кроме заббикс-прокси есть еще варианты решения задачи?

Пробрось порты этих камер и проверяй доступность портов за натом

для протокола icmp указание порта в микроте недоступно. делать проброс как tcp?

Ну у камер ведь очевидно есть какой-то tcp порт

А на сколько умные камеры? Может они по снмп общаться умеют?

Вообще если инет упадёт это не будет значить, что камеры не работают. Так что вопрос интересный

Ну так можно отдельно мониторить доступность инета как такового, и слделать зависимости триггеров

Не пробрасывай порты камер в интернет пожалуйста) Уязвимости в ПО находят каждый день, а на камерах по почти не обновляется. Если пробросишь, зафайрволь хотя бы.

для протокола icmp указание порта в микроте недоступно. делать проброс как tcp?

Потому что ICMP не знает про порты - это сетевой уровень.

Если есть какая-нибудь железка, на которую заббикс агент поставится, можно ее наружу портом заббикса выставить и с нее уже любой скрипт для мониторинга чего угодно запускать. И даже чайник включать через 10 минут после того как ты с работы вышел и ноут закрыл. Если чайник с вайфаем, конечно.

Если есть какая-нибудь железка, на которую заббикс агент поставится, можно ее наружу портом заббикса выставить и с нее уже любой скрипт для мониторинга чего угодно запускать. И даже чайник включать через 10 минут после того как ты с работы вышел и ноут закрыл. Если чайник с вайфаем, конечно.

Или розетка

Потому что ICMP не знает про порты - это сетевой уровень.

Офтоп не большой, dhcp на каком уровне работает, как думаете?

Офтоп не большой, dhcp на каком уровне работает, как думаете?

на том который еще ниже

Читал такое мнение, что OSI сама по себе - сферический конь в вакууме. Мне эта мысль нравится

То есть на втором?

То есть не на первом и третьем

Но мой ответ неверный :)

Я вообще не отвечал!

Да, но в процессе работы оно обменивается udp пакетами со вполне конкретным портом.

Да, тупанул из-за широковещательных сообщений, клиент просто адрес 0.0.0.0 и 255.255.255.255 ставит.

В wireshark'е это очень похоже на ARP выглядит.

Читал такое мнение, что OSI сама по себе - сферический конь в вакууме. Мне эта мысль нравится

Ну она и есть, по сути, теоретическая модель

Ну да, похоже на то, что протокол сочетает в себе подходы из разных уровней.

А на сколько умные камеры? Может они по снмп общаться умеют?

не, у хиквижена толком ничего нету. а вторая камера облачная бюджетная Ezviz C2mini.

Если есть какая-нибудь железка, на которую заббикс агент поставится, можно ее наружу портом заббикса выставить и с нее уже любой скрипт для мониторинга чего угодно запускать. И даже чайник включать через 10 минут после того как ты с работы вышел и ноут закрыл. Если чайник с вайфаем, конечно.

у меня наска хренолоджи есть, можно конечно в ней самой поставить или в докере к примеру. на наске заббикс агент уже стоит.

Доброй ночки. Парни подскажите кто в теме. Сервак с виртуалками, на нём стоит прокси. После перезагрузки сервака прокси перестал отдавать данные на две виртуалки, на остальные нормал. Убрал прокси у хостов - напрямую всё ок. Включил дебаг на прокси, ничего особо не нашёл. Залез в базу на прокси, а там в табличке hosts напротив этих двух поле disable_until не 0 как у всех, а какое-то безумное. База sqlite. Базу стёр, ребутнул сервис, создалась новая, данные от сервера подтянулись и всё ок стало. Сейчас всё норм, но осадочек остался. Ну теперь вечный вопрос, WTF???