Все должно быть по обоюдному согласию!!!

Все должно быть по обоюдному согласию!!!

не успел сказать "нет" до деплоя - согласен

будь как военкомат

Привычка сильна у людей, хоть и jq есть

составить список удобных снипетов

для поиска полезных вещей

можно даже скриптами сразу

ну и вообще надо рассказать что если есть центральные логи, то не надо ходить по ссш

вот ваще

я вот недавно услышал гениальный ответ на технический вопрос - "это не нужно бизнесу" :)

я к тому что на любую техническую аргументацию можно услышать нетривиальный отскок в сторону

я вот недавно услышал гениальный ответ на технический вопрос - "это не нужно бизнесу" :)

для бизнеса идею можно переформулировать )

так чтобы выпятить пользу бизнеса

зависит от того, как её преподносить

а вот на фразу "я так привык" нужно включать фашиста

Кстати про метрики и логи. В одном заведении извлекают метрики парся логи (!) тащат их в заббикс (!!) при том что у них их собственные приложения (!!!) которые они могут модифицировать как угодно (!!!!)

вопрос был вроде про агрегацию какой то системной метрики... на фразе выше я встал в ступор

Кстати про метрики и логи. В одном заведении извлекают метрики парся логи (!) тащат их в заббикс (!!) при том что у них их собственные приложения (!!!) которые они могут модифицировать как угодно (!!!!)

я такое тоже видел

не с заббиксом тока

а с rrd :)

Кстати про метрики и логи. В одном заведении извлекают метрики парся логи (!) тащат их в заббикс (!!) при том что у них их собственные приложения (!!!) которые они могут модифицировать как угодно (!!!!)

"исторически сложилось"

в логах строчки вида name=value, name2=value, name3=value

это авком парсится

кормится в collectd

Кстати про метрики и логи. В одном заведении извлекают метрики парся логи (!) тащат их в заббикс (!!) при том что у них их собственные приложения (!!!) которые они могут модифицировать как угодно (!!!!)

надеюсь ты не про нас :)

а тот пишет rrd'хи

на робкое замечание "а можно же самим писать" был ответ что так это типа асинхронно

и если collectd умрет это не повлияет на приложение

надеюсь ты не про нас :)

Смотря кто вы!!

а по udp не гарантирует доставку!

Может и про вас

и так низя

ну учитывая что такой костыль у нас запилен был буквально тока что и временно...

ну учитывая что такой костыль у нас запилен был буквально тока что и временно...

такое ваще популярно делать (

а с rrd :)

ну с заббиксом, согласись, каноничнее учитывая где мы это обсуждаем )

ну с заббиксом, согласись, каноничнее учитывая где мы это обсуждаем )

да знаешь, одинаково

я б не сказал что rrd прям лучше )

он предсказуемей (ррд)

вчера вот я вычеркнул из жизни 6 часов благодаря этому всеми любимому заббиксу

завернул статсайт в контейнер, прислал метрики из прошлого. минут 10 втыкал в графану не понимая что происходит

с 0 результатом (низя в него больше пихать)

https://github.com/prometheus/prometheus/releases/1.7.2 / 2017-09-26 was tagged

а чё там, вроде ж его же 2-й обещали?

ну так багфиксы для первого никто не отменял )

Только ссылка чего-то сломана

да, бага (

забываю поправить

на следующий раз должно исправится

https://github.com/influxdata/telegraf/releases/1.4.1 was tagged

https://github.com/influxdata/telegraf/releases/1.4.1 was tagged

ну и вообще надо рассказать что если есть центральные логи, то не надо ходить по ссш

ортогонально

ортогонально

а в чем смысл имея централизованные логи, идти по ссш и делать греп по логам?

Православненько. Наши деды так делали ))

я про то, что централизованные логи - не обязательно эластик

и это вполне может быть сервак с большим диском и файлами на нём

кто как делает snmp в проме?

snmp_exporter?

А есть варианты? )

у меня с ним проблема , на 48 портовой циске , слишком много интерфейсов snmpwalk выполняет 50 сек , ну и конечно нагружает свитч

теоретически можно телеграфом собирать

но я не пробовал

есть ли другие варианты типа вместо snmpwalk использовать snmpget ?

у меня с ним проблема , на 48 портовой циске , слишком много интерфейсов snmpwalk выполняет 50 сек , ну и конечно нагружает свитч

а snmpbulkwalk?

а в экспортере есть snmpbulkwalk ?

брать инфлюкс?

в экспортере точно есть

50 раз в секунду?

и это вполне может быть сервак с большим диском и файлами на нём

Ну и это будет тот же "интеллектуальный" греп, только на одном серваке, какая разница?

http отдает инфу только спустя 50 сек , долго проходит walk

потом на cpu поднимается до 60% на sg500х

поищу тогда snmpbulkwalk и попробую

Ну и это будет тот же "интеллектуальный" греп, только на одном серваке, какая разница?

обычный греп, по обычным файлам, но централизованный :)

то есть тот же grep/awk/sed

@mr_tron можно вместо времени взять Int64 поле и хранить unixts с наносекундами

то есть тот же grep/awk/sed

я б за такое расстрелял

https://github.com/yandex/ClickHouse/releases/v1.1.54292-stable was tagged

я б за такое расстрелял

почему?

почему?

а зачем так делать?

не хочешь эластик - ну поставь oklog

а куда ты будешь складывать 5 терабайт логов в день?

в какой эластик?

@Civiloid Привет, а в обычном карбоне постоянно есть сообщения аля 27/09/2017 11:11:05 :: [console] Tagging host.z18-m9.disk-pass10.disk_octets.read 27/09/2017 11:11:05 :: [console] Tagging host.z36-sd.disk-da0.disk_octets.write 27/09/2017 11:11:07 :: [console] Tagging host.z6-dl.df-mnt-yaj13shx.df_inodes-free 27/09/2017 11:11:07 :: [console] Tagging host.stor3-hz.memory.memory.cached 27/09/2017 11:11:08 :: [console] Tagging host.z11-dl.memory.memory-active Что за теггинг ?

@mr_tron можно вместо времени взять Int64 поле и хранить unixts с наносекундами

но не потеряю ли я на этом плюсы timeseries базы?

а куда ты будешь складывать 5 терабайт логов в день?

хм, я к сожалению не знаю сколько у нас логов в день, но я думаю порядок может оказаться сопоставимым

но не потеряю ли я на этом плюсы timeseries базы?

КХ - не time series

хм, я к сожалению не знаю сколько у нас логов в день, но я думаю порядок может оказаться сопоставимым

и каких размеров инфраструктура для такого количества логов в день?

и сколько времени храните?

и каких размеров инфраструктура для такого количества логов в день?

жирная, не я менеджу

так что на твои вопросы я тебе не отвечу

про ее размеры

ну вощем эластики для много в день не ок, либо их надо сильно много

нету серебряной пули

нету серебряной пули

конечно нет, но хранить логи не в структурированном виде тоже не шибко стоит

и смысл хранить их очень долго?

ну они в структурированном, но в файлах

щас к этому делу пытаются обратно прикрутить грейлог