Файлики?

в смысле файлики? поток по сети в формате syslog. Или я не поняла, что ты спрашиваешь

Народ, а объясните, почему greylog что-то хорошее, или, наоборот, полное говно, и нужно использовать ELK, Кибану или Logstash - я немного поработала только с последней.

Можно без logstash, filebeat может слать напрямую в ES

Можно без logstash, filebeat может слать напрямую в ES

мне всё равно по большей части как это сделать. Мне нужен инструмент с API, что бы интегрировать с Zabbix и может ещё с чем-то, и какой-то удобный способ поиска момента события в разных логах, что бы понять, почему всё упало.

Splunk на таком миллионы делает, а ваш работодатель хочет дешево отделаться:))

т.е. упор на автоматизацию, а не на HighLoad. Что лучше выбрать?

в смысле файлики? поток по сети в формате syslog. Или я не поняла, что ты спрашиваешь

Если логов немного, в файлики складывай и мозг себе не имей

Если логов немного, в файлики складывай и мозг себе не имей

сейчас так и сделано, прилетает на центральный syslog. Позавчера стало понятно, что набор костылей вокруг этого инстанса с миллионом разных питон-скриптов это что-то неправильное :)

Это нужно разломать, выкинуть, и сделать по-другому

Это нужно разломать, выкинуть, и сделать по-другому

И сделать поставить три стройных помойки на жабе и просто монгу?

Круто

И сделать поставить три стройных помойки на жабе и просто монгу?

ну да, что бы красиво было

ну да, что бы красиво было

и все подпорки тоже останутся, потому что чем-то надо будет дату-то анализировать

ну да, что бы красиво было

А что такое "красиво"?

А что такое "красиво"?

Это сложно формализовать :) Но обычно понятно, что что-то сделано красиво, а что-то ужасно. Наш сервер логов как раз и оставляет такое очевидное(ужасное) впечатление. Его ещё сопровождать сложно, разные разработчики пишут разные скрипты, потом уходят, и никто не знает как и что для чего это было сделано

@polnoch проблема в том что разные скрипты останутся

просто логи пойдут в базу, а не в файлики

просто логи пойдут в базу, а не в файлики

а там нет разве каких-то инструментов по их анализу?

как мне кажется чтобы все эти поиски начали себя оправдывать, нужно предпринять волевое решение и писать исключительно структурированные логи

а там нет разве каких-то инструментов по их анализу?

ну ты будешь писать в каком-нибудь rsyslog'е или logstash'е наборы правил на каждый долбанный формат логов

чтобы по этому было можно искать как-то лучше чем с помощью grep *

ну ты будешь писать в каком-нибудь rsyslog'е или logstash'е наборы правил на каждый долбанный формат логов

ну это можно формализовать. Сказать на ближайшем спринте, что из приложений логи теперь только вот так, а не иначе отправляем

притом это еще будет вызывать боль когда разработчику стукнет в голову поменять все )

ну это можно формализовать. Сказать на ближайшем спринте, что из приложений логи теперь только вот так, а не иначе отправляем

ну попробуй зафорсить их слать логи в json'е для начала

разбитыми по полям

даже одно это тебе позволит делать более адекватные выборки с помощью jq

даже в файликах

правильно ли я понимаю, что все эти штуки (ELK, greylog, etc) нужны, только если поток в гигабайты-терабайты, а в автоматизации они не особенно помогают?

правильно ли я понимаю, что все эти штуки (ELK, greylog, etc) нужны, только если поток в гигабайты-терабайты, а в автоматизации они не особенно помогают?

Они дают красивый интерфейс для поиска и построения графиков по логам

автоматизации как-то конечно помогут

угу, а где интерфейс поиска лучше?

ну точнее как помогут

оно везде транслироваться будет в Lucene query

тебе все равно ставить ES

а морды можешь крутить какие нравятся

У них вроде есть какие-то инструменты даже по алертингу и прочему, но все будет зависить от того что в ES

Тебе нужно чем-то (rsyslog/logstash/fluentd) парсить эти логи и делать из них структурированные логи )

тогда это имеет какой-то смысл

а парсеры надо настраивать под каждый формат логов

плюс ты получишь operational overhead на работу с ES

он не беспроблемный, его надо будет поддерживать, чинить, обновлять, тюнить

Да, я знаю, уже сталкивалась, но не как с хранилкой логов

короче идеальный случай когда тебе логи уже будут идти структурированные

но тогда тебе даже руками из консоли станет проще делать выборки

Мне скорее нужно написать утилиты, которые будут делать эти выборки сами, и повесить логику на результаты этих выборок

Ага. Я программеров заставил в джсоне логи писать. Но ес с кабаной нужен саппорту

Ес просто удобно централизирует хранение

а морды можешь крутить какие нравятся

спасибо в общем :)

@polnoch я 5-ую кибану еще не видел, но 4-ая очень инопланетная, грейлог был понятнее

Но у чата нет какого-то общего мнения, что лучше, greylog, или ELK, или что ещё?

но если с нуля ставить то это уже ес5, и либо кибана5, либо грейлог

вот что лучше - смотри ты, потому что тебе этим пользоваться

у них разные подходы к организации интерфейса

грейлог создает впечатление более админско-ориентированного, а кибана как некий интерфейс где ты хочешь найти не знаешь что и узнаешь в процессе поиска

у нас грейлог используют для хранения логов самописных приложений, а ЕЛК для хранения логов сервисов

ну пользоваться - на самом деле этому некому. Т.е. сейчас рабочий процесс построен так, что в красивый интерфейс zabbix никто не смотрит, разве что раз в месяц, а используются в основном его фишки по автодискавери и автоподключению темплейтов

@polnoch выбирай что ТЕБЕ понравится

поэтому красота интерфейса опять же не важна, зато важно, что бы было красивое API

если что переиграешь потом

у нас грейлог используют для хранения логов самописных приложений, а ЕЛК для хранения логов сервисов

а почему не что-то одно?

а почему не что-то одно?

Исторически так сложилось :)

А что больше нравится?

у меня саппорт не смог в грейлог

хз почему

но если с нуля ставить то это уже ес5, и либо кибана5, либо грейлог

я пытаюсь съехать с 1го эластика на 5й, у меня деградация с 300к инсертов в минуту до 10к, при тюнинге до 50к

я не понимаю как им пользуются для логов люди )

У меня логи в очереди в реббите лежат

Иначе не успеваю закидывать данные

я пытаюсь съехать с 1го эластика на 5й, у меня деградация с 300к инсертов в минуту до 10к, при тюнинге до 50к

Может, да. Я эластиком не занимаюсь

в минуту?

это даже не смешно:)

Я вот все читаю все эти "достижения" людей, как они логи собирают, ставят ELK, собирают террабайты логов в день. А потом задаюсь вопросом — зачем?

Ну серьезно, зачем вам куча бесхозной информации, которую надо обрабатывать, хранить, обслуживать и не терять.

Это примерно как с мониторингом. "У нас 100500 метрик отслеживается, смотрите какой я молодец!". Собсна, вопрос, зачем? Нахуя столько метрик, когда можно подумать головой один раз, и собирать 10 метрик, по которым можно сделать вывод о выходе из строя какой-то из подсистем.

Может мне кто-нибудь объяснить? Может я отсталый просто?)

Зачем 10 метрик, если достаточно одной - "все работает / ничего работает".

Может мне кто-нибудь объяснить? Может я отсталый просто?)

чтобы расследовать когда сломаеться что-то новое

Отсталый :)

Шутко

чтобы расследовать когда сломаеться что-то новое

Вот сломается — сделаешь метрику на это.