Aleksandr
мне нужен лог-агрегатор
вот тоже смотрим. опять же смотря что делать, тупо равы хранить или парсить и рисовать? мы на грейлог думаем посмотреть...
Aleksandr
но он я так понял тупо складировать
Köfte
graylog почти тоже самое, сердце тот же эластик
Aleksandr
но у нас это в разрезе хранить кучу логов с почтовых серверов.
Daniel
но он я так понял тупо складировать
да нет же. грейлог складывает в эластик, оттуда можно глядеть кибаной
Aleksandr
graylog почти тоже самое, сердце тот же эластик
да, ток затюненый по самые помидоры. он вроде как 1кк держит
Daniel
а мне нужно простое
Daniel
логагрегатр и просмотрщик, желательно на кассандре
Daniel
боюсь, кончится изобретением велосипеда
Köfte
да, ток затюненый по самые помидоры. он вроде как 1кк держит
нам тут по закону надо 3 года логов держать и удобно их доставать менеджерам, поболее потребуется держать)
Daniel
складировать можно сколько угодно
Daniel
ротируете индексы, старые закрываете, и привет
Daniel
по необходимости открыл-прочел-закрыл
Köfte
по необходимости открыл-прочел-закрыл
закрытые индексы не мешают?
Daniel
только место на диске потребляют
Köfte
я пока сделал так, что индексы старше 3 месяцев будут идти на nfs шару
Daniel
вот кстати, кто будет новый эластик пробовать, померяйте, пожалуйста - на каком количестве записей в индексе он начинает страшно тормозить
Daniel
когда я мерял - было 2М, то есть ни о чем
Köfte
консулом?
там шаблонами делается
Daniel
нечем ее заменить
Daniel
то есть - она дорогая, но альтернативы нет
Köfte
консулом?
т.е. все индексы старше 3 месецев исключают боевые ноды для релокейта
Köfte
а все новые исключают nfs ноды для релдокейта
Aleksandr
однако
Köfte
очень интересно чтоб кто-то рассказал про новые фичи 5той версии
Daniel
ну, началось
Daniel
fluentd/logstash
это все обвязка вокруг эластика
Pavel
ну да, elastic довольно быстрый
Max
вот связка elastic+fluentd+kibana чем бы вы её заменили?
начнём с того, что fluentd -> elasticsearch -> kibana
Max
что конкретно ты хочешь из этого заменить?
Daniel
эластик
Daniel
все хотят заменить эластик
Köfte
elastic незаменим
Daniel
да ладно
Max
а шо нужно то в итоге получить?
Daniel
начнем с того, что он нахер не нужен в задаче про хранение логов
Max
он хоть в монгу хоть куда умеет складывать
Köfte
а шо нужно то в итоге получить?
быстро, стильно, молодежно
Max
а что сейчас не устраивает? ))))
Gleb
вот связка elastic+fluentd+kibana чем бы вы её заменили?
наверное, разделил бы логи на нужные по времени. Выделив долгохранящиеся в hdfs, а в течение месяца на эластик
Max
все логи в долгохронящиеся и в эластик
Max
чистить индексы в элестике
Gleb
Кибана не умеет hdfs ))
Max
перечитай масагу )
Max
)
Gleb
сек
Max
и туда и туда
Gleb
Еще раз. Т.е. и в hdfs и в elastic, но чистить индексы в эластике?
Köfte
а искать если надо год назад?
Gleb
Если за год назад, то в hdfs можно поискать
Gleb
хранить столько в эластике хз. Надо ли? По затратам может дороже выйти
Köfte
может тогда все искать в hdfs?)
Gleb
Не будет поняш и всякого такого красивого, что кибана выдаст.
Köfte
подсели на кибану
Gleb
Можно скрестить hdfs + flume + elastic + kibana попробовать бы было. Но у флюма sink для эластика от версии 2 протух и не работает.
Gleb
И все равно получишь дублирование туда и туда с приоритезацией времени хранения.
Köfte
короче сейчас нету норм решения для долгого хранения логов и красивого уи? ну или хотя бы умеренного.
Daniel
даже умеренного нету
Gleb
Угу. Только костыли и велосипеды. Я для себя пока как-то так решил. А дальше посмотрим.
Pavel
Даниил, а вы платные решения не смотрели?
Pavel
тот же splunk?
Daniel
splunk прекрасен, на самом деле
Daniel
но при хайлоадных объемах неподъемно дорогой
Timur
привет. есть Rails приложение, делаю деплой через Capistrano на Amazon Linux. проблема в ngnix, который после каждой перезагрузки сбрасывает права к /var/log/rails/amazon.log (amazon - среда) и /var/log/rails/rpush.log на “nginx:nginx”из-за чего я не могу нормально задеплоить приложение (деплой идет под другим юзером). как я могу перенастроить права доступа (я так понимаю, дело гдето в самом nginx)?
Anonymous
Похоже, то что надо
Andrew
Ребят вопрос, кто и как делает мониторинг бекапов?
Aleksandr
отчеты вима