Aleksandr
мне нужен лог-агрегатор
вот тоже смотрим. опять же смотря что делать, тупо равы хранить или парсить и рисовать? мы на грейлог думаем посмотреть...
Aleksandr
но он я так понял тупо складировать
Köfte
graylog почти тоже самое, сердце тот же эластик
Aleksandr
но у нас это в разрезе хранить кучу логов с почтовых серверов.
Daniel
а мне нужно простое
Daniel
логагрегатр и просмотрщик, желательно на кассандре
Daniel
боюсь, кончится изобретением велосипеда
Daniel
складировать можно сколько угодно
Aleksandr
Daniel
ротируете индексы, старые закрываете, и привет
Daniel
по необходимости открыл-прочел-закрыл
Köfte
Daniel
только место на диске потребляют
Anonymous
Köfte
я пока сделал так, что индексы старше 3 месяцев будут идти на nfs шару
Daniel
вот кстати, кто будет новый эластик пробовать, померяйте, пожалуйста - на каком количестве записей в индексе он начинает страшно тормозить
Aleksandr
Daniel
когда я мерял - было 2М, то есть ни о чем
Aleksandr
Anonymous
Daniel
нечем ее заменить
Daniel
то есть - она дорогая, но альтернативы нет
Köfte
консулом?
т.е. все индексы старше 3 месецев исключают боевые ноды для релокейта
Köfte
а все новые исключают nfs ноды для релдокейта
Aleksandr
однако
Pavel
Köfte
очень интересно чтоб кто-то рассказал про новые фичи 5той версии
Daniel
ну, началось
Pavel
ну да, elastic довольно быстрый
Max
что конкретно ты хочешь из этого заменить?
Daniel
эластик
Daniel
все хотят заменить эластик
Köfte
elastic незаменим
Daniel
да ладно
Max
а шо нужно то в итоге получить?
Daniel
начнем с того, что он нахер не нужен в задаче про хранение логов
Max
он хоть в монгу хоть куда умеет складывать
Köfte
Max
а что сейчас не устраивает? ))))
Köfte
Max
все логи в долгохронящиеся и в эластик
Max
чистить индексы в элестике
Gleb
Кибана не умеет hdfs ))
Max
перечитай масагу )
Max
)
Gleb
сек
Max
и туда и туда
Gleb
Еще раз. Т.е. и в hdfs и в elastic, но чистить индексы в эластике?
Köfte
а искать если надо год назад?
Gleb
Если за год назад, то в hdfs можно поискать
Gleb
хранить столько в эластике хз. Надо ли? По затратам может дороже выйти
Köfte
может тогда все искать в hdfs?)
Max
Gleb
Не будет поняш и всякого такого красивого, что кибана выдаст.
Köfte
Köfte
подсели на кибану
Gleb
Можно скрестить hdfs + flume + elastic + kibana попробовать бы было. Но у флюма sink для эластика от версии 2 протух и не работает.
Gleb
И все равно получишь дублирование туда и туда с приоритезацией времени хранения.
Köfte
короче сейчас нету норм решения для долгого хранения логов и красивого уи? ну или хотя бы умеренного.
Daniel
даже умеренного нету
Gleb
Угу. Только костыли и велосипеды. Я для себя пока как-то так решил. А дальше посмотрим.
Pavel
Даниил, а вы платные решения не смотрели?
Pavel
тот же splunk?
Daniel
splunk прекрасен, на самом деле
Daniel
но при хайлоадных объемах неподъемно дорогой
Timur
привет. есть Rails приложение, делаю деплой через Capistrano на Amazon Linux. проблема в ngnix, который после каждой перезагрузки сбрасывает права к /var/log/rails/amazon.log (amazon - среда) и /var/log/rails/rpush.log на “nginx:nginx”из-за чего я не могу нормально задеплоить приложение (деплой идет под другим юзером). как я могу перенастроить права доступа (я так понимаю, дело гдето в самом nginx)?
Andrew
Andrey
Anonymous
Anonymous
Похоже, то что надо
Andrew
Ребят вопрос, кто и как делает мониторинг бекапов?
Aleksandr
отчеты вима
Andrey