эмпирическое правило: по железу и труду система хранения логов на эластике стоит столько же, сколько система эти логи генерирующая

elasticwallet

не если нравится то ок конечно

не если нравится то ок конечно

я не против меняться, конструктивно выслушаю)

у нас тут биллинг с каждой ноды в пике 3К сообщений

per sec

это откровенно мало

я сейчас буду новый елк стак тестить

посмотрим как у него что как

много - это два порядка вверх

много - это два порядка вверх

маленькие еще)

Потом с иглы не слезете

нужно больше памяти!)

Потом с иглы не слезете

а вот кстати - каковы варианты?

мне нужен лог-агрегатор

на хайлоаде в итоге ничего интересного не рассказали

потому и не рассказали, что интересного тут ничего нет

а вот кстати - каковы варианты?

Навскижку не скажу

мне нужен лог-агрегатор

вот тоже смотрим. опять же смотря что делать, тупо равы хранить или парсить и рисовать? мы на грейлог думаем посмотреть...

но он я так понял тупо складировать

graylog почти тоже самое, сердце тот же эластик

но у нас это в разрезе хранить кучу логов с почтовых серверов.

но он я так понял тупо складировать

да нет же. грейлог складывает в эластик, оттуда можно глядеть кибаной

graylog почти тоже самое, сердце тот же эластик

да, ток затюненый по самые помидоры. он вроде как 1кк держит

а мне нужно простое

логагрегатр и просмотрщик, желательно на кассандре

боюсь, кончится изобретением велосипеда

да, ток затюненый по самые помидоры. он вроде как 1кк держит

нам тут по закону надо 3 года логов держать и удобно их доставать менеджерам, поболее потребуется держать)

складировать можно сколько угодно

нам тут по закону надо 3 года логов держать и удобно их доставать менеджерам, поболее потребуется держать)

та же херня у нас с почтой) а то любят у нас в прокуратуру писать)

ротируете индексы, старые закрываете, и привет

по необходимости открыл-прочел-закрыл

по необходимости открыл-прочел-закрыл

закрытые индексы не мешают?

только место на диске потребляют

эмпирическое правило: по железу и труду система хранения логов на эластике стоит столько же, сколько система эти логи генерирующая

а чем тогда автоматически логи разбирать

я пока сделал так, что индексы старше 3 месяцев будут идти на nfs шару

вот кстати, кто будет новый эластик пробовать, померяйте, пожалуйста - на каком количестве записей в индексе он начинает страшно тормозить

я пока сделал так, что индексы старше 3 месяцев будут идти на nfs шару

консулом?

когда я мерял - было 2М, то есть ни о чем

вот кстати, кто будет новый эластик пробовать, померяйте, пожалуйста - на каком количестве записей в индексе он начинает страшно тормозить

у меня на 4 начинало тормозить от кол-ва индексов

вот кстати, кто будет новый эластик пробовать, померяйте, пожалуйста - на каком количестве записей в индексе он начинает страшно тормозить

вот связка elastic+fluentd+kibana чем бы вы её заменили?

консулом?

там шаблонами делается

нечем ее заменить

то есть - она дорогая, но альтернативы нет

консулом?

т.е. все индексы старше 3 месецев исключают боевые ноды для релокейта

а все новые исключают nfs ноды для релдокейта

однако

вот связка elastic+fluentd+kibana чем бы вы её заменили?

fluentd/logstash

очень интересно чтоб кто-то рассказал про новые фичи 5той версии

ну, началось

fluentd/logstash

это все обвязка вокруг эластика

ну да, elastic довольно быстрый

вот связка elastic+fluentd+kibana чем бы вы её заменили?

начнём с того, что fluentd -> elasticsearch -> kibana

что конкретно ты хочешь из этого заменить?

эластик

все хотят заменить эластик

elastic незаменим

да ладно

а шо нужно то в итоге получить?

начнем с того, что он нахер не нужен в задаче про хранение логов

он хоть в монгу хоть куда умеет складывать

а шо нужно то в итоге получить?

быстро, стильно, молодежно

а что сейчас не устраивает? ))))

а что сейчас не устраивает? ))))

дорого)

вот связка elastic+fluentd+kibana чем бы вы её заменили?

наверное, разделил бы логи на нужные по времени. Выделив долгохранящиеся в hdfs, а в течение месяца на эластик

все логи в долгохронящиеся и в эластик

чистить индексы в элестике

Кибана не умеет hdfs ))

перечитай масагу )

)

сек

и туда и туда

Еще раз. Т.е. и в hdfs и в elastic, но чистить индексы в эластике?

а искать если надо год назад?

Если за год назад, то в hdfs можно поискать

хранить столько в эластике хз. Надо ли? По затратам может дороже выйти

может тогда все искать в hdfs?)

Еще раз. Т.е. и в hdfs и в elastic, но чистить индексы в эластике?

ну да

Не будет поняш и всякого такого красивого, что кибана выдаст.

Не будет поняш и всякого такого красивого, что кибана выдаст.

на такое манагеры не согласны уже)

подсели на кибану

Можно скрестить hdfs + flume + elastic + kibana попробовать бы было. Но у флюма sink для эластика от версии 2 протух и не работает.

И все равно получишь дублирование туда и туда с приоритезацией времени хранения.

короче сейчас нету норм решения для долгого хранения логов и красивого уи? ну или хотя бы умеренного.

даже умеренного нету

Угу. Только костыли и велосипеды. Я для себя пока как-то так решил. А дальше посмотрим.

Даниил, а вы платные решения не смотрели?

тот же splunk?

splunk прекрасен, на самом деле

но при хайлоадных объемах неподъемно дорогой

привет. есть Rails приложение, делаю деплой через Capistrano на Amazon Linux. проблема в ngnix, который после каждой перезагрузки сбрасывает права к /var/log/rails/amazon.log (amazon - среда) и /var/log/rails/rpush.log на “nginx:nginx”из-за чего я не могу нормально задеплоить приложение (деплой идет под другим юзером). как я могу перенастроить права доступа (я так понимаю, дело гдето в самом nginx)?

привет. есть Rails приложение, делаю деплой через Capistrano на Amazon Linux. проблема в ngnix, который после каждой перезагрузки сбрасывает права к /var/log/rails/amazon.log (amazon - среда) и /var/log/rails/rpush.log на “nginx:nginx”из-за чего я не могу нормально задеплоить приложение (деплой идет под другим юзером). как я могу перенастроить права доступа (я так понимаю, дело гдето в самом nginx)?

/etc/logrotate.d/nginx

А вот скажите Каким более-менее аккуратным способом сконфигурировать chef, если у меня есть несколько организаций с разными пользователями и валидаторами?

knife block поставь

knife block поставь

??

Похоже, то что надо

Ребят вопрос, кто и как делает мониторинг бекапов?

отчеты вима

привет. есть Rails приложение, делаю деплой через Capistrano на Amazon Linux. проблема в ngnix, который после каждой перезагрузки сбрасывает права к /var/log/rails/amazon.log (amazon - среда) и /var/log/rails/rpush.log на “nginx:nginx”из-за чего я не могу нормально задеплоить приложение (деплой идет под другим юзером). как я могу перенастроить права доступа (я так понимаю, дело гдето в самом nginx)?

это ж вроде как лог-файлы. ты что, их тож делпоишь?