да. тоже мне кажется стремным решением писать сразу в эластик

точно что-нибудь потеряешь

твой серилог будет долго ждать пытаясь доставить? а в памяти долго будет держать то, что не получается отправить из-за недоступности эластика?

ну это конфигурируется, как и размер запиcи и всё остальное

ну в случае если у тебя эластик пропал на 20-30 минут, ты пишешь спокойно в файл на диск. а файлбит потом попытается это дело из файла, с нужного места записать в эластик (когда эластик очухается)

но я согласен с тем, что если эластик будет не доступен, он будет дропать записи. они попадут на диск, но не попадут в эластик

filebeat хорошая штука

память не жрет

эластик вы, кстати, на винде крутите или на линкусах?

эластик вы, кстати, на винде крутите или на линкусах?

никсы

у меня и так и так

разницы нет

ну я по крайней мере не увидел

Вот с монгой есть разница)

правда я сталкивался с 2.4. Там модель памяти никсовая. И бывало что монга как-бы память не использует, но системе не возвращает

так, а как filebeat парсит логи? для каждого лога надо задефайнить его формат?

так, а как filebeat парсит логи? для каждого лога надо задефайнить его формат?

файлбит не парсит. он просто передаст

парсит logstash

про формат - все зависит от того, как пишешь

так, а как filebeat парсит логи? для каждого лога надо задефайнить его формат?

если тебе для каждого формата нужны индексы по нужным тебе полям - да, дефайнить на каждый формат

я пока не совсем понимаю, как из файлов данные поднимаются. filebeat построчно отправляет данные в логстэш. тот из этих строк собирает по каким-то правилам json?

Нашёл вопрос на тостере, кто знает ответ? https://toster.ru/q/358710

ибо я задавался тем же вопросом

я пока не совсем понимаю, как из файлов данные поднимаются. filebeat построчно отправляет данные в логстэш. тот из этих строк собирает по каким-то правилам json?

в logstash задается преобразование

как и что перобразовывать

filebeat читает построчно

в каждой строке по json событию и логстэш умеет из коробки разбирать json, как я понимаю

да. logstash много чего умеет из коробки

а эти все ребята (logstash и filebeats) умеет как виндовые сервисы крутиться?

конечно

точнее их можно запустить как сервисы. Например через http://nssm.cc/

а логстэш ставится один централизованный на всех или рядом с filebeats или как-то ещё?

один централизованный

точнее их можно запустить как сервисы. Например через http://nssm.cc/

файлбит батник внутри себя имеет, что бы как сервис запускаться и прописываться

файлбит батник внутри себя имеет, что бы как сервис запускаться и прописываться

а. да. точно

через nssm запускается кибана и логстеш

или только кибана. Не помню уже

Какой-то странный джсон

http://logz.io/blog/installing-the-elk-stack-on-windows/

Какой-то странный джсон

ну одна строчка - один json

я подумал, что это к конфигу логсташа относилось

а. ну это logstash ) там свой формат)

там не json

Еще надо учесть, что elastic и logstash не имеют атворизации

впринципе

точнее у эластик есть инструмент, но он платный

ну про эластик, я в курсе, это норм. всё равно в всё это в отдельной подсети вертится

а в правилах логсташа можно ведь учитывать, с какого хоста и из какого файла пришла запись?

да

понятно. спасибо.

а как вы чистите эластик от мусора? retention policy и всё такое?

Elasticsearch Curator по шедулеру

А если эластик не чистить, он не лопнет?

Или там по дизайну хранить логи некоторый интервал и потом сливать в архивы?

смотря сколько логов

ну и какие маппинги

по-моему, логи - это такая штука, типо полежали 1-6 месяцев и хватит

Я вот думаю не подсосать ли исторические. У нас дата ретеншн полиси для разных заказчиков разные

доходит до 10 лет

от размеров зависит

и запросв

всем привет

10 лет - это уже другие логи, как я понимаю

у меня 200Гб логов переваривает с 8Гб оперативки

подскажите, как создать массив байт и сразу его проиниализировать?

ERROR: S client not available

подскажите, как создать массив байт и сразу его проиниализировать?

чем проинициализировать?

подскажите, как создать массив байт и сразу его проиниализировать?

new byte[] { 1, 2, 3, 4 };

чем проинициализировать?

вот типа этого byte[] bytes = { 1, 2, 4, 5, 6 };

а так byte[] arr = new byte[]{1, 2, 3, 4}

в студии сделал bytes[0].GetType, вывел System.Byte

так

но почему то тренажер итвдн не принимает)

так ты же к первому байту по его индексу обратился

Астанавитесь

так ты же к первому байту по его индексу обратился

и?

у меня 200Гб логов переваривает с 8Гб оперативки

Сейчас годовые логи с одного заказчика около 75 гиг несжатого текста. То есть еще на 10 лет + разные клиенты. Хмм. Ладно, погуглю

@monotwist у байта тип System.Byte

ну тут все от маппинга еще зависит

так ты же к первому байту по его индексу обратился

понятно это, но разве там не инты забиться должны в массив?

по умолчанию

не, это же массив байт, а не интов

как у тебя В БАЙТ МАССИВ

ВЛЕЗУТ ИНТЫ

не, это же массив байт, а не интов

это понятно

давай так. Чем байт от инта отличается?

ВЛЕЗУТ ИНТЫ

возможно так, что числа перед помещением в массив bytes приводятся из инта к байту

да не приводится там ничего. просто у тебя есть литералы (цифры), они могут трактоваться различным образом в зависимости от контекста

ты напиши в свой инициализатор вместо 2 что-то типо 2222, тебе компилятор скажет, что ты охренел

уже для 256 так скажет)

это студия тебя тралит.

да

она видимо контекст не учитывает

ни единиго приведения типа