splunk?

Если в забиксе поьюнить items. Убрать лишние. И покрутить время опооса с голлвой - потяннт он много серверов.

И про дохлый SiLK

splunk?

Опенсорсные

проглядел

graylog?

Там мета все еще в монге?

нет, давно уже нет

со второй версии убрали монгу

Впрочем, мета может быть где угодно

в первой версии они часть данных хранили так же в монге. Из-за этого весь этот праздник периодически задыхался под нагрузкой. Новый вариант я не проверял, но вообще - хвалили

heka -> hadoop -> броузилка какая-то

или флюент

ну типа это всё равно не альтернатива

а поиск как?

ну типа это всё равно не альтернатива

Альтернатива вполне

hadoop у меня и так есть

И даже hbase

И даже Solr - индексировать могу

Да что там индексировать Солр же умеет данные прям с индексом хранить Но чот я этого может не хочу

Еще я не хочу на сборку этого решения более 16 часов жизни тратить

ну смотри, это не альтернатива потому что и метрики можно в хадупе хранить, а пожно и не метрики а вообще raw дату

Ну да

Всем привет, коллеги, а кто-нибудь использует в продакшене RIAK? (https://en.wikipedia.org/wiki/Riak)

Юзаем в бою, но всё ещё на 1.4.12

Собственно, метрики я в OpenTSDB и хранил Пока коллеги на меня не восстали

ну у меня с опентсдб не срослось

он какой-то медленный (сам opentsdb)

или я его не смог настроить нормально

Смотря сколько лить

С 20 машин льется норм

А больше мне не надо было

ну я с 10 лил широким потоком когда бенчил

уже и компакшены отключил а всё равно медленно

ну и это было странно учитывая 5 инстансов хадупа и три opentsdb

Коллеги, кто чем оркестровку мультинод докер инстансов делает?

Lxd скоро будет, там и мультидокер будет и блэкджек

Docker swarm :)

Docker swarm :)

UCP ? не, спасибо

Нет, docker swarm

Ucp не работает

Ещё есть Apache mesos

Lxd скоро будет, там и мультидокер будет и блэкджек

пока с ним ничего не понятно, что это будет. Kubernetes уже хоть боевое решение

Ещё есть Apache mesos

смотрю, спасибо

пока с ним ничего не понятно, что это будет. Kubernetes уже хоть боевое решение

В нем только недавно Лютый баг нашли

Данные, что по сети передаются - портятся

Данные, что по сети передаются - портятся

это с Твитором история?

Данные, что по сети передаются - портятся

там был багфикс

https://tech.vijayp.ca/linux-kernel-bug-delivers-corrupt-tcp-ip-data-to-mesos-kubernetes-docker-containers-4986f88f7a19#.youesjh47

очень простой

но эпично, да

В итоге что для логов лучшее? :)

Спланк

В итоге что для логов лучшее? :)

юзаю splunk, datadog, aws cloudwatch

юзаю splunk, datadog, aws cloudwatch

Для чего датадог юзаешь?

красивенько метрики отображать -))))

для дева splunk и sentry - для ловли трейсбеков

splunk мощный в плане трасформаций, с входящими данными можно многое сделать, как тебе хочется и построить дашборды красивые. ну и алерты конечно, что пейджердьюти никому спать не давал по ночам )))

logstash тоже мощный в плане трансформаций. Неудобный, но очень мощный

logstash тоже мощный в плане трансформаций. Неудобный, но очень мощный

согласен. elk на маленький проектах юзается

очпятки

субъективно логстэш лучше масштабируется, но я буду рад услышать контрпримеры. Мой рекорд на данный момент - 500гб логов в сутки

субъективно логстэш лучше масштабируется, но я буду рад услышать контрпримеры. Мой рекорд на данный момент - 500гб логов в сутки

какое под это железо?

если не изменяет память - 3 эластика + 3 логстеша. эластики - по 128 гиг, 2 физических проца. Эластики - 4xSSD RAID-10

я поищу спецификацию, если интересно, она сейчас не под руками. Данная система работала примерно ан 50% от номинала по ощущениям

Рейд на чем?

mdadm (linux softraid)

никогда не понимал зачем из SSD делать рейды )) 

не поверите - быстрее

как мы тут выяснили, эластик быстрее подыхает от того что памяти утекает, чем от дисков медленных

От контроллера зависит. Может быть и медленнее)

вопрос в том, кто умирает быстрее. У меня логстеш умирает обычно раньше, но я грешу на свои кривые руки в правилах мутаций. Это своеобразный дзен, и он требует освоения

а что в спланке хорошего?

он дорогой шо прям вообщ

вместо логстеша можно использовать хеку

он работает из коробки

это большой плюс в некоторых кейсах

ну типа я даж не знаю. У нас 200-300 гигов логов в день. Не представляю сколько будет стоить спланк

знаете сколько в спланке работает народу ? 

а это его минус :)

и я б не сказал что спланк как-то особенно быстр

если не изменяет память - 3 эластика + 3 логстеша. эластики - по 128 гиг, 2 физических проца. Эластики - 4xSSD RAID-10

ну мы ещё делили на мастер ноды и слейв ноды

мне хватило простого шардирования

Отключили нотификацию для чатов, но бесит показ бейджа о непрочитанных сообщениях? Это можно отключить - http://prnt.sc/auzgll

а есть такое сообщество для джангистов / питонистов?

для питонистов есть

но питерский

российского не знаю

Я долгое время был в чатика питонистов, к сожалению ушёл и заинвайтить не могу

https://telegram.me/spbpython

А никто не подскажет почему если сначала делать git clone, а потом эту папку в Dockerfile COPY то кеш потом не используется? Если не считать время изменения файлов, sha всей папки совпадает

Мне не помогло :(