логстеш да, мы можем вполне выкинуть просто перейдя на логирование сразу в json формате

Я перебрал несколько вариантов с логами, на текущий момент у меня порядка 5000 log-event/sec, и ничего кроме ELK не подошло. Причем, по факту, проще и стабильнее было перевести часть логов с GELF/file, на flume/kafka, и притянуть еще zookeeper. И все это работает без нареканий, не смотря на java.

а за что выбрасывать кибану ?

как раз кибана это сильный аргемент за elk без l

logstash порядоччно допилили. Он у меня делает для части логов дупликацию, так как я логи кладу в ES и в cassandra

коллеге нужно было 25 дашбоардов заскриптовать, в графане он смог это сделать в отличии от

а кстати да.

графана же теперь умеет из еластика достатвать события

коллеге нужно было 25 дашбоардов заскриптовать, в графане он смог это сделать в отличии от

Не вижу проблемы json клепать. Хотя согласен с тем, что для графаны попроще.

а она из еластика может только события или и данные для рисунков ?

у еластика ыла статья, вплоть как time series хранить в их стеке

А какие проблемы с кластером монги ? Расскажите как ) 

если мы говорим про 2.8+

и именно про RS а не про shard

да и про shard в 3.0+расскажите, что там такого совсем не работающего ? 

@ptchol Владимирским привет :) Я еще на своей прктике не видел, и не хочу, работающий стабильно и долго кластер монги. Я не утверждаю, что его нет в природе или нельзя настроить. Я не видел, а мой опыт с монгой, не сильно большой и на сегоня устарелый, говорит, что с ней лучше не связываться.

=) ну привет 

На прошлой работе был шард на 30 с копейками нод маленьких, суммарно под 3тб данных налито.

РСов не счетное кол-во. все это работало в RTB

но я нацеленно не хочу слушать претензии к версиям, ниже чем упомянул.

монго хорошая штука (ок, не хорошая - просто неплохая). но для хранения логов нужно что-то с более быстрым и удобным поиском, ИМХО

там было печально все, согласен.

это другой вопрос.

мы же про сложить а не про прочитать ) 

логи надо не только сложить, их надо еще и прочитать

сложить-то их и в файловую систему можно, какие проблемы

и вариант с NSQ вроде бы совсем не плох. у нас точно также сейчас стоит kafka перед ES. Ну ну кашка, ну nsq какая разница какой брокер, если люди его умеют ? 

Про версии ХЗ. Последнне что я видел, это была середина 2014 года, стояла последня stable на тот момент, 7-8 Тер данных, r/w примерно 9 к 1. заподозрить, что чувак не умкел готовить монгу могу, но с трудом. Работало это все …. мягко говоря не стабильно.

полагаю это последнии версии 2.6

или не последние даже. Но да. тогда было не очень.

Вполне может быть. Я к монге предпочитаю не прикасаться. Да и отзывы, с того времени, ну ни как не радужные. Полагаю и от тех, кто 3+ использует.

/stat

comstatbot.xyz/chat/-1001030317489

/stat

comstatbot.xyz/chat/-1001030317489

/stat@comstatbot

comstatbot.xyz/chat/-1001030317489

Удивительные дела, конечно

Кто-то не хочет тащить в стек джаву, кто-то монгу

Мы так никогда гармонии не добьемся

Чтобы one world, one stack, one leader

это разве плохо?

то, что не добъёмся гармонии

В Германии 39-го считали, что плохо

И монгу да Монгу я бы сжег

как, тебе не нравится интерфейс на javascript? :)

….вы не хотите поговорить о Боге …. прям дежа вю )

А есть какие-нибудь GUI вокруг для докера, наподобе админок для хостингов: Ajenti, ISP Manager?

А есть какие-нибудь GUI вокруг для докера, наподобе админок для хостингов: Ajenti, ISP Manager?

rancher Weave Scope

@durob http://shipyard-project.com/walkthrough/ ?

@durob http://shipyard-project.com/walkthrough/ ?

красивенько сделали

Прям даже тематичненько

@durob http://shipyard-project.com/walkthrough/ ?

неплохо выглядит..

/stat

comstatbot.xyz/chat/-1001030317489

/stat

comstatbot.xyz/chat/-1001030317489

/stat

comstatbot.xyz/chat/-1001030317489

Всем привет! Зашел в чат поискал по запросу Calico и был удивлен отсутствием такового, зато про Docker , наверное, каждый писал

и?

"абыдна, да?" :)

Хороший вопрос! В своей комманде тестируем ее и будем использоваться в мультихост docker swarm

сеть в докере не так интересно, как управление volumes

сеть в докере это очень интересно :)

" управление volumes" это следующий больНой вопрос

А вот у меня он пока единственный.

ну тогда ещё сюда закину - есть такая тема, я не гонял, но хочу, отзывы на него хорошие https://github.com/emccode/rexray

Ну эт не решение, для внутренней инфраструктуры

А вот у меня он пока единственный.

а какие требования к volume?

есть данные, есть облако, как максимально кошерно их тянуть к контейнерам. Ясное дело, что можно поизвращаться с ceph/gluster, или, прости господи, flocker. Но пока каких-то внятных бест практис я не нашел.

s3 же

я думал в будущем попробовать flocker + ceph ...

s3 же

для внутренеей инфраструктуры.

я думал в будущем попробовать flocker + ceph ...

если есть ceph, то зачем flocker…

так storage driver для докера

так там и как папку маунтить можно.

так а кто будет создавать блочные устройства? flocker же для этого как раз нужен, разве нет?

s3 не блочный

я про ceph

так а кто будет создавать блочные устройства? flocker же для этого как раз нужен, разве нет?

Мне тут вкуриться поглубже надо. На вскидку не помню, но разве ceph обязан только блочные раздавать?

мм а какую проблему вы использованием докера решаете ?

ceph может s3, но мы сейчас про rbd

мм а какую проблему вы использованием докера решаете ?

наоборот.. как в докере это решить.. например сейчас swarm научился мигрировать с упавшей машины, соответственно сетевое блочное устройствао пришлось бы как раз кстати в таком случае

Коллеги, вопрос

ну просто часто бывает что докер ненужен, а его используют и разргребать приходится целый ворох новых порблем которых раньше и небыло

Вот смотрите, есть у нас параметр - длина клиентской сессии Клиент это просто мобильник

И висеть в норме он должен вечно

Далее - мы хотим рисовать график длины сессии с персентилями

Но дело в том, что у нас пока в тесте 30 сессий максимум И рвутся они редко, скажем, раз в час

А стату мы собираем раз в 10 секунд

И я что-то не могу представить, как такие редкие события правильно обрисовывать

редкие события = обрывы связи?

Тупо рисовать график длины завершенной сессии не кажется мне правильным

Ага

почему-то в голову диаграмма ганта пришла )))