RPO?

что? ну можно еще учесть, что аппа в процессе работы делает снепшоты в синхронном треде, т.е. совсем плохим io там сделать нельзя, а иначе задача бы сильно упростилась

допустим, что устроит 80% от RAID1+0 из 4х 10k SAS

RPO - recovery point objective. Сколько данных готовы потерять в случае отказа оборудования

тогда можно вешаться вообще

незнаю у меня счас на проекте сервис состоит из пикселя, веб уи, и 4х рест бекэндов, все это можно пихать в докер если надо проскейлиться, за этим конечно стоит база, но зачем мне базу в докер когда есть RDS

да, но не все задачи решает rds

иногда надо процессить сырые данные, которые приходят в виде файлов, например

emr же на спот инстансах

прочитал с с3 положил в базу или опять в с3

не очень охота спорить, но у этого тоже есть ограничения

хотя у нас есть продукт для этого, отлично работает, складывает в redshift

но редшифт стоит очень дорого

ну да варианты могут быть разными

на нашем трафике emr будет тормозить, поэтому у нас костыли

а какого типа трафик ?

вообще есть kinesis, но он тоже дорогой

2.5 терабайта логов в месяц

хм у нас было 20Г логов в день

это не логи доступа, а рабочие данные

у нас есть несколько кейсов, когда их нужно отфильтровать в реальном времени и отправить в другой сервис, который разошлет нотификации клиентам в течение 15 минут

а 15 минут уже интересней, у нас просто отчеты строились

обычно максимальная задержка минут 5

интересно, какая средняя

средняя задержка 3, лол

RPO - recovery point objective. Сколько данных готовы потерять в случае отказа оборудования

ну вообще привыкли не терять данные.

средняя задержка 3, лол

почти реалтайм

2 минуты задержки это два рсинка

один с серверов, которые собирают данные, второй с хранилища на обрабатывающий сервер

если б рсинк запускался чаще раза в минуту, то может было бы и получше

а крон не умеет секунды, ахаха

10/10, отлично

хм тебе бы потоковый рсинк

или что-то похожее

да ну что уж там, это не принципиально, и так хорошо

а крон не умеет секунды, ахаха

Пускай скрипт с флоком а внутри каждые 10сек рсинк и вейт

ну можно, но это как-то смешно и стыдно одновременно

надо будет предложить

И по-моему анакрон или какой то другой умеет в секунды

соседний отдел вот это продает:

http://www.ironsrc.com/atom/data-flow-management/

мы тоже пользуемся, но параллельно с нашим процессом

потому что исходные логи тоже надо хранить на всякий случай

А не, гоню про ана

http://www.ironsrc.com/atom/data-flow-management/

и цены нет

ну что за

ну для цены напиши им, это же для энтерпрайза штука

работает почти в реалтайме

даже запартнерились с амазоном по этому поводу

я стараюсь с теми кто ссыть писать цену не работать :)

но выглядит интересно

но они на рекламу заточены, а меня больше интересует категоризация и анализ пользователей внутри

в принципе это несложно написать самому, но вряд ли для редшифта, потому что там все довольно непросто

что значит заточены на рекламу? они просто перекладывают данные туда-сюда

анализ это уже твоя часть

у них же там какие-то дешборды?

или я чота не так понял

http://www.ironsrc.com/atom/user-profiling/

но оно saas, а я не хочу своих пользователей сдавать

не, это другое вообще

другой продукт совершенно

f

а что ты хочешь делать

я думал им туда можно события посылать, а они их проанализируют и расскажут мне больше про пользователя

нет, туда можно только посылать события, а они тебе их положат в твою же базу

хочу из наших данных понять демографию и базовый профиль

так яндекс метрика же для этого

не, мне нужно hosted решение

я пидорасам рекламным не буду давать ни байта информации

хаха

кхм можем дописать и продать )

не, мне нужно hosted решение

^

кхм можем дописать и продать )

что дописать?

мы то и сами можем дописать, но это долго и дорого

хм прикрутить геоип к базе профилей достаточно просто

что дописать?

dmp же

не географию, а демографию

а блин

толку-то от это geoip

я хочу знать мальчик/девочка, возраст, возможно ещё какие-то социальные параметры

доход бы знать