не рассказывайте сказки

я до тестирования надежности даже не дашел, проблема с масштабируемостью это уже жирный минус

рили ?

самый дорогой - IOPS

и производительность не лучше чем у других

иопс не ресурс

за ним -- размеры

IOPS, это ресурс

а иопс по памяти ?

и его наращивать сложнее всего

если мы говорим что иопс ресурс, то мы не можем рассуждать диск \ озу )

мы и так не можем рассуждать

диск сам по себе -- это и IOPS'ы и объемы

RAM часть IOPS'ов может снять только при чтении, или если запись всплесками идет

Пчел за что у тя iops не ресурс ?

@dvolodin если ты готов потенциальной сохранностью пожертвовать, то RAM может сконвертировать мелкие random IOPS'ы на запись в более жирные sequential же

т.е. как раз писать большими кусками, а не кучей мелких

но ценой проблем когда что-то пошло не так

еще раз

считается, что это задача хранилища - группировать запись

если ему нужно 1k операций в секунду, RAM не поможет

классический бассейн и 2 трубы

Пчел за что у тя iops не ресурс ?

я про конкретный контекст рассуждения.

RAM -- объем бассейна

да не в этом суть, в общем-то

у инфлюкса беда в том, что при хорошем потоке он на операции merge в storage минуты на две начинает жрать ядра как ненормальный

и больно хрупкий

и я не могу понять, удастся ли им его стабилизировать, или нет

мне еще важно, что нет кластеризации, т.е. даже если реализовтаь репликацию самому то восстановление упавшего сервера будет адом

это как раз не проблема

у нас метрики сбрасываются на NSQ

ну как сказать, это проблема для горизонатльного масштабирования системы

и несколько писалок пишут в свои базы

Так претензия в том что если у тебя 1 хост навернулся, то переналивка данных это довольно большое количество ручной или полуручной работы

тебе прийдется делать какую-то систему, которая вычитает данные с копии

запишет их

не надо

никакой встроенной автоматизации

и так далее

да и у инфлюкса нет кластера пока

у них его и не будет в OpenSource

политика фирмы

примотанный raft - это только начало

чувак

знаю я

и расценки знаю

а, ну тогда ок

но на whisper то же СХД будет стоить за лям баксов, например

но на whisper то же СХД будет стоить за лям баксов, например

Для меня вопрос цены не очень большую роль играет. У нас уже есть кластерок на виспере

для меня играет

поэтому я говорю -- сначала IOPS

потом - размеры

RAM и CPU очень дешевы

мне в этом плане повезло, у компании есть деньги и купить 500 серверов с ссд не проблема, если это действительно нужно

поэтому мне реально интересно, как колоночные базы себя ведут с метриками

поэтому меня волнуют вопросы менеджмента

т.к. нанять человека сложнее чем купить железа

и человек не очень будет доволен количеством полуручной работы по восстановлению баз

ssd копейки же стоит

write optimized?

нет, не копейки

они всего раз в 6 дороже старых шпинделей

эти проживут несколько месяцев

поэтому мне реально интересно, как колоночные базы себя ведут с метриками

Он точно лучше для write-mostly. Mixed - не знаю

так оно так есть

примерно миллион единиц оборудования

ридоптимайзд под нагрузкой инфлюкса и его wal прожили с апреля по август.

в финальном варианте - сотня-две метрик с каждой

пишем, храним, анализируем

а поделитесь моделями рид \ врайт оптимайзед из консьюмерского сектора ? ))

Дим, мнея тоже на самом деле волнует вопрос что будет когда часть серверов будет недоступна.

4 байта на метрику, 8 или 12 - выползают в серьезные суммы

с учетом того, что СХД, скажем, от IBM

или от EMC

или аналогичная дрянь

так что цена whisper'а будет очень высока

а зачем схд ?

если у нас сам сторадж умеет шардинг

и реплики

какой стораж?

который хранит метрики

сторадж всмысле программная штуковина

мы, вроде, рассуждаем про него

:)

да, н оя не понимаю как сюда влез "дорогой сторадж от emc"

с какого момента? )

а тьфу

сорри

какой стораж?

вы через свой NSQ же фактически любой сторадж можете шардировать и реплицировать, если хотите

так зачем к этому всему СХД?

точнее точно ли СХД будет быстрее и проще в эксплуатации и дешевле, чем пачка физических серверов с 2-4 ССД?

вот вот, я про это же

СХД подбирает заказчик

как им удобнее это эксплуатировать

реплицировать мы можем

на время так и сделали

две базы с разным периодом хранения

у EMC не "дорогой стораж" а "дурной"

:)