спасибо

просто тут фреймворк более менее готовый. Иначе придется писать jdbc к ораклу, потом перегонку типов делать, потом запись в кассандру - а тут готовый инструмент так или иначе.

Developer advocate Adnan Rahić wrote about Containers versus serverless from a DevOps perspective. Spoiler alert: he supports both, depending on the situation. "Both technologies have awesome use cases and valid pain points," he writes. "I just want to tell you when to use what." https://hackernoon.com/containers-vs-serverless-from-a-devops-standpoint-d8232bd0f39b?mkt_tok=eyJpIjoiT0RneFpEa3paamcwTWpJeiIsInQiOiJhRzRYcGt3alNkelp0clVzTkt2Y1pJcWhpdjBMaVVqNG1NZlF3aHFFRXRRNlJsUVpkeWg1S21cLzhxQmtpaHlWTDdsMFwvSm1yRlY4QnJ1eTBQMUxxanFIZzF1NnZZWFBEQ1dGbEpLblNmT2Y2SGFXcmJKVFJidEpwWmE1VHRmK2RnIn0%3D

Gartner: How to Choose Your Kubernetes Deployment Model https://www.gartner.com/doc/reprints?id=1-5EYO9EK&ct=180906&st=sb

Народ, есть у кого в проде 12 тб hdd под hbase+hdfs+sparc+pig?

обьём 1 ноды более 280 тб

и вообще, как вы относитесь к дискам свыше 2 тб под hdfs+hbase

Хранить будет супер, а считать будет очень тяжело - коров крайне мало

А ты посчитай время ребилда при падении одной ноды. Если тебе пофиг на неделю+ в деградированном состоянии, то можно. Не говоря о производительности в 6 раз хуже обычного конфига

А ты посчитай время ребилда при падении одной ноды. Если тебе пофиг на неделю+ в деградированном состоянии, то можно. Не говоря о производительности в 6 раз хуже обычного конфига

я время ребилда и тд начальству озвучил, у меня вообще доступ к данным будет отсутствовать на время ребилда, тк x2

?но не имея пока даже близко алгоритмов и структуры данных которые считать, я вообще кластер в вакууме проектирую

Нужно больше коров)

я в данный момент полностью пиотив дисков свыше 2 тб, sas hgst 1.8 tb хочу брать и 10к rpm, но начальство видит красивые картинки, где типа супермикра и фсьюджицу делают кластера на 10-12 тб дисках

при этом пишут ha и крутые рассчёты

Чем больше дисков, кстати, тем выше скорость записи на каждой ноде

я в данный момент полностью пиотив дисков свыше 2 тб, sas hgst 1.8 tb хочу брать и 10к rpm, но начальство видит красивые картинки, где типа супермикра и фсьюджицу делают кластера на 10-12 тб дисках

Нахрен не нужны сасы и 10к

это я вкурсе, но у меня одни диски выходят 110 млн сейчас

Так все просто, ты ж теперь начальник. Рисуй презу, сравнивая решения по метрикам

?я скорее заложник

есть бюджет, есть хотелки - реализовывай

Если надо всё это мёртвым грузом хранить - то можно хоть на лентах хадуп поднять)

Хотя хз, можно ли)

Если надо всё это мёртвым грузом хранить - то можно хоть на лентах хадуп поднять)

да вот если бы

Хотя хз, можно ли)

можно, есть такой

у фсрар

есть бюджет, есть хотелки - реализовывай

Сто хранить то будете, это знаешь? Если большой размер блока ставить, можно играться с дисками. А если мелкий текст, то это будет полная шляпа

Сто хранить то будете, это знаешь? Если большой размер блока ставить, можно играться с дисками. А если мелкий текст, то это будет полная шляпа

там тексты и хеш суммы и конкретные цифры и примерные цифры, часто меняющиеся и статические

в среднем запись будет инфы для обработки примерно 4-6 гб в час

и периодически по ней олапы на 20-40к ключей

?мне кажется если я это заведу, и оно отработает пол года, я могу документы в гугл подавать

в среднем запись будет инфы для обработки примерно 4-6 гб в час

265 тб за пять лет. В 2 ноды что-ли хочешь уложиться?)

265 тб за пять лет. В 2 ноды что-ли хочешь уложиться?)

так это новые данные там 1 пб сразу закачан будет

и это мы ещё метаданные не учли кучу других факторов, я пока обьём примерно смотрю на x1 как 1,6 пб, или 3,2 для x2

x3 тупо по финансам не тяну

у меня сейчас выходит 1600 sas дисков и 410 ssd

Сколько стоит 1 шасси в твоём конфиге?

пока без понятия я пока подсчитаю некоторое ещё, и поеду к вендорам

скидки выбивать

Как же тогда ты решил, что не тянешь х3?

Смотри плотную упаковку шасси 4 ноды в 2 юнита. Там допускается 6 дисков на ноду. Ценник очень хорош

Как же тогда ты решил, что не тянешь х3?

да уже тупо оперативу с дисками подсчитав

и процами

с сетевухами

Гпл цены то? Не показатель

вот только я ещё свичи не прибавил, трипаровские стойки

оптику, и ибп

а hadoop v3?

erasure coding

http://www.aicipc.com/rus/index пользуется кто ими?

x3 тупо по финансам не тяну

А реально, поставь третий хадуп, если у тебя дохрена нод, можешь богатое кодирование 10/4 организовать, фактор репликации всего 1.4)

хрыч ты же не забыл про компрессию?

Осень — время, когда горят костры рябин. Горят сроки, эмоционально выгорают писатели на популярных языках с динамической типизацией. С другой стороны, программисты на языке Scala делают задачи вовремя, всегда бодры и веселы. А все потому, что получают мотивационный заряд на митапе, который в этот раз проходит 4 октября в 19:00 в лофте Ключ Трёхгорка (Улица Рочдельская, 15, стр. 17–18). Докладчики: 1. Владимир Полушин. "Как мы запускаем C# на своей VM и при чем тут Scala". 2. Владимир Павкин. "MTL: Scala vs Haskell". 3. [Докладчик уточняется]. Регистрация: http://meetu.ps/e/FRGnt/t1YQm/f

я в данный момент полностью пиотив дисков свыше 2 тб, sas hgst 1.8 tb хочу брать и 10к rpm, но начальство видит красивые картинки, где типа супермикра и фсьюджицу делают кластера на 10-12 тб дисках

Есть книга, хадуп фор Энтерпрайз , на неё сослаться можно

Есть книга, хадуп фор Энтерпрайз , на неё сослаться можно

110 лямов и ссылку на книгу :))

110 лямов и ссылку на книгу :))

Там показано просто хорошо , что для хадупа ультравместимые дорогие системы бессмысленны

Народ не кто не пользовался KairosDB для time series? есть какой то фид бек?

А кто-нибудь использует в Хадупе KMS? Если да, то что? Для CDH, например. А то “Cloudera strongly recommends not using Java Keystore KMS in production environments.”

А их “Key Trustee KMS “ как я понял не для всех.

Там показано просто хорошо , что для хадупа ультравместимые дорогие системы бессмысленны

да это и ежу понятно, только вот бюджет отсилы будет на 9 нод в кластер

я в данный момент полностью пиотив дисков свыше 2 тб, sas hgst 1.8 tb хочу брать и 10к rpm, но начальство видит красивые картинки, где типа супермикра и фсьюджицу делают кластера на 10-12 тб дисках

Черепичая запись со всеми вытекающими

Черепичая запись со всеми вытекающими

а где почитать про вытекающие?

я в данный момент полностью пиотив дисков свыше 2 тб, sas hgst 1.8 tb хочу брать и 10к rpm, но начальство видит красивые картинки, где типа супермикра и фсьюджицу делают кластера на 10-12 тб дисках

если ты берешь магнитные диски ты в них упрешься