математики, заведите себе инженеров для таких вопросов а то сплошь трешак какой-то, оторванный от действительности

CASSANDRA

хватит уже спамить одно и тоже требований не сформулировано, а ты постоянно пихаешь касандру как серебрянную пулю прям

tl;dr вам больше нужно CP, чтобы не сливать майора словами отсутствует техническая возможность

сам грепал 500tb netflow за пару часов

ну вот в задаче в 10 раз больше, и кажется, что даже "пара часов" - это не то время, которое устроит спрашивающего

а сколько серверов было параллельно на задаче?

ну и в чем, хадуп?

может просто файликами на дисках

целая комната под диски

я такое видел

а сколько серверов было параллельно на задаче?

один и пара палок с файликами

но объемы там были не петабайтные

без мапредбюсов и т.д

Сейчас так и есть)

может просто файликами на дисках

бля так вам еще надо это все куда-то залить)

Только диски вынимают из железок при заподнении

ну да, если 100Мб/с диск, 500тб - это 5 миллионов секунд, 1400 часов, если за 2 часа погрепалось, то 700 дисков?

700 дисков не подключатся к одному серверу

ну да, если 100Мб/с диск, 500тб - это 5 миллионов секунд, 1400 часов, если за 2 часа погрепалось, то 700 дисков?

сжатие например

вы же написали, что 500 терабайт

сжатие например

ок, поделить на 3-5

3 полки по 50 дисков на 4 терабайта

А на запросы мвд отвечают подключением и грепом)

только репликацию забыли посчитать

к одному серверу не подключатся, там же саташная-сказевая шина не прокачает столько

коды избыточности)

к одному серверу не подключатся, там же саташная-сказевая шина не прокачает столько

how bout network attached storage?

сеть всяко медленнее встроенного канала, сколько там 40 гигабит максимум?

IB

?

топовый IB FDR - это 56, а так у всех максимум 40

топовый IB FDR - это 56, а так у всех максимум 40

лол

ну у if латенси поменьше будет

у нас мелланокс на тех же чипах, что и ethernet, 40 тянет

rdma всякие

малланокс, знаем плавали,знаю как панику вызвать)

топикстартеру, посмотрите на spark и любую CP бд, у ростелека vertica + hp ium

Другая посоветовал рассмотреть hdfs и spark.

вертика до 2тб бесплатная, дальше за такой ценник, что не в эту группу вопросы задавать

Спасибо всем неравнодушным)

Другая посоветовал рассмотреть hdfs и spark. - очень даже да

вертика до 2тб бесплатная, дальше за такой ценник, что не в эту группу вопросы задавать

Да, будет дешевле кучу народа посадить в кладовку и заставить грепать

хотя все равно не дешево будет на таких объемах

так китайцев наймите

в сибири можно поотлавливать

?

тоже кейс

их там больше милиарда

можно у каждого на телефоне запускать задачи

и хранить

дешево и сердито

Кстати, а hive?

sql пободное поверх хадупа?

для рисковых ребят presto + scylla

scylla же не работает - постоянно падает, сильно слабее кассандры

scylla же не работает - постоянно падает, сильно слабее кассандры

issue?

может быть на специальном железе, чтобы нормально поддерживало dpdk, и с небольшим объемом...

может быть на специальном железе, чтобы нормально поддерживало dpdk, и с небольшим объемом...

любой мусор с e5 и ixgbe

issue, серьезно? мы попробовали, запустили, поигрались, несколько раз уронили серверы - это как бы не тот уровень, когда хочется погружаться в технологию и бороться за светлое будущее

coredump посмотреть не rocket science

issue, серьезно? мы попробовали, запустили, поигрались, несколько раз уронили серверы - это как бы не тот уровень, когда хочется погружаться в технологию и бороться за светлое будущее

sounds like hadoop

мне кажется, если данные дополнительно не размазывать по нодам кластера, то прироста в производительности особо не будет от мап редьюса

так как изначально данные партиционированы

мне кажется, если данные дополнительно не размазывать по нодам кластера, то прироста в производительности особо не будет от мап редьюса

that's the whole point of it

distributed computing

that's what HDFS is for

типа город-дата-BRAS

ок, я просто нубас, если что, простите за глупость

да, я сейчас сообразил, что это первоочередная операция над данными, которую нужно сделать :)

В общем, всем спасибо. Пошел соберу песочнику на вирталках :)

а ничего что hdfs еще данные в х3 умножит просто для хранения

я бы стенд с кликхаусом сделал

т.к по сути там шардированые сервера + агрегация по запросу того что помещаеться в память

https://youtu.be/9ANuWEZqCUg?t=9402 Они 3Пб хранят там уже

https://youtu.be/9ANuWEZqCUg?t=9402 Они 3Пб хранят там уже

Kek

これはスタスか…ロマンですか А почему мы с тобой ночью по-английски общались? )

Потому что капибара

lazy

не люблю на русском писать

@justedro насколько я понял, вопрос в построении модели, которая будет классифицировать новый IP. Так? Тогда 5ПТб вам нужны 1 раз— для построения модели.

Не так

Вопрос в быстром поиске по этому массиву данных

ответ должен быть точным, само собой

Надо в этих 5 ПТб искать уже существующую запись?

https://prestodb.io/

Или Impala

Вопрос в быстром поиске по этому массиву данных

yup, impala

Надо в этих 5 ПТб искать уже существующую запись?

вот сам вопрос

Привет, коллеги. Нужны рекомендации. Есть 5Пб netflow - записи вида ip серый, ip белый, ip назначения, время, байты. Нужно построить систему, с помощью которой максимально быстро отвечать на вопросы типа: какой серый ip ходил с такого-то белого ip на такой-то сайт в такой-то промежуток времени. Какой стек технологий посоветуете рассмотреть для решения такой задачи?

автор

вы про железо так и не сказали

т.е находим n записей, удовлетворяющих условиям поиска и смотрим

короче

железо потом

сейчас концепция