1.5 млн строк в монге будет плохо

хотя для 20 символов покатит

хотя магии никакой нет, там btree

или hash-key, который тоже в итоге btree только по отпечатку

1.5 млн строк в монге будет плохо

Отнюдь. Даже текстовый индекс легко зайдет

задача так себе сформулированна

так что не зайдёт :)

Согласен про формулировку.

непонятно что такое «наиболее вероятных»

совпадает начало? тогда можно обычный текстовый индекс

по степени фонетической схожети? типа Jo -> Jose | Joshua | Ioan? тогда не зайдёт даже текстовый

совпадает начало? тогда можно обычный текстовый индекс

в смысле просто обычный индекс

Опять же смотря что за язык

why is x(1)^2 considered a separate feature from x(1)?

why is x(1)^2 considered a separate feature from x(1)?

I suppose because they're linearly independent

they're still dependant tho, aren't they?

yep

does that mean that you can use temperature expressed in different scales as different features/

most likely that's not a good idea since they're linearly dependent

what if one of the scales is logarithmic?

logarithm might be a good idea, then it depends on your data

rule of thumb: a model shouldn't be able to kind of re-construct a feature from some other features

e.g. if you have linear regression, then a feature shouldn't be linearly defined via other features

(someone please correct me if i'm wrong)

rule of thumb: a model shouldn't be able to kind of re-construct a feature from some other features

Not sure about this

there are some advices to construct new features like x_1^2

for regularization, that's completely different beast

also some models are fine with dependent features anyway, in most cases, features are somewhat dependent

Привет, коллеги. Нужны рекомендации. Есть 5Пб netflow - записи вида ip серый, ip белый, ip назначения, время, байты. Нужно построить систему, с помощью которой максимально быстро отвечать на вопросы типа: какой серый ip ходил с такого-то белого ip на такой-то сайт в такой-то промежуток времени. Какой стек технологий посоветуете рассмотреть для решения такой задачи?

Спарк плюс Кассандра

5Pb - это в штуках сколько? сколько уникальных адресов? вторичные индексы кассандры могут не справиться, нужно будет шардировать по времени, но если растет нагрузка, то нужно будет еще что-то придумывать. скорее всего смотреть старое время не нужно, и этот кусок можно сгрузить в какой-ниьбудь хадуп или спарк, а свежий горячий положить в hbase

5Пб netflow - это за сколько лет и на какой абон базе?

5Pb - это в штуках сколько? сколько уникальных адресов? вторичные индексы кассандры могут не справиться, нужно будет шардировать по времени, но если растет нагрузка, то нужно будет еще что-то придумывать. скорее всего смотреть старое время не нужно, и этот кусок можно сгрузить в какой-ниьбудь хадуп или спарк, а свежий горячий положить в hbase

вроде druid имеет оптимизации в архитектуре как раз для такого кейса. или мне показалось :)

5Пб netflow - это за сколько лет и на какой абон базе?

3 года, около 3млн чел вроде

ого

Запрос может прийти в теории за любую дату

в druid 5петабайт еще загрузить надо, при этом у него создаются специальные индексы под конкретные запросы, и если запрос потом поменяется, то это снова full scan

https://www.kentik.com/

не смотрели

Тут цель на запрос оперативно отвечать

А не доставать диск из шкафа и грепать отчет на 1000 страниц

?

ну хадут кластер и свой мепредьюс )

Cassandra

я не видел системы, которая на 5 петабайт отвечает на раз-два-три, и не видел системы, в которой на самом-то деле нужно по 5 петабайтам в реальном времени шариться, обычно это горячие данные в реальном времени и архивные в каком-то более или менее оффлайновом режиме

а потмо результаты в какую-то дб

ну хадут кластер и свой мепредьюс )

kek

кассандра на 5 петабайт? нет

>оперативно

Распихать спарком в касандру

scylla

касндра разве будет быстро отвечать?

и касандра быстро отдавать будет

всё

да

если сроки не жмут

она на чтение быстрая

>хадут кластер и свой мепредьюc

Оперативно - за несколько часов хотя бы)

maybe impala

одни люди говорят сасандра быстрая на запись, другие н ачтение, третьи вообще говорят у нее главное не это)

?

hadoop is high throughput instead of low latency

btw ростелек?

кассандра быстрая на запись, но она не потянет такой массив, как key-value может быть, с индексами нет

ЭР-Телеком

Оперативно - за несколько часов хотя бы)

я думаю несколько секунд

почти наверняка никто не потянет в реальном времени

кассандра быстрая на запись, но она не потянет такой массив, как key-value может быть, с индексами нет

массив то масив

5 петабайт несколько секунд?

о народ кликхаус у яндекса

разбивать на архив-свежее, тогда много вариантов, по архиву за минуты-часы, по свежему в реальном времени

но почему не потянет

а ккурат у них там данные большие и они для своей аналитики по яндекс метрикам ее писали

кликхаус - это не про то

ЭР-Телеком

попинайте датафактори у яндекса

кликхаус - это как раз свежие данные, из них быстро получить отчет

думаете?

Ну и вообще прирост гдет 15 тб в день

положить 5 петабайт в кликхаус, ну... попробуйте)

ну положил их в кликхаус вот они и свежие)

ну я так на уровне бреда

Нечто аналогичное tetrayon у cisco

только там ехала java через java

сколько у вас серверов-то "на уровне бреда"?

CASSANDRA