Для интерактива тоже норм

Я видел китайцев у которых импала поверх Alluxio поверх Swift - страшно счастливы

Я видел китайцев у которых импала поверх Alluxio поверх Swift - страшно счастливы

ну это больше для единого интерфейса сделано

impala и так большую часть кешировать будет

может у них конечно сам swift не вывозил и поэтому сверху приходилось еще один слой многоуровнего кеша в alluxio делать

Импала кэш другим не даёт, а если поднято в общий кэш то можно например два кластера на него натравить)

Или сразу много фреймворков

Я видел китайцев у которых импала поверх Alluxio поверх Swift - страшно счастливы

dj.com? Тоже с ними общался, интересные ребята:)

dj.com? Тоже с ними общался, интересные ребята:)

Не помню кто, были на страте какой-то в прошлом году

Не помню кто, были на страте какой-то в прошлом году

Общался с dj.com на Страте в этом году в Лондоне, советую глянуть доклад, ктотнн видел

Общался с dj.com на Страте в этом году в Лондоне, советую глянуть доклад, ктотнн видел

Да, в Лондоне но в прошлом году, и в кулуарах

Может они

Я видел китайцев у которых импала поверх Alluxio поверх Swift - страшно счастливы

Они сделали это, я думал импала, не умеет

Поверх

А престо умеет

c точки зрения чистого перфоманса для он-према система с HDFS+YARN будет быстрее, это факт, но с точки зрения управляемости, гомогенности среди - будут люди делать дата лейки на ceph + k8s, истино говорю, если еще не делают

Фух, ну к8с конечно крайне моден, цеф тоже. Но по поддержке все это в разы более трудоёмко и не стабильно в отличие от чистого хадупа. А уж про паразитку в таких общих кластерах... Но хайпово, да

Фух, ну к8с конечно крайне моден, цеф тоже. Но по поддержке все это в разы более трудоёмко и не стабильно в отличие от чистого хадупа. А уж про паразитку в таких общих кластерах... Но хайпово, да

бизнес любит хайп

плюс сейчас есть мнение, очень причём популярное, что кубер+девупс заменяют отдел тестирования

плюс сейчас есть мнение, очень причём популярное, что кубер+девупс заменяют отдел тестирования

это говорят те самые люди что осваивают бюджет в твоей конторе?

это говорят те самые люди что осваивают бюджет в твоей конторе?

Нет, это говорят конторы частные в которые я собесы ездил пол года

бизнес любит хайп

бизнесу надо чтобы работало, люди с новыми свистоперделками с непонятным профитом вообще не нужны

Многие даже хвастаются как сколько фот сэкономили

Фух, ну к8с конечно крайне моден, цеф тоже. Но по поддержке все это в разы более трудоёмко и не стабильно в отличие от чистого хадупа. А уж про паразитку в таких общих кластерах... Но хайпово, да

Нет) сеф это оч давнишняя история, а кубер самый быстро растущий проект со времён ядра линукс, так что это такой хайп который надолго

Нет) сеф это оч давнишняя история, а кубер самый быстро растущий проект со времён ядра линукс, так что это такой хайп который надолго

То же самое говорили про опенстак

То же самое говорили про опенстак

Точно, все говорят что кубер - это правильный опенстэк

Нет) сеф это оч давнишняя история, а кубер самый быстро растущий проект со времён ядра линукс, так что это такой хайп который надолго

да, историки сообщают о сохранившихся рукописных хрониках падающего цефа еще со времен древнего Рима

То же самое говорили про опенстак

Опенстек всё же не ставила каждая шарага с админом за 300 баксов

Опенстек всё же не ставила каждая шарага с админом за 300 баксов

И все Клауд провайдеры как один не проходили одинаковые тесты чтобы сделать его коммодити, точно!

И все Клауд провайдеры как один не проходили одинаковые тесты чтобы сделать его коммодити, точно!

Клауд провайдеры всё же не рога и копыта с недо программистами и 1 девупсом на всех позициях

Я такую ахинею слушал про чудотворные свойства кубера на 30 собесах

Вот просто божественное проведение

Я такую ахинею слушал про чудотворные свойства кубера на 30 собесах

В собесе знают про кубер?

В собесе знают про кубер?

Это сокращение от собеседование

Любой старый хрыч (как я) знает что это сокращение от социальное обеспечение ;)

Я про хадуп такое слышу до сих пор, как он победит все вертики экзадаты терадаты

Я про хадуп такое слышу до сих пор, как он победит все вертики экзадаты терадаты

Ну это не так страшно, как софт поставленный в кубер требует меньше железа

Точно, все говорят что кубер - это правильный опенстэк

Ну, если kubevirt взлетит то да

Ну, если kubevirt взлетит то да

Это будет ужас

Опенстек всё же не ставила каждая шарага с админом за 300 баксов

Но все они о нем мечтали

Это будет ужас

Для тебя да

Но все они о нем мечтали

Мечтали и внедрять бездумно разные вещи

Для тебя да

Его многие не любят, просто я открыто высказываю своё мнение

Нет) сеф это оч давнишняя история, а кубер самый быстро растущий проект со времён ядра линукс, так что это такой хайп который надолго

Ну да, тыща параметров в конфиге без документации там именно от этого ) (цеф) про к8с понятно, что он на дикой волне. Но пихать его везде - странно, особенно странно в спарк кластеры, где ты не сможешь удержать загрузку и отделить вычисления от остальных аппов.

Ну это не так страшно, как софт поставленный в кубер требует меньше железа

Смотря по сравнению с чем, по сравнению с полновесной виртуализацией конечно меньше, но это не совсем про кубер

Ну да, тыща параметров в конфиге без документации там именно от этого ) (цеф) про к8с понятно, что он на дикой волне. Но пихать его везде - странно, особенно странно в спарк кластеры, где ты не сможешь удержать загрузку и отделить вычисления от остальных аппов.

Боже упаси пихать везде

Ну да, тыща параметров в конфиге без документации там именно от этого ) (цеф) про к8с понятно, что он на дикой волне. Но пихать его везде - странно, особенно странно в спарк кластеры, где ты не сможешь удержать загрузку и отделить вычисления от остальных аппов.

О как раз то что у меня хотят спарк в докере на нодах с кассандрой

О как раз то что у меня хотят спарк в докере на нодах с кассандрой

ахахах

О как раз то что у меня хотят спарк в докере на нодах с кассандрой

Это жесть, да

k8s не хватает там %)

Кстати вариант отскочить в таких случаях - предложить LXD вместо докера

+1

а что плохого в этом (в нодах спарка н докере)

Системные контейнеры проще совпровождать чем приложения, но оверхеда на виртуализацию не будет

Его многие не любят, просто я открыто высказываю своё мнение

типа всем остальным страшно? фигня же

Ну да, тыща параметров в конфиге без документации там именно от этого ) (цеф) про к8с понятно, что он на дикой волне. Но пихать его везде - странно, особенно странно в спарк кластеры, где ты не сможешь удержать загрузку и отделить вычисления от остальных аппов.

там же вроде как уже есть четкий cpu scheduler

типа всем остальным страшно? фигня же

Многим страшно против хайпа переть

k8s не хватает там %)

Он там будет, тк cri-o от кубера не отделим

Он там будет, тк cri-o от кубера не отделим

все как ты любишь, смотри-ка )

все как ты любишь, смотри-ка )

...... я тебе прикол расскажу приехав

c точки зрения чистого перфоманса для он-према система с HDFS+YARN будет быстрее, это факт, но с точки зрения управляемости, гомогенности среди - будут люди делать дата лейки на ceph + k8s, истино говорю, если еще не делают

А как же IO?

и создавайте в openstack хосты с spark только когда нужны для обсчёта

Вот мне интересно это кейс какого бизнеса? У которого свой приличный инстанс опенстека, который простаивает? Или типа днём крутим там бизнес, а ночью бизнес гасим и крутим расчеты. Непонятно цель в онпреме таких решений

А как же IO?

А что IO?

Как обеспечить быстрый доступ по сети? Ssd профитнее всегда

Память быстрее

Ssd будет быстрее по latency

Потоковое чтение в память быстрее

По throughput есть сети быстрее дисков

И потом иногда производительности хватает

Память быстрее

Надежность хромает

И потом иногда производительности хватает

Иногда... ?

Пример S3, я не видел быстрее 200 мегабайт в сек на узел, но зато масштабируется хорошо и реплики сразу в трёх АЗ

Вы сейчас обсуждаете момент, когда вам надо просто файлики переложить? Или все таки тот выше момент, когда вы обсуждаете даталейк по сети?

Даталейк

Тогда 200мбс вам может не хватить, когда необходимо будет кучу данных

200 это в очень солнечные дни

Так 100-120

Но на каждый узел

Делаете сто машин - вот вам 10 гигов в сек

Параллельность конечно выручает, но довольно часто присутствуют операции, которые нельзя просто распараллелить. Причем не только в автоматическом режиме, но и через костыли

Делаете сто машин - вот вам 10 гигов в сек

Норм чё, "осваиваем бюджет"?

Если речь о производительности из расчета на доллар то S3 вполне тягается с HDFS

Если мы берём HDFS on ephemerals

Case and point https://databricks.com/blog/2017/05/31/top-5-reasons-for-choosing-s3-over-hdfs.html

S3 не подарок тоже, я тут не продаю Амазон, но если живете на облаке - почти всегда лучше чем hdfs на локальных дисках

Мне просто интересно, как вы обосновываете более 10к$ в год тупо за хранение данных

Мне просто интересно, как вы обосновываете более 10к$ в год тупо за хранение данных

Не понял в чем тут проблема

10к это цена одной тухлой датаноды если он прем

Проблема в долгосрочной перспективе

Какая?

Ладно, вопрос довольно интересный, но сегодня релиз рдр2, поэтому обсудим это как-нибудь в другой раз, возможно даже лично

Вы платите 25 баксов в месяц за терабайт хранения с безумным количеством девяток надежности, не платя за электричество, место в цоде и остальное

Помимо хранения, вам нужно еще что-то, в противном случае это не даталейк, а просто помойка

Вам для такого хранения он прем нужно минимум два кластера из трёх датанодов и солюшен для репликации

Остальное мы строим, тот же метадата стор, линедж если требуется, все как везде

У меня были проблемы с ценой компьюта на Амазоне, но цена хранения как раз копеечная

У меня были проблемы с ценой компьюта на Амазоне, но цена хранения как раз копеечная

да, i3.16xl это попадалово на 5-6 знаков в месяц

на самом деле оно стоит этих денег если использовать для бизнеса и на полную катушку

Если речь о производительности из расчета на доллар то S3 вполне тягается с HDFS

Неа