Summarizing all the pieces above it looks like skilled anykey job role descripton.

Требования которые я перечислила, скорее не требования, а то чем прийдется заниматься. Для примера есть дорогой спец и бывший студент, у второго выхлоп почему то выше. Поэтому в целом, нужны универсалы, с большим желанием расти в этой области. Возможность такая есть

Соответвенно, доп инструменты в которых работаем: собственно devops, bitbucket, git и т.д.

что за инструмент devops?

Jenkins

дженкинс это CI/CD

это CI

Требования которые я перечислила, скорее не требования, а то чем прийдется заниматься. Для примера есть дорогой спец и бывший студент, у второго выхлоп почему то выше. Поэтому в целом, нужны универсалы, с большим желанием расти в этой области. Возможность такая есть

I can't agree with you, it depends on the tasks...

I can't agree with you, it depends on the tasks...

Задачи типичные, это большие объемы данных, которые надо переколбасить и вытащить 1% нужной инфы

А в большинстве своем менее 1%

Ok...different business, different requirements...fine. But let me advice you to make a comprehensive job description because now it makes a very strange sense for a solid company and respectable person.

В чем странность?

Эх, старина сберыч..

В чем странность?

Мне как-то более странно, что он отвечает вам на английском. Вот это действительно выглядит странно.

Мне как-то более странно, что он отвечает вам на английском. Вот это действительно выглядит странно.

сейчас так модно ;)

https://twitter.com/5D_online/status/938330790437556224?s=20

стоит вообще сейчас в спарк вкатываться? придётся скалу изучать?

стоит вообще сейчас в спарк вкатываться? придётся скалу изучать?

зависит от тебя

много саентологов в петоне

их не беспокоит перформанс и внутрянка спарка

какая разница во что вкатываться) будет не спарк а что-то новое придется в него вкатываться

я немножко на жабе могу и более-менее на питоне. сейчас вообще девопс, но надоело

ну спарк на джаве это не любителя спарк на питоне лоу перформанс и там саентологи

ну и не такой и лоу перформанс на самом деле уже; но есть случаи когда лоу

стоит вообще сейчас в спарк вкатываться? придётся скалу изучать?

Смотря с какой стороны смотреть, data engineering или data science, что ты вообще хочешь от него получить?

Смотря с какой стороны смотреть, data engineering или data science, что ты вообще хочешь от него получить?

и во что по твоему не стоит?

дата енженеринг или саенс

В чем странность?

Потому что последующий разговор оставляет двоякие чувства. Лучше иметь полное описание, чтобы опубликовать его и не писать неоднозначные вещи.

Мне как-то более странно, что он отвечает вам на английском. Вот это действительно выглядит странно.

Разные заморочки у людей?

и во что по твоему не стоит?

Изначальная постановка вопроса не дает понимания, чем хочет заниматься автор.

Изначальная постановка вопроса не дает понимания, чем хочет заниматься автор.

тогда зачем твои комменты вообще?)

ну мож он поинтересовался наскок актуален спарк

Ну вопрос еще про освоение Scala) Задача определяет используемый инструмент, а не наоборот)

Ну вопрос еще про освоение Scala) Задача определяет используемый инструмент, а не наоборот)

в твоей вилке тут одинаково

ну мож он поинтересовался наскок актуален спарк

@rare_case, актуален)

скала и спидран плохому не научат (секунда рекламы)

стоит вообще сейчас в спарк вкатываться? придётся скалу изучать?

Подытожим. Spark актуален. Чем конкретно ты хочешь заниматься?)

Подытожим. Spark актуален. Чем конкретно ты хочешь заниматься?)

наверно стримы из кафки обрабатывать, мне кажется забавно

Spark на Java тихий ужас, убивающий всю элегантность (imho).

наверно стримы из кафки обрабатывать, мне кажется забавно

Ну еще KSQL есть и прочие API, см. соседний канал по Kafka https://t.me/proKafka.

@pomadchin , суть претензии твоей не сразу понял я, сорян)

https://hortonworks.com/blog/gpus-support-in-apache-hadoop-3-1-yarn-hdp-3/

To unlock GPU for DS team within the YARN resource management.

https://hortonworks.com/blog/gpus-support-in-apache-hadoop-3-1-yarn-hdp-3/

Да-да, наконец-то

слон 3.1 релизнулся уже?

слон 3.1 релизнулся уже?

6 апреля жи

слон 3.1 релизнулся уже?

В апреле еще, теперь в HDP собрали...

Да-да, наконец-то

Поздравляю!

#вакансия #Москва #BigData #hadoop #x5retailgroup Все привет! Очень ждем в нашу классную команду #IT #x5retailgroup Разработчиков на hadoop. Будем строить архитектуру с 0. По компонентам: Kafka, HDFS, Greenplum, Exasol. Считалка на Spark и Greenplum. Из транспортных тулзов до лейка: nifi, sqoop, flume. Мы предлагаем: -официальное оформление по ТК РФ -конкурентную заработную плату + годовой бонус -соц.пакет: ДМС, скидки в магазинах, корп.мобильная связь, дисконтные партнерские программы Территориально -Москва, м.Волгоградский проспект ЗП обсуждается индивидуально подробности в личку или на почту anna.skripchenko@x5.ru

слон 3.1 релизнулся уже?

Как мы безнадежно отстали

#вакансия #Москва #BigData #hadoop #x5retailgroup Все привет! Очень ждем в нашу классную команду #IT #x5retailgroup Разработчиков на hadoop. Будем строить архитектуру с 0. По компонентам: Kafka, HDFS, Greenplum, Exasol. Считалка на Spark и Greenplum. Из транспортных тулзов до лейка: nifi, sqoop, flume. Мы предлагаем: -официальное оформление по ТК РФ -конкурентную заработную плату + годовой бонус -соц.пакет: ДМС, скидки в магазинах, корп.мобильная связь, дисконтные партнерские программы Территориально -Москва, м.Волгоградский проспект ЗП обсуждается индивидуально подробности в личку или на почту anna.skripchenko@x5.ru

А разве Х5 на Добрынинскую не переехал?

Как мы безнадежно отстали

по беглому обзору оно (yarn) все еще отстает от slurm

по беглому обзору оно (yarn) все еще отстает от slurm

Он же не про это

че это?

ресур менеджер не про ресурс менеджмент?

Ну хадуп больше функционала Несёт ж

Там фс и все вокруг неё

я ж там уточнял про ярн

А

Ок

С мезосом сравни )

начался с него разговор прост

мезос че то оказался в приоритетах ниже ярна даже

кубер по фичам вообще в пролете

кубер по фичам вообще в пролете

он чет сыроват и жпу нет

а что там с докером на жпу? я думал что уже обычный докер все сапортит

что надо прокинуть можно и все

а что там с докером на жпу? я думал что уже обычный докер все сапортит

есть плагин от нвидии, но я пока ток нагуглил и еще не смотрел что там

вроде как это уже старье

наши пускают на ECS както

проблема только не в запуске, а в том чтоб ресурсами управлять собсно потому и ковыряюсь

проблема только не в запуске, а в том чтоб ресурсами управлять собсно потому и ковыряюсь

да тут полная шляпа у кубера

проблема только не в запуске, а в том чтоб ресурсами управлять собсно потому и ковыряюсь

А мезос че ? Он ж умеет гпу

Данила пробует более матьюрное и неочеивдное решение

будет блог пост хотя бы поповоду этого? риквестирую

мне очень интересно

можно даже .md криво накаляканую) на гисте

А мезос че ? Он ж умеет гпу

и ярн и слёрм умеют не аргумент последний юзают на большинстве гигантских кластеров сейчас, как оказалось про ярн когда ковырял, то упустил момент что они уже релизнули фичу, но докер в экспериментальной стадии еще про мезос босс наслушался, что сложно саппортить, поэтому отодвинулся

ну кстати мезос не тяжело сапортить вот кубер.

будет блог пост хотя бы поповоду этого? риквестирую

попробую, но я не смогу нормальное сравнение с другими сделать, потому что остановлюсь как только найду нужное решение

троллеркостер мод он, нарезать куски от одного видеочипа и отдавать контейнерам

троллеркостер мод он, нарезать куски от одного видеочипа и отдавать контейнерам

работает через костыль только на вольтах (на самом деле как выяснилось можно и без, но там все сломается как только вылезти за имеющиеся ресурсы) в грядущих гпу можно будет (потенциально!) резать

попробую, но я не смогу нормальное сравнение с другими сделать, потому что остановлюсь как только найду нужное решение

как угодно! мне кажется такое сравнение даже лучше будет

не то что сравнение можно даже просто про слерм написать

акутальная инфа от ньюкамера лучшее что можно придумать

12k за карту, чет такое

12k за карту, чет такое

поэтому для кучи людей Эпопилить гпу на отдельные ресурс куски" работает сейчас никак

только целыми картами

и ярн и слёрм умеют не аргумент последний юзают на большинстве гигантских кластеров сейчас, как оказалось про ярн когда ковырял, то упустил момент что они уже релизнули фичу, но докер в экспериментальной стадии еще про мезос босс наслушался, что сложно саппортить, поэтому отодвинулся

Босс наслушался ?)