@hadoopusers

Страница 112 из 182
Grigory
05.07.2018
13:56:17
ну это самое простое

Eduard
05.07.2018
13:57:36
spark.dynamicAllocation.enabled = true

Pavel
05.07.2018
13:57:43
Можешь просто залезть в папку spark_home/conf/Spark-default.conf оттуда берутся дефолте Настройки

Eduard
05.07.2018
13:57:46
вижу вот это

Google
Eduard
05.07.2018
13:58:17
spark.executor.memory 5120M

и все, больше нету ничго про memory )

в spark-defaults.conf тоже ничего нового

судя по докам ничего больше не конфигурится явно https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html можно указать maximizeResourceAllocation и будут еще кое какие параметры сконфигурены

Pavel
05.07.2018
14:10:25
Можно пока явно указать память для драйвера spark.driver.memory по дефолту он равен 1гб

Eduard
05.07.2018
14:11:05
а

+ деф оверхед в 384мб как раз дает 1.4 гб как в логах

спасибо!

щас кластер освобдится - попробую

Daniel
09.07.2018
07:29:59
#job #admin Коллеги попросили вбросить https://www.tinkoff.ru/career/vacancies/administrator-hadoopgreenplum/ Для деталей и откликов писать @chetvegr

bazuka_joe
10.07.2018
09:10:18
у кого-нибудь есть книги по хадупу 3 в pdf?

Daniel
10.07.2018
10:02:24
Вилка?
> Для деталей и откликов писать @chetvegr

Google
ivanovalla
10.07.2018
16:12:45
Есть необычная и редкая вакансия для специалиста по CV/ML, которому интересна сфера киберспорта. Мы уже запустили сервис по обучению на основе AI с качественным видео-контентом, а теперь хотим дополнить его. Что хотим сделать? Создать решение по обработке/анализу видео (реплеев) из игр, с последующим разложением их по определенным показателям или составлять видео по определенным таймстемпам и сшивать это все в единый ролик. https://t.me/allalafm/57 готова в личке ответить на вопросы)

Marina Kryukova
10.07.2018
16:46:10
#job #вакансия #москва #офис Всем здравствуйте! В подразделение Big Data металлургической компании нужны специалисты на позицию Data Engineer. Компания является международным производителем стальной продукции. Производственные активы расположены в России, США, Дании, Бельгии, Франции и Италии. Много наукоемких проектов. Есть возможность выбрать интересное для себя направление. Важно умение работать с большими массивами данных, хорошо понимать как производственные процессы, так и методы математического моделирования. Плюс знания методов подготовки данных, методов статистики, методов оптимизации, методов машинного обучения. Используются: Java, Python (как плюс), знание SQL Hadoop, Excel, Rapid Miner Ключевые задачи: ​- ​Подготовка обучающих выборок для Data Scientist -​​ Интеграция данных. Создание витрин данных для удобства работы Аналитиков и DS -​​ Разработка ПО для регулярной подготовки данных ​- ​Контроль качества данных. Очистка и повышения качества данных Вы будете работать в большом комфортном офисе (ст. м. Полянка/Третьяковская) Работа с лучшими практиками и методологиями в ИТ. Сильный металлургический бизнес на мировом рынке​ - 30% всего металла в стране, продукция поставляется в 70 стран мира, наличие международных активов (четверть проката компания производит в Европе, 20% - в США) Масштабные наукоемкие проекты, которые затрагивают целую отрасль. Соц. пакет. Белая З/П: обсуждаемая вилка 200-220 т.р. net + высокая премия. Большая и открытая к диалогу команда из технически подкованных специалистов, у которых есть чему научиться. Отличная площадка для роста в техническом и горизонтальном направлениях. Пишите @marinakriu или в почту marina.k@atsearch.ru

Nikita
10.07.2018
16:55:10
Рекрутеры что-то зачастили в последнее время, мне кажется

Daria
10.07.2018
16:55:57
Лето

Время когда часто меняют работу)

sherzod
10.07.2018
17:09:50


Константин
10.07.2018
17:11:38
Ахаххп

Oleg
10.07.2018
17:13:04


Константин
10.07.2018
17:16:25
Боян

Grigory
10.07.2018
17:18:53
откуда такая любовь к репосту двача; никто наверное не видел этого мемаса)

Александр
10.07.2018
17:19:56
может человек двача не видел

Старый
10.07.2018
17:26:23
чтот я чаще в требованиях вижу scala\java

а не пайтон

Yurij
10.07.2018
17:27:09
а не пайтон
питон для сотонистов, не?

Старый
10.07.2018
17:27:25
питон для сотонистов, не?
по вакансиям чаще scala чем питон

Лев
10.07.2018
19:45:10
питон для сотонистов, не?
Раньше было так. Сейчас модные статисты пишут сразу на скале и под спарк. Причём не говнокод, а сразу нормальный, оптимальный код

?

Google
Лев
10.07.2018
19:46:21
А то, что касается нейросеток, например?
Ну я тут не силён. Но наверняка есть фреймворки на скале

На скале

Yurij
10.07.2018
19:46:44
Grigory
10.07.2018
19:47:31
оно номинально есть

Лев
10.07.2018
19:47:48
Все что написано на питоняше 100% можно реализовать на Scala/java - я из этого постулата исхожу

Grigory
10.07.2018
19:47:55
Ну я тут не силён. Но наверняка есть фреймворки на скале
да есть что-то но оно не совсем полноценное

Grigory
10.07.2018
19:48:06
Yurij
10.07.2018
19:48:10
оно номинально есть
Я его не изучал

Grigory
10.07.2018
19:48:18
этот вырвиглазный не поддерживемый код на питоне

Yurij
10.07.2018
19:48:22
Просто видел репу

Лев
10.07.2018
19:48:27
Но надо ли?
Вопрос производительности

Grigory
10.07.2018
19:48:47
да я тут хотя конечно увидел макароны - опшоны через иф раскрываемые

эт ппц

Yurij
10.07.2018
19:48:50
надо.
Чтобы Гриша нырнул в нейросети не говоря питон?)

Лев
10.07.2018
19:49:02
этот вырвиглазный не поддерживемый код на питоне
Ну тут на любителя. Scala код для непосвящённого ещё больше вырви глаз

Grigory
10.07.2018
19:49:02
и не только Гриша)

а все

Google
Grigory
10.07.2018
19:49:22
Ну тут на любителя. Scala код для непосвящённого ещё больше вырви глаз
ну конечно, была бы нормальная у питона типизация яб поспосрил

тут вот был проект - 5+ тыщ коммитов питон кода и никто не знает как он работает

отличный экспириенс был ?

какие типы где возвращаются - оч жоско конечно)

Pavel
10.07.2018
19:50:28
Лев
10.07.2018
19:50:33
тут вот был проект - 5+ тыщ коммитов питон кода и никто не знает как он работает
Это ж самая круть. Его ещё можно пооптимизировать искусственным интеллектом ?

Grigory
10.07.2018
19:50:48
Ну, строгая типизация тут тебе бы помогла, да ))
ага в этот момент я просто плакал конечно

Лев
10.07.2018
19:51:01
Ну, строгая типизация тут тебе бы помогла, да ))
Я вообще не понимаю зачем люди за неё топят

Grigory
10.07.2018
19:51:02
ну типа я тратил время на то чтоб ранить и колать функции чтоб понять что там за ретерн тайпы

Grigory
10.07.2018
19:52:02
если ползает значит питон

Лев
10.07.2018
19:52:28
ну это тип шутейка?)
Ну как тебе сказать ты ж в скале тоже на тайп инференге все делаешь

Pavel
10.07.2018
19:52:57
ну типа я тратил время на то чтоб ранить и колать функции чтоб понять что там за ретерн тайпы
Да камон, это нужно ток в изотерическуих языках типа скалы, а в питоне код самодокументирован

Александр
10.07.2018
19:53:06
Лев
10.07.2018
19:53:16
не все
Как бы для упрощения оно туда же двигается, при этом сохраняя возможности строгой типизации

Евгений
10.07.2018
19:53:32
В питоне хорошо и плохо то, что бОльшая часть кода написана (или должна быть написана) на си

Google
Евгений
10.07.2018
19:53:47
Тогда будет быстро и типизированно

Grigory
10.07.2018
19:54:01
мне еще нравятся эти бещеные оверлоады всяких гистограмм и параметры опционально передающиеся

Лев
10.07.2018
19:54:53
Ну народ так-то по чесноку для простых кейсов типы писать заподло. Для сложных, в либах и фреймворках - согласен надо

Grigory
10.07.2018
19:55:42
ну можно - но нету же

вот какраз я за то что бы добавить

много какбудто либ которые математику делают нормальную

Лев
10.07.2018
19:58:05
В скале ещё имхо много усложнений (только не бейте ногами) которые на первый взгляд отталкивают. Например обёртывание в Any и Some

Grigory
10.07.2018
19:59:08
обертывание в Any?

обертывание.ком которое?

Grigory
10.07.2018
20:01:03
): не хочу в прошлое

Страница 112 из 182