
Grigory
05.07.2018
13:56:17
ну это самое простое

Eduard
05.07.2018
13:57:36
spark.dynamicAllocation.enabled = true

Pavel
05.07.2018
13:57:43
Можешь просто залезть в папку spark_home/conf/Spark-default.conf оттуда берутся дефолте Настройки

Eduard
05.07.2018
13:57:46
вижу вот это

Google

Eduard
05.07.2018
13:58:17
spark.executor.memory 5120M
и все, больше нету ничго про memory )
в spark-defaults.conf тоже ничего нового
судя по докам ничего больше не конфигурится явно https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html
можно указать maximizeResourceAllocation и будут еще кое какие параметры сконфигурены

Pavel
05.07.2018
14:10:25
Можно пока явно указать память для драйвера spark.driver.memory по дефолту он равен 1гб

Eduard
05.07.2018
14:11:05
а
+ деф оверхед в 384мб как раз дает 1.4 гб как в логах
спасибо!
щас кластер освобдится - попробую

Daniel
09.07.2018
07:29:59
#job #admin
Коллеги попросили вбросить https://www.tinkoff.ru/career/vacancies/administrator-hadoopgreenplum/
Для деталей и откликов писать @chetvegr

bazuka_joe
10.07.2018
09:10:18
у кого-нибудь есть книги по хадупу 3 в pdf?

Artem
10.07.2018
10:02:05

Daniel
10.07.2018
10:02:24
Вилка?
> Для деталей и откликов писать @chetvegr

Google

Artem
10.07.2018
10:02:38

ivanovalla
10.07.2018
16:12:45
Есть необычная и редкая вакансия для специалиста по CV/ML, которому интересна сфера киберспорта.
Мы уже запустили сервис по обучению на основе AI с качественным видео-контентом, а теперь хотим дополнить его.
Что хотим сделать?
Создать решение по обработке/анализу видео (реплеев) из игр, с последующим разложением их по определенным показателям или составлять видео по определенным таймстемпам и сшивать это все в единый ролик.
https://t.me/allalafm/57
готова в личке ответить на вопросы)


Marina Kryukova
10.07.2018
16:46:10
#job #вакансия #москва #офис
Всем здравствуйте!
В подразделение Big Data металлургической компании нужны специалисты на позицию Data Engineer.
Компания является международным производителем стальной продукции. Производственные активы расположены в России, США, Дании, Бельгии, Франции и Италии. Много наукоемких проектов. Есть возможность выбрать интересное для себя направление.
Важно умение работать с большими массивами данных, хорошо понимать как производственные процессы, так и методы математического моделирования. Плюс знания методов подготовки данных, методов статистики, методов оптимизации, методов машинного обучения.
Используются:
Java, Python (как плюс), знание SQL
Hadoop, Excel, Rapid Miner
Ключевые задачи:
- Подготовка обучающих выборок для Data Scientist
- Интеграция данных. Создание витрин данных для удобства работы Аналитиков и DS
- Разработка ПО для регулярной подготовки данных
- Контроль качества данных. Очистка и повышения качества данных
Вы будете работать в большом комфортном офисе (ст. м. Полянка/Третьяковская)
Работа с лучшими практиками и методологиями в ИТ.
Сильный металлургический бизнес на мировом рынке - 30% всего металла в стране, продукция поставляется в 70 стран мира, наличие международных активов (четверть проката компания производит в Европе, 20% - в США)
Масштабные наукоемкие проекты, которые затрагивают целую отрасль.
Соц. пакет. Белая З/П: обсуждаемая вилка 200-220 т.р. net + высокая премия.
Большая и открытая к диалогу команда из технически подкованных специалистов, у которых есть чему научиться.
Отличная площадка для роста в техническом и горизонтальном направлениях.
Пишите @marinakriu или в почту marina.k@atsearch.ru


Nikita
10.07.2018
16:55:10
Рекрутеры что-то зачастили в последнее время, мне кажется

Daria
10.07.2018
16:55:57
Лето
Время когда часто меняют работу)

sherzod
10.07.2018
17:09:50

Константин
10.07.2018
17:11:38
Ахаххп

Oleg
10.07.2018
17:13:04

Константин
10.07.2018
17:16:25
Боян

Grigory
10.07.2018
17:18:53
откуда такая любовь к репосту двача; никто наверное не видел этого мемаса)

Александр
10.07.2018
17:19:56
может человек двача не видел

Старый
10.07.2018
17:26:23
чтот я чаще в требованиях вижу scala\java
а не пайтон

Yurij
10.07.2018
17:27:09

Старый
10.07.2018
17:27:25

Лев
10.07.2018
19:45:10
питон для сотонистов, не?
Раньше было так. Сейчас модные статисты пишут сразу на скале и под спарк. Причём не говнокод, а сразу нормальный, оптимальный код
?

Yurij
10.07.2018
19:45:46
Я слегка отстал от жизни

Google

Лев
10.07.2018
19:46:21
На скале

Yurij
10.07.2018
19:46:44

Grigory
10.07.2018
19:47:31
оно номинально есть

Лев
10.07.2018
19:47:48
Все что написано на питоняше 100% можно реализовать на Scala/java - я из этого постулата исхожу

Grigory
10.07.2018
19:47:55

Yurij
10.07.2018
19:48:00

Grigory
10.07.2018
19:48:06

Yurij
10.07.2018
19:48:10

Grigory
10.07.2018
19:48:18
этот вырвиглазный не поддерживемый код на питоне

Yurij
10.07.2018
19:48:22
Просто видел репу

Лев
10.07.2018
19:48:27

Grigory
10.07.2018
19:48:47
да я тут хотя конечно увидел макароны - опшоны через иф раскрываемые
эт ппц

Yurij
10.07.2018
19:48:50
надо.
Чтобы Гриша нырнул в нейросети не говоря питон?)

Grigory
10.07.2018
19:48:59

Лев
10.07.2018
19:49:02

Grigory
10.07.2018
19:49:02
и не только Гриша)
а все

Google

Grigory
10.07.2018
19:49:22
тут вот был проект - 5+ тыщ коммитов питон кода
и никто не знает как он работает
отличный экспириенс был ?
какие типы где возвращаются - оч жоско конечно)

Pavel
10.07.2018
19:50:28

Лев
10.07.2018
19:50:33

Grigory
10.07.2018
19:50:48

Artem
10.07.2018
19:50:55

Лев
10.07.2018
19:51:01

Grigory
10.07.2018
19:51:02
ну типа я тратил время на то чтоб ранить и колать функции чтоб понять что там за ретерн тайпы

Лев
10.07.2018
19:51:44

Grigory
10.07.2018
19:52:02
если ползает значит питон

Лев
10.07.2018
19:52:28

Grigory
10.07.2018
19:52:39

Pavel
10.07.2018
19:52:57

Александр
10.07.2018
19:53:06

Лев
10.07.2018
19:53:16
не все
Как бы для упрощения оно туда же двигается, при этом сохраняя возможности строгой типизации

Grigory
10.07.2018
19:53:26

Евгений
10.07.2018
19:53:32
В питоне хорошо и плохо то, что бОльшая часть кода написана (или должна быть написана) на си

Google

Евгений
10.07.2018
19:53:47
Тогда будет быстро и типизированно

Grigory
10.07.2018
19:54:01
мне еще нравятся эти бещеные оверлоады всяких гистограмм и параметры опционально передающиеся

Лев
10.07.2018
19:54:53
Ну народ так-то по чесноку для простых кейсов типы писать заподло. Для сложных, в либах и фреймворках - согласен надо

Pavel
10.07.2018
19:55:23

Grigory
10.07.2018
19:55:42
ну можно - но нету же
вот какраз я за то что бы добавить
много какбудто либ которые математику делают нормальную

Лев
10.07.2018
19:58:05
В скале ещё имхо много усложнений (только не бейте ногами) которые на первый взгляд отталкивают. Например обёртывание в Any и Some

Grigory
10.07.2018
19:59:08
обертывание в Any?
обертывание.ком которое?

Yurij
10.07.2018
20:00:41

Grigory
10.07.2018
20:01:03
): не хочу в прошлое