ну это самое простое

spark.dynamicAllocation.enabled = true

Можешь просто залезть в папку spark_home/conf/Spark-default.conf оттуда берутся дефолте Настройки

вижу вот это

spark.executor.memory 5120M

и все, больше нету ничго про memory )

в spark-defaults.conf тоже ничего нового

судя по докам ничего больше не конфигурится явно https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html можно указать maximizeResourceAllocation и будут еще кое какие параметры сконфигурены

Можно пока явно указать память для драйвера spark.driver.memory по дефолту он равен 1гб

а

+ деф оверхед в 384мб как раз дает 1.4 гб как в логах

спасибо!

щас кластер освобдится - попробую

#job #admin Коллеги попросили вбросить https://www.tinkoff.ru/career/vacancies/administrator-hadoopgreenplum/ Для деталей и откликов писать @chetvegr

у кого-нибудь есть книги по хадупу 3 в pdf?

#job #admin Коллеги попросили вбросить https://www.tinkoff.ru/career/vacancies/administrator-hadoopgreenplum/ Для деталей и откликов писать @chetvegr

Вилка?

Вилка?

> Для деталей и откликов писать @chetvegr

> Для деталей и откликов писать @chetvegr

Спс

Есть необычная и редкая вакансия для специалиста по CV/ML, которому интересна сфера киберспорта. Мы уже запустили сервис по обучению на основе AI с качественным видео-контентом, а теперь хотим дополнить его. Что хотим сделать? Создать решение по обработке/анализу видео (реплеев) из игр, с последующим разложением их по определенным показателям или составлять видео по определенным таймстемпам и сшивать это все в единый ролик. https://t.me/allalafm/57 готова в личке ответить на вопросы)

#job #вакансия #москва #офис Всем здравствуйте! В подразделение Big Data металлургической компании нужны специалисты на позицию Data Engineer. Компания является международным производителем стальной продукции. Производственные активы расположены в России, США, Дании, Бельгии, Франции и Италии. Много наукоемких проектов. Есть возможность выбрать интересное для себя направление. Важно умение работать с большими массивами данных, хорошо понимать как производственные процессы, так и методы математического моделирования. Плюс знания методов подготовки данных, методов статистики, методов оптимизации, методов машинного обучения. Используются: Java, Python (как плюс), знание SQL Hadoop, Excel, Rapid Miner Ключевые задачи: ​- ​Подготовка обучающих выборок для Data Scientist -​​ Интеграция данных. Создание витрин данных для удобства работы Аналитиков и DS -​​ Разработка ПО для регулярной подготовки данных ​- ​Контроль качества данных. Очистка и повышения качества данных Вы будете работать в большом комфортном офисе (ст. м. Полянка/Третьяковская) Работа с лучшими практиками и методологиями в ИТ. Сильный металлургический бизнес на мировом рынке​ - 30% всего металла в стране, продукция поставляется в 70 стран мира, наличие международных активов (четверть проката компания производит в Европе, 20% - в США) Масштабные наукоемкие проекты, которые затрагивают целую отрасль. Соц. пакет. Белая З/П: обсуждаемая вилка 200-220 т.р. net + высокая премия. Большая и открытая к диалогу команда из технически подкованных специалистов, у которых есть чему научиться. Отличная площадка для роста в техническом и горизонтальном направлениях. Пишите @marinakriu или в почту marina.k@atsearch.ru

Рекрутеры что-то зачастили в последнее время, мне кажется

Лето

Время когда часто меняют работу)

Ахаххп

Боян

откуда такая любовь к репосту двача; никто наверное не видел этого мемаса)

может человек двача не видел

чтот я чаще в требованиях вижу scala\java

а не пайтон

а не пайтон

питон для сотонистов, не?

питон для сотонистов, не?

по вакансиям чаще scala чем питон

питон для сотонистов, не?

Раньше было так. Сейчас модные статисты пишут сразу на скале и под спарк. Причём не говнокод, а сразу нормальный, оптимальный код

?

Раньше было так. Сейчас модные статисты пишут сразу на скале и под спарк. Причём не говнокод, а сразу нормальный, оптимальный код

А то, что касается нейросеток, например?

Я слегка отстал от жизни

А то, что касается нейросеток, например?

Ну я тут не силён. Но наверняка есть фреймворки на скале

На скале

Ну я тут не силён. Но наверняка есть фреймворки на скале

Есть скала апи для тензорфлоу

Есть скала апи для тензорфлоу

не смеши...

оно номинально есть

Все что написано на питоняше 100% можно реализовать на Scala/java - я из этого постулата исхожу

Ну я тут не силён. Но наверняка есть фреймворки на скале

да есть что-то но оно не совсем полноценное

Все что написано на питоняше 100% можно реализовать на Scala/java - я из этого постулата исхожу

Но надо ли?

Но надо ли?

надо.

оно номинально есть

Я его не изучал

этот вырвиглазный не поддерживемый код на питоне

Просто видел репу

Но надо ли?

Вопрос производительности

да я тут хотя конечно увидел макароны - опшоны через иф раскрываемые

эт ппц

надо.

Чтобы Гриша нырнул в нейросети не говоря питон?)

Чтобы Гриша нырнул в нейросети не говоря питон?)

да!

этот вырвиглазный не поддерживемый код на питоне

Ну тут на любителя. Scala код для непосвящённого ещё больше вырви глаз

и не только Гриша)

а все

Ну тут на любителя. Scala код для непосвящённого ещё больше вырви глаз

ну конечно, была бы нормальная у питона типизация яб поспосрил

тут вот был проект - 5+ тыщ коммитов питон кода и никто не знает как он работает

отличный экспириенс был ?

какие типы где возвращаются - оч жоско конечно)

тут вот был проект - 5+ тыщ коммитов питон кода и никто не знает как он работает

Ну, строгая типизация тут тебе бы помогла, да ))

тут вот был проект - 5+ тыщ коммитов питон кода и никто не знает как он работает

Это ж самая круть. Его ещё можно пооптимизировать искусственным интеллектом ?

Ну, строгая типизация тут тебе бы помогла, да ))

ага в этот момент я просто плакал конечно

Это ж самая круть. Его ещё можно пооптимизировать искусственным интеллектом ?

Чтоб еще тысяч 50 коммитов

Ну, строгая типизация тут тебе бы помогла, да ))

Я вообще не понимаю зачем люди за неё топят

ну типа я тратил время на то чтоб ранить и колать функции чтоб понять что там за ретерн тайпы

Я вообще не понимаю зачем люди за неё топят

ну это тип шутейка?)

ну типа я тратил время на то чтоб ранить и колать функции чтоб понять что там за ретерн тайпы

А нафига? Если крякает, значит утка ?

если ползает значит питон

ну это тип шутейка?)

Ну как тебе сказать ты ж в скале тоже на тайп инференге все делаешь

Ну как тебе сказать ты ж в скале тоже на тайп инференге все делаешь

не все

ну типа я тратил время на то чтоб ранить и колать функции чтоб понять что там за ретерн тайпы

Да камон, это нужно ток в изотерическуих языках типа скалы, а в питоне код самодокументирован

да я тут хотя конечно увидел макароны - опшоны через иф раскрываемые

А видел Scala который пишут прошлые c++ ники?

не все

Как бы для упрощения оно туда же двигается, при этом сохраняя возможности строгой типизации

Да камон, это нужно ток в изотерическуих языках типа скалы, а в питоне код самодокументирован

Ты оч прав

В питоне хорошо и плохо то, что бОльшая часть кода написана (или должна быть написана) на си

Тогда будет быстро и типизированно

мне еще нравятся эти бещеные оверлоады всяких гистограмм и параметры опционально передающиеся

Ну народ так-то по чесноку для простых кейсов типы писать заподло. Для сложных, в либах и фреймворках - согласен надо

мне еще нравятся эти бещеные оверлоады всяких гистограмм и параметры опционально передающиеся

В скале же тоже так можно.

ну можно - но нету же

вот какраз я за то что бы добавить

много какбудто либ которые математику делают нормальную

В скале ещё имхо много усложнений (только не бейте ногами) которые на первый взгляд отталкивают. Например обёртывание в Any и Some

обертывание в Any?

обертывание.ком которое?

тут вот был проект - 5+ тыщ коммитов питон кода и никто не знает как он работает

просто ты не умеешь в питон, вот и все

): не хочу в прошлое