В питоне очень широкий выбор, на сколько я понимаю

я даю метод, принимающий лист, туда передают None и сильно удивляются, когда я наотрез отказывюсь его автоконверитить

только сегодня было

язык такое провоцирует

а ещё увлекательный квест "угадай, что возвращает функция", от авторов "давайте чуть поправим сигнатуру вызова в рантайме"

питон годен лишь в качестве обертки над чем-то, или если < 100 строчек

100 строчек на пайспарке плюс пары "библиотечных" файлов ещё на 100 строчек вполне достаточно для организации процесса обработки данных

если более-менее похожие агрегаты надо строить по разным источникам

слеши в конце каждой строки немного подбешивают, мешаются слегка, но в целом норм

слеши в конце каждой строки немного подбешивают, мешаются слегка, но в целом норм

точно, ещё 80 символов длина метода, доисторический стандарт да у меня имена функций иногда на половину этого

ну кафка уплыла, че

Когда уже котлин завезут ых

та давно

собсно, завозить нечего, это ж джава

дык да

можно спарк жобы на котлине писать

Дык да, но не совсем

а котлин сам по себе не совсем

а котлин сам по себе не совсем

Не соглашусь

и не надо

гм, вот в этой группе котлиносрача ещё не было!

да, поэтму я решил присечь это на корню

ладно питон; но котлин

еще голанг можно вбросить

по тонкому льду гуляем

i think spark could and probably should be written in golang

Просто грустно что его приходится использовать только в своих пет проектах

Просто грустно что его приходится использовать только в своих пет проектах

хватит набрасывать

i think spark could and probably should be written in golang

а было что-то такое

был спарк на расте))

с 0 коммитов

на го 100% видел

аааа точно было вспомнил

там чтото бигдата какието файлы

ага

и типа вот она ьбыстрая бигдата типа хадуп ненужон

ну там ор какойто был))

был спарк на расте))

я как-то нашел спарк на расте и там даже чет по-серьезке

https://github.com/datafusion-rs/datafusion

Ну народ так-то по чесноку для простых кейсов типы писать заподло. Для сложных, в либах и фреймворках - согласен надо

Поэтому надо юзать языки с нормальным инференсом типа хацкелля. А лучше драйвить мир идриса.

На чем сошлись в итоге?

Всем привет, у вас + 1 noob)

Всем привет, у вас + 1 noob)

Привет

На чем сошлись в итоге?

Ну, я сошелся на том, что типы в рантайме менять не надо просто

Кстати, скала с её имплисит классами в этом вопросе впереди планеты всей)

Если всё аккуратно сделать, то цепочка преобразований выглядит очень красиво, но можно и фигни написать, которую читать невозможно

#job Привет, всем. Ищу Scala инженера для нескольких компаний: Голландия, Испания, Германия. Пишите в личку если кто-то открыт к подобным предложением. Релокейт.

#job Привет, всем. Ищу Scala инженера для нескольких компаний: Голландия, Испания, Германия. Пишите в личку если кто-то открыт к подобным предложением. Релокейт.

Из привлекательных моментов получается только релокейт? Зп, проекты, команды просто отвратные?

Из привлекательных моментов получается только релокейт? Зп, проекты, команды просто отвратные?

Нет. Проекты, на мой взгляд, все хорошие, просто разные. Не хотел писать всё в одном посте, потому как информации много. Если кто-то рассматривает релокейт — пожалуйста, пишите: я опишу всё детально.

Нет. Проекты, на мой взгляд, все хорошие, просто разные. Не хотел писать всё в одном посте, потому как информации много. Если кто-то рассматривает релокейт — пожалуйста, пишите: я опишу всё детально.

можешь и тут описать, против не думаю что будут люди

Раньше просто вилки не расшаривали, теперь мода не расшаривать само описание вакансии. Дальше что, закладки с описанием надо будет искать?

это из серии когда Hr в линкедине кидают инвайт без вакансий в приложении

Раньше просто вилки не расшаривали, теперь мода не расшаривать само описание вакансии. Дальше что, закладки с описанием надо будет искать?

Если вы рассматриваете релокейт - я могу всё описать вам в личку. У меня есть 4 абсолютно разных проекта. Я не хотел флудить.

это из серии когда Hr в линкедине кидают инвайт без вакансий в приложении

Не совсем корректное сравнение.

Раньше просто вилки не расшаривали, теперь мода не расшаривать само описание вакансии. Дальше что, закладки с описанием надо будет искать?

позвонить, созвонимся и все все обясню. (сотка инфа)

позвонить, созвонимся и все все обясню. (сотка инфа)

причем это не шутка, в британии только так и делают

и звонят без предупреждения в рабочее время

да на самом деле любое предложение работы это хорошо

не, ну кто-нить мож напишет, кто очень хочет переехать мне просто не хочется время тратить и я скипну, потому что я оцениваю по совокупности факторов и за всё время было только одно предложение интереснее текущей позиции (оценивать нечего и вероятность мала)

#job Привет, всем. Ищу Scala инженера для нескольких компаний: Голландия, Испания, Германия. Пишите в личку если кто-то открыт к подобным предложением. Релокейт.

диплом о вышке нужен ?

диплом о вышке нужен ?

Да.

Ребята, а вот такой вопрос. Кто-то учит сетки в связке со спарком? Хотелось бы, чтобы кто-то сделал доклад про DL-ландшафт. Не в смысле, отмолотили трейн в спарке, сохранили csv и научили TF, PyTorch, you name it. А в смысле в тесной связке? Чтобы и ресурсы ресурс менеджером выделялись и тесная связанность. Что-то типа H2O, bigdl, TensorFlowOnSpark. Есть такой опыт?

Да.

в испанию же средне-специальное канает,и в голандию

Ребят, привет. Понимаю, что вакансии зачастили, но очень надо. Нужен hadoop, готовы учить джунов.

Junior / Middle / Senior hadoop developer, 500-1500 р/час (обсуждается по итогам собеседования) в компанию zyfra.com Ищем разработчиков hadoop на проект как минимум на июль-декабрь 2018 года. Говоря красивым языком, в проекте имеется десятки источников больших данных, необходимо разрабатывать интеграции, производить расчет производных витрин. Говоря простым языком, есть много данных из разных систем (транспорт), их нужно положить к нам, потом посчитать на их основе что-то, снова посчитать (повторить необходимое количество раз), может быть, переложить по цепочке дальше. В отличие от стандартных ETL, фишка в экосистеме и в объеме данных. В приоритете - работа full-time в офисе, но могут быть рассмотрены варианты удаленной работы. Требования: - понимание общей архитектуры hadoop - git, хорошие практики разработки - уверенная работа с Linux - знание SQL (Hive) - знание Spark (python) Приветствуется: - знакомство с HortonWorks Data Platform - Java Важно: если вы джун, который хочет получить экспертизу в достаточно закрытом на текущий момент домене, в котором сейчас не хватает людей на рынке, это хороший шанс. От джуна требуется знание хотя бы python, умение в linux и git. Всему научим. Стараемся делать гибко и быстро. В личку или на olga.ionova@zyfra.com

Всем привет! Приглашаем разработчиков, руководителей ИТ-департаментов и аналитиков на день открытых дверей очного курса Data Scientist! Программа дня открытых дверей — О курсе Data Scientist: программа, эксперты, форматы обучения и варианты дипломного проекта — Обработка данных на Python с использованием pandas: разбор кейсов и построение простой модели — Воркшоп по подготовке данныхдля рекомендательной системы: PostgreSQL + Mongo Для участников встречи действует специальная цена на обучение — минус 35 тысяч рублей. 18 июля / 18:45 Место встречи: Кампус Нетологии в Москве Узнать больше здесь: http://netolo.gy/euv

Добрый день . Следующий вопрос: минимальный by default интервал в oozie 5 минут. Есть ли возможность его уменьшения ?

Добрый день . Следующий вопрос: минимальный by default интервал в oozie 5 минут. Есть ли возможность его уменьшения ?

oozie.service.CoordMaterializeTriggerService.lookup.interval

Спасибо !

https://dzone.com/articles/apache-mesos-and-kafka-streams-for-highly-scalable?utm_source=Top%205&utm_medium=email&utm_campaign=Top%205%202018-07-133

Меня поражают зарплаты в Москве конечно. В Киеве биг дата инженеры начинаются от 240... И до 400 тыс руб

В Киеве ЧП и маленький налог

В МСК больше налогов платят

Тоже правда. Сколько? У нас 5 процентов

В Киеве ЧП и маленький налог

Скорее из за того что это оутсорс

Тоже правда. Сколько? У нас 5 процентов

Там все устроены через ип как правило

У нас все таки в штат берут

Да, ИП и налог 5 процентов. Я из Киева

Тоже правда. Сколько? У нас 5 процентов

Порядка 43

13% сам платишь и порядка 36% работодатель

Пичот

(тут должна быть шутка про пенсии)

И ндс

И бенз

Порядка 43

Это неправда