че т я сомневаюсь что сломал

может наоборот несколько других спас

Ждём работы на upwork за 10$

Кто-нибудь сталкивался с тем, что на pyspark'овом стриминге при попытке использовать checkpoint вылетает 'builtin_in_function_or_method' object has no attribute '__code__' ? Как это можно обойти?

я даже не слышал, что такое pyspark, но всё же задам вопрос Какой у вас python?

биндинг же к спарку

aok

Кто-нибудь сталкивался с тем, что на pyspark'овом стриминге при попытке использовать checkpoint вылетает 'builtin_in_function_or_method' object has no attribute '__code__' ? Как это можно обойти?

Так какой у вас стоит Python?

Питон 3.5.2, спарк 1.6.0

Странненько

Могу подсказать лишь по питону(по спарку не разбираюсь), что что-то пытается достать "исходный код" у встроенной функции

Если это и было для вас очевидно, тогда ладно)

Спасибо и на этом)

Andrew, do you try to use a non-serializable function in your transformations? It sounds like a serialization problem during checkpointing when PySpark tries to save the lineage graph.

Похоже на то, видимо иерархии классов на abc не сериализуются

Try to get rid of that fucntion or change it appropriately.

core-site <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzoCode c,com.hadoop.compression.lzo.LzopCodec</value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property>

И джоба падает не каждый раз? То есть иногда на тех же файлах успешно отрабатывает?

И джоба падает не каждый раз? То есть иногда на тех же файлах успешно отрабатывает?

За 2 месяца раза 2 падало по такой причине, в день их штук 20 по расписанию

А можно как-то по job history server отследить? Возможно, падает на каких-то определенных тачках, где конфиги отличаются

Надо глянуть где запускался Application Master в интерфейсе JobHistoryServer

А можно как-то по job history server отследить? Возможно, падает на каких-то определенных тачках, где конфиги отличаются

Spark uses distributed cache of jars so it shouldn't be caused by local confs. Did you have any AWS nodes problems? Suggest that you use the cluster mode.

Привет! Ищу руководителя отдела систем хранения больших данных (DWH). Буду признателен за любой совет или рекомендацию!

всем привет! подскажите, кто-то из присутствующих использует Oracle Big Data Appliance?

Я)

Привет! Ищу руководителя отдела систем хранения больших данных (DWH). Буду признателен за любой совет или рекомендацию!

Так а город))

Я)

поздравляю с хорошим бюджетом ;) подскажите, в BDA уже стоит Enterprise Parquet? сильно лучше поднимает данные с ячеек?

Так а город))

Москва!

и ещё: как-то справляетесь с проблемой обработки больших объёмов датасетов с 255+ столбцов?

и ещё: как-то справляетесь с проблемой обработки больших объёмов датасетов с 255+ столбцов?

df.select(shuffle(df.columns).take(10)).map(col(_)))обычно справляется с этим как нельзя лучше

#job #вакансия #Америка #Штаты #SeniorDataEngineer #Data Engineer #удаленная работа в калифорнийской компании #полная занятость #Россия #Москва #Санкт- Петербург ЗП от 180 000 р. до плюс бесконечности. Английский язык нужен обязательно. Компания является создателями мощной технологической платформы, обеспечивающей возможность vpn подключения, конфиденциальности и свободы для миллионов людей во всем мире. Писать мне в личку или на почту yuliykirillova@yandex.ru Обязанности: Создавайте масштабируемый и надежный конвейер данных в реальном времени на технологиях с открытым исходным кодом, который собирает, преобразует, загружает и обрабатывает данные из различных внутренних и внешних источников данных Создайте масштабируемое распределенное хранилище данных Создавайте инструменты, которые помогают бизнес-пользователям быстрее извлекать, анализировать и визуализировать данные, а также аналитикам данных для создания сложных запросов и выполнения расширенного анализа. Оцените новые технологии и создайте прототипы для непрерывного совершенствования Data Engineering Партнерство с инженерными командами для обеспечения контроля, регистрации и мониторинга ТРЕБУЕМЫЙ ОПЫТ: Широкий опыт использования технологий с открытым исходным кодом Big Data Spark, Kafka, Hadoop и Hive Опыт построения и мониторинга почти в реальном масштабе времени масштабируемых ETL-процессов управления хранилищами данных Опыт работы с инструментами обработки данных, такими как AirFlow, Azkaban или Oozie 5-летний опыт работы с Java, Scala и Python Более 5 лет опыта работы с SQL (MySQL, PostgreSQL, Oracle и т. Д.) Опыт работы с оболочкой Отличные письменные и устные навыки общения BS или MS в области компьютерных наук или соответствующей технической области Опыт работы с Tableau, Apache Superset или Apache Zeppelin станет плюсом Опыт работы с Docker, Kubernetes и Linux Advanced Administration станет плюсом Опыт работы с командой, распределенной по часовым поясам, будет плюсом

@krivdathetriewe

#job #вакансия #Америка #Штаты #SeniorDataEngineer #Data Engineer #удаленная работа в калифорнийской компании #полная занятость #Россия #Москва #Санкт- Петербург ЗП от 180 000 р. до плюс бесконечности. Английский язык нужен обязательно. Компания является создателями мощной технологической платформы, обеспечивающей возможность vpn подключения, конфиденциальности и свободы для миллионов людей во всем мире. Писать мне в личку или на почту yuliykirillova@yandex.ru Обязанности: Создавайте масштабируемый и надежный конвейер данных в реальном времени на технологиях с открытым исходным кодом, который собирает, преобразует, загружает и обрабатывает данные из различных внутренних и внешних источников данных Создайте масштабируемое распределенное хранилище данных Создавайте инструменты, которые помогают бизнес-пользователям быстрее извлекать, анализировать и визуализировать данные, а также аналитикам данных для создания сложных запросов и выполнения расширенного анализа. Оцените новые технологии и создайте прототипы для непрерывного совершенствования Data Engineering Партнерство с инженерными командами для обеспечения контроля, регистрации и мониторинга ТРЕБУЕМЫЙ ОПЫТ: Широкий опыт использования технологий с открытым исходным кодом Big Data Spark, Kafka, Hadoop и Hive Опыт построения и мониторинга почти в реальном масштабе времени масштабируемых ETL-процессов управления хранилищами данных Опыт работы с инструментами обработки данных, такими как AirFlow, Azkaban или Oozie 5-летний опыт работы с Java, Scala и Python Более 5 лет опыта работы с SQL (MySQL, PostgreSQL, Oracle и т. Д.) Опыт работы с оболочкой Отличные письменные и устные навыки общения BS или MS в области компьютерных наук или соответствующей технической области Опыт работы с Tableau, Apache Superset или Apache Zeppelin станет плюсом Опыт работы с Docker, Kubernetes и Linux Advanced Administration станет плюсом Опыт работы с командой, распределенной по часовым поясам, будет плюсом

5 лет баз и 5 лет программирования с разговорным английским и за это 180к?

смешно

от 180 написано же

смешно

А вы читать умеете ? Там от 180 000р и без ограничений, у меня сейчас 5 кандидатов к ним на очередь собеседования стоит с зп 300 000р

я вижу "от", только с такими требованиями вилка должна начинаться от 240к минимум

А вы читать умеете ? Там от 180 000р и без ограничений, у меня сейчас 5 кандидатов к ним на очередь собеседования стоит с зп 300 000р

если сейчас так рекрутёры с людьми общаются, то не нужно, спасибо

я вижу "от", только с такими требованиями вилка должна начинаться от 240к минимум

Не знаю кто у вас кому должен, как заказчик сказал так и пишу. Понимания потока нет, что вам не понятно.

если сейчас так рекрутёры с людьми общаются, то не нужно, спасибо

Отлично. Вам не нужно, а ко мне от сюда стучаться тем,ккому нужно. С ними и беседую

ух, "я одна, а вас много"

Да рекуртёры всегда людей за товар принимали

это их работа

и это грустно

они тоже товар

А по-моему все честно

Это же рынок, не нравится - не подавайся, какие проблемы вообще

Если хочешь помочь, то конструктивно укажи на неточности

Это же рынок, не нравится - не подавайся, какие проблемы вообще

+1

не можешь сам делать из людей товары - будь товаром )

Если хочешь помочь, то конструктивно укажи на неточности

"не быть мудаком" сойдет?

"не быть мудаком" сойдет?

Как нельзя точнее)

#job #вакансия #Америка #Штаты #SeniorDataEngineer #Data Engineer #удаленная работа в калифорнийской компании #полная занятость #Россия #Москва #Санкт- Петербург ЗП от 180 000 р. до плюс бесконечности. Английский язык нужен обязательно. Компания является создателями мощной технологической платформы, обеспечивающей возможность vpn подключения, конфиденциальности и свободы для миллионов людей во всем мире. Писать мне в личку или на почту yuliykirillova@yandex.ru Обязанности: Создавайте масштабируемый и надежный конвейер данных в реальном времени на технологиях с открытым исходным кодом, который собирает, преобразует, загружает и обрабатывает данные из различных внутренних и внешних источников данных Создайте масштабируемое распределенное хранилище данных Создавайте инструменты, которые помогают бизнес-пользователям быстрее извлекать, анализировать и визуализировать данные, а также аналитикам данных для создания сложных запросов и выполнения расширенного анализа. Оцените новые технологии и создайте прототипы для непрерывного совершенствования Data Engineering Партнерство с инженерными командами для обеспечения контроля, регистрации и мониторинга ТРЕБУЕМЫЙ ОПЫТ: Широкий опыт использования технологий с открытым исходным кодом Big Data Spark, Kafka, Hadoop и Hive Опыт построения и мониторинга почти в реальном масштабе времени масштабируемых ETL-процессов управления хранилищами данных Опыт работы с инструментами обработки данных, такими как AirFlow, Azkaban или Oozie 5-летний опыт работы с Java, Scala и Python Более 5 лет опыта работы с SQL (MySQL, PostgreSQL, Oracle и т. Д.) Опыт работы с оболочкой Отличные письменные и устные навыки общения BS или MS в области компьютерных наук или соответствующей технической области Опыт работы с Tableau, Apache Superset или Apache Zeppelin станет плюсом Опыт работы с Docker, Kubernetes и Linux Advanced Administration станет плюсом Опыт работы с командой, распределенной по часовым поясам, будет плюсом

удаленная работа в москве или питере; это значит, что офис?

в америке

удаленная работа в москве или питере; это значит, что офис?

Это хетеги всего лишь. Написано удаленно для Американской компании. Хештеги ставиятся для того что бы ищущие быстрей нашли в Москве или Питере, например. Там еще Россия написана,что же вы на это слово не реагируете)))

надеюсь речь не про южную америку?

)))

все ясно

надеюсь речь не про южную америку?

Знаете че...если вам просто поговорить хочется, это не ко мне... Читать надо внимательно! Калифорня есть в южной Америке, или у вас по географии в школе двойка? )))

Собес уже что ль начался?

Ну да, в мексику собесы начинаются с поста вакансии

редко вижу настолько наглых хрюш

редко вижу настолько наглых хрюш

Смотри, пока не убежала!

Знаете че...если вам просто поговорить хочется, это не ко мне... Читать надо внимательно! Калифорня есть в южной Америке, или у вас по географии в школе двойка? )))

Калифорния есть в Мексике, точнее наоборот. И хотя Мексика не относится к Южной Америке, многие её таковой считают

хехе

ну да, это же полуостров

редко вижу настолько наглых хрюш

взаимоно))

а еще самое забавное, но в мексике тоже штаты

выходит, вакансия про мексику

и в Индии )

Нижегородская область особенно мне понравилась

Нижегородская область особенно мне понравилась

так и знал что ловушка

так и знал что ловушка

жертва )

вообще, попахивает каким-то унылым кадровым агенством, которое набирает базу кандидатов ?

а ты думаешь, сколько из 624 ботов и вот таких хрюш?

от 30 до 50%

та больше

я думаю, до 80%

не, много просто заходят в чаты и сидят

причем непонятно зачем

просто тупо тыкают на ссылки и джойнятся

чтобы базу кандидатов собирать :)

причем непонятно зачем

чтоб было где вопрос по теме задать

чтоб было где вопрос по теме задать

Неее, я видел как заходят в чаты с темами, которые людям просто не интересны

Знаете че...если вам просто поговорить хочется, это не ко мне... Читать надо внимательно! Калифорня есть в южной Америке, или у вас по географии в школе двойка? )))

Вы очень умная женщина, как я погляжу. Обидно что это суровый мир заставляет вас такую умную с хорошими оценками по-географии писать нам в чатах а ведь могли бы код писать.

Мексика южная Америка))) точно двойка по георграфии)))

Вы очень умная женщина, как я погляжу. Обидно что это суровый мир заставляет вас такую умную с хорошими оценками по-географии писать нам в чатах а ведь могли бы код писать.

могла бы )) я физ тех,если что ))

могла бы )) я физ тех,если что ))

А я нет, но хантят все равно меня.

мы все овцы на вселенском поле боя, хватит меряться толщиной шерсти

Глобализация понизила уровень ХР конечно, когда Рязань начала хантить в Мск и Питер на работу, стало немножечко грустно.

Рязань - топчик, ну Питер тоже ничё в принципе