ктонить себе добавлял хауп ажур зависимость? можно как-то заставить работать ее с новой версией ажур клиента?

Лол

Эти мс пидоры опять чот сломали?

Эти мс пидоры опять чот сломали?

короч да

hadoop azure имеет компайл тайм депенсю в виде ажур клинета версии 2

а меня в приложухе версии 7

...........

даунгрейд до 2 версии звучит не оч хорошо

может я конечн могу пропатчить

Есть трюк под названием "dependency shadowing", если я правильно помню. На подобные случаи.

Есть трюк под названием "dependency shadowing", если я правильно помню. На подобные случаи.

Для рантайм депенсей

А ваш случай - не runtime?

Не-а, он типа провайдед имеет 2.0

И мне надо добавить как бы явно ещё ажур клиент

Но решается бампом до 2.9 уже все)

Там по свежее апи

Всем привет. Для HDP хватит ли 4гб рам, чтобы поиграться?

даже 8 гигов часто не хватает

т.к. он жрет от 9-10 гигов

и ждать минут по 20+

Печаль :(

Для сандбокса нужно минимум 10

8 даже не пытайтесь

«Любому должно хватить 768кб» (с)

Коллеги, всем привет. Может быть, кто-нибудь натолкнёт на мысль? Есть клаудеровский кластер, hive metastore в виде postgresql. Так вот этот метастор раз в неделю как по расписанию виснет. В логах hiveserver2 появляется ошибка Got exception: org.apache.thrift.transport.TTransportException java.net.SocketTimeoutException: Read timed out org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out. Количество висящих соединений к метастору начинает бесконечно расти. Помогает перезапуск всего хайва или метастора отдельно, но ровно на одну неделю. Хелп!

https://issues.apache.org/jira/browse/HIVE-8320 ?

чо, опять?

#job #moscow Привет! Игровая студия Fusion Core ищет Data Engineer для создания инструментов работы с большими данными. ?Что делать? ?Создать хранилища данных; разработать инструменты доставки, сохранения и контроля качества данных, полученных из разных источников; ?Разработать инструменты получения данных для анализа; ?Что понадобится: ✅Опыт работы в качестве backend-разработчика на C#, Scala, Python, Java или другом языке общего назначения - от 2 лет; ✅Опыт работы с одной из баз данных: PostgreSQL, Oracle, ClickHouse, Vertica; ✅Базовый опыт работы в Linux; ✅Желание долгосрочного развития в области Big Data; Совсем круто, если у вас есть опыт работы с решениями из стека технологий Big Data (Hadoop, Spark, Kafka) и опыт работы с Elastic Stack. Зарплатная вилка 150-180 Развернутое описание вакансии: https://hh.ru/vacancy/25009545

#job #moscow Привет! Игровая студия Fusion Core ищет Data Engineer для создания инструментов работы с большими данными. ?Что делать? ?Создать хранилища данных; разработать инструменты доставки, сохранения и контроля качества данных, полученных из разных источников; ?Разработать инструменты получения данных для анализа; ?Что понадобится: ✅Опыт работы в качестве backend-разработчика на C#, Scala, Python, Java или другом языке общего назначения - от 2 лет; ✅Опыт работы с одной из баз данных: PostgreSQL, Oracle, ClickHouse, Vertica; ✅Базовый опыт работы в Linux; ✅Желание долгосрочного развития в области Big Data; Совсем круто, если у вас есть опыт работы с решениями из стека технологий Big Data (Hadoop, Spark, Kafka) и опыт работы с Elastic Stack. Зарплатная вилка 150-180 Развернутое описание вакансии: https://hh.ru/vacancy/25009545

не совсем понятно, вам бэкендер нужен для визуализации или все таки разработка batch/streaming?

А также каким боком там C#

не совсем понятно, вам бэкендер нужен для визуализации или все таки разработка batch/streaming?

batch/streaming. Извините, допустила неточность в описании.

А также каким боком там C#

Если нам повезет и мы найдем опытного дата инженера, мы не хотели бы ограничивать его в выборе инструментов :)

под данный стек явно C# не к месту

под данный стек явно C# не к месту

Абсолютно

Вообще заманчивая вакансия, но что-то мне кажется, что одному там пилить и пилить...

С# для нас совсем не в приоритете )

С# для нас совсем не в приоритете )

Отлично составленное описание вакансии.

Вообще заманчивая вакансия, но что-то мне кажется, что одному там пилить и пилить...

И да, в начале мы планируем только одного человека. Так что вы правы)

И да, в начале мы планируем только одного человека. Так что вы правы)

хранилище с нуля?

и через какое время вы хотите получить результат и какой?

прототипчик на коленке слабать за месяцок-то можно, но сделать из него что-то вменяемое в одну харю... хм. ну, например, год.

да и это оптимистично еще

через месяц начнут уже бизнесы бегать и трахать мозг так, что даже отдельный аналитик не всегда сможет спасать

)) а вы пессимисты оказывается)

Реалисты

Передаю слова технического директора: Если очень коротко про основную задачу (реальное описание проще рассказать словами). Хранилище данных, которые генерирует игра. Грубо говоря действия игроков, но не только. Надежный источник данных для компании (доверие, контроль качества, порядок с атрибутами фактов). АПИ получения данных / отчетов для веб-фронта / аналитика / регулярных отчетов. Понадобится рисерчить, прототипировать на неигрушечном железе. Данных надо все больше.

А что по срокам? - Это будет ясно когда мы с разработчиком составим фичевый и технический план. Одной большой цели не будет, будут итерации. За месяц DWH никто поднять не собирается.

И что, эта игра данных прям на целую биг дату нагенерировала?

Сессии для многих бигдата

Ну и там много аналитики

В общем я откликнулся, будет интересно в живую пообщаться, что там реального. А то пока задача на три человека минимум тянет

И что, эта игра данных прям на целую биг дату нагенерировала?

это предмет для обсуждения. Но увы не в общем чате)

В общем я откликнулся, будет интересно в живую пообщаться, что там реального. А то пока задача на три человека минимум тянет

Спасибо! все отклики в обязательном порядке отсматриваются тех директором)

это предмет для обсуждения. Но увы не в общем чате)

почему же? есть https://t.me/scala_jobs, где я бы с интересом почитал

почему же? есть https://t.me/scala_jobs, где я бы с интересом почитал

Вопрос совершенно не в чате, как вы понимаете) Чат- прекрасен. Вопрос в NDA

а где проходит граница биг даты? скажем, миллион сессий в месяц это обычной постгрёй разгребается за нефиг нафиг. но почему-то многие думают, что это уже биг.

а сто мильёнов разгребается гугловым BQ. но это всё ещё не биг.

So big, so much data

wow

а где проходит граница биг даты? скажем, миллион сессий в месяц это обычной постгрёй разгребается за нефиг нафиг. но почему-то многие думают, что это уже биг.

Нигде. Бигдата - баззворд созданный маркетологами. Чтобы парить глупым заказчикам продукты которые им не нужны.

Сильно

Скорее это просто громкое название околохадупного семейства стеков технологий. Хотя как чисто маркетинговый баззворд тоже используется. Но не у инженеров.

Ну смотри Active Pivot с Gemfire тоже бигдатой называют.

А некоторые кластеры на монге строят. И тоже говорят бигдата.

Тогда уж можно сказать что это просто термин зонтик для всех нетрадиционных способов сбора, обработки, хранения и работы с данными.

скорее специфических способов, а не нетрадиционных

Ну кто ж им мешает то :) Ну слово традиционный сегодня уже не будет ничего выражать. Если данные слабо структурированы. Если есть лёгкое горизонтальное масштабирование хранилища и вычислений то биг дата, как мне кажется.

Горизонтально масштабировать можно любую БД в облаке.

Горизонтальное масштабирование, да. При нецелесообразности вертикального.

Это и будет критерий big data.

Горизонтально масштабировать можно любую БД в облаке.

Как так? Postgres например можно? multi-master

Похоже вы сами попались на маркетинговую удочку слова облако :) .

Похоже вы сами попались на маркетинговую удочку слова облако :) .

Я такой.

Как так? Postgres например можно? multi-master

Можно с кубернетес развернуть кластер.

Формально это горизонтальное масштабирование.