
Grigory
22.03.2018
18:00:02
ктонить себе добавлял хауп ажур зависимость?
можно как-то заставить работать ее с новой версией ажур клиента?

Nick
22.03.2018
18:27:42
Лол
Эти мс пидоры опять чот сломали?

Grigory
22.03.2018
18:35:52

Google

Grigory
22.03.2018
18:36:05
hadoop azure имеет компайл тайм депенсю в виде ажур клинета версии 2
а меня в приложухе версии 7
...........
даунгрейд до 2 версии звучит не оч хорошо
может я конечн могу пропатчить

Dmitry
22.03.2018
19:09:54
Есть трюк под названием "dependency shadowing", если я правильно помню. На подобные случаи.

Grigory
22.03.2018
19:12:55

Dmitry
22.03.2018
19:13:35
А ваш случай - не runtime?

Grigory
22.03.2018
19:13:55
Не-а, он типа провайдед имеет 2.0
И мне надо добавить как бы явно ещё ажур клиент
Но решается бампом до 2.9 уже все)
Там по свежее апи

Ivan
25.03.2018
16:03:34
Всем привет. Для HDP хватит ли 4гб рам, чтобы поиграться?

Google

Никита
25.03.2018
16:05:30
даже 8 гигов часто не хватает
т.к. он жрет от 9-10 гигов
и ждать минут по 20+

Ivan
25.03.2018
16:06:13
Печаль :(

KrivdaAllStars
25.03.2018
16:06:50
Для сандбокса нужно минимум 10
8 даже не пытайтесь

Andrey
25.03.2018
16:57:02
«Любому должно хватить 768кб» (с)

Alexander
26.03.2018
08:26:43
Коллеги, всем привет. Может быть, кто-нибудь натолкнёт на мысль? Есть клаудеровский кластер, hive metastore в виде postgresql. Так вот этот метастор раз в неделю как по расписанию виснет. В логах hiveserver2 появляется ошибка Got exception: org.apache.thrift.transport.TTransportException java.net.SocketTimeoutException: Read timed out
org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out. Количество висящих соединений к метастору начинает бесконечно расти. Помогает перезапуск всего хайва или метастора отдельно, но ровно на одну неделю. Хелп!

Artem
26.03.2018
08:27:54
https://issues.apache.org/jira/browse/HIVE-8320 ?

Sergey
26.03.2018
10:22:14
чо, опять?

An
26.03.2018
13:53:55
#job #moscow
Привет! Игровая студия Fusion Core ищет Data Engineer для создания инструментов работы с большими данными.
?Что делать?
?Создать хранилища данных; разработать инструменты доставки, сохранения и контроля качества данных, полученных из разных источников;
?Разработать инструменты получения данных для анализа;
?Что понадобится:
✅Опыт работы в качестве backend-разработчика на C#, Scala, Python, Java или другом языке общего назначения - от 2 лет;
✅Опыт работы с одной из баз данных: PostgreSQL, Oracle, ClickHouse, Vertica;
✅Базовый опыт работы в Linux;
✅Желание долгосрочного развития в области Big Data;
Совсем круто, если у вас есть опыт работы с решениями из стека технологий Big Data (Hadoop, Spark, Kafka) и опыт работы с Elastic Stack.
Зарплатная вилка 150-180
Развернутое описание вакансии: https://hh.ru/vacancy/25009545


Vladislav
26.03.2018
14:03:06
#job #moscow
Привет! Игровая студия Fusion Core ищет Data Engineer для создания инструментов работы с большими данными.
?Что делать?
?Создать хранилища данных; разработать инструменты доставки, сохранения и контроля качества данных, полученных из разных источников;
?Разработать инструменты получения данных для анализа;
?Что понадобится:
✅Опыт работы в качестве backend-разработчика на C#, Scala, Python, Java или другом языке общего назначения - от 2 лет;
✅Опыт работы с одной из баз данных: PostgreSQL, Oracle, ClickHouse, Vertica;
✅Базовый опыт работы в Linux;
✅Желание долгосрочного развития в области Big Data;
Совсем круто, если у вас есть опыт работы с решениями из стека технологий Big Data (Hadoop, Spark, Kafka) и опыт работы с Elastic Stack.
Зарплатная вилка 150-180
Развернутое описание вакансии: https://hh.ru/vacancy/25009545
не совсем понятно, вам бэкендер нужен для визуализации или все таки разработка batch/streaming?


Dmitry
26.03.2018
14:05:32
А также каким боком там C#

An
26.03.2018
14:07:28
А также каким боком там C#
Если нам повезет и мы найдем опытного дата инженера, мы не хотели бы ограничивать его в выборе инструментов :)

Vladislav
26.03.2018
14:10:21
под данный стек явно C# не к месту

Dmitry
26.03.2018
14:15:07

Vladislav
26.03.2018
14:16:21
Вообще заманчивая вакансия, но что-то мне кажется, что одному там пилить и пилить...

An
26.03.2018
14:17:13
С# для нас совсем не в приоритете )

Google

Anton
26.03.2018
14:17:47

An
26.03.2018
14:17:50

Vladislav
26.03.2018
14:18:14
и через какое время вы хотите получить результат и какой?

Alexey
26.03.2018
14:34:15
прототипчик на коленке слабать за месяцок-то можно, но сделать из него что-то вменяемое в одну харю... хм. ну, например, год.

Vladislav
26.03.2018
14:36:36
да и это оптимистично еще
через месяц начнут уже бизнесы бегать и трахать мозг так, что даже отдельный аналитик не всегда сможет спасать

An
26.03.2018
14:50:07
)) а вы пессимисты оказывается)

Dmitry
26.03.2018
14:50:23
Реалисты

An
26.03.2018
14:50:43
Передаю слова технического директора: Если очень коротко про основную задачу (реальное описание проще рассказать словами).
Хранилище данных, которые генерирует игра. Грубо говоря действия игроков, но не только.
Надежный источник данных для компании (доверие, контроль качества, порядок с атрибутами фактов).
АПИ получения данных / отчетов для веб-фронта / аналитика / регулярных отчетов.
Понадобится рисерчить, прототипировать на неигрушечном железе. Данных надо все больше.
А что по срокам? - Это будет ясно когда мы с разработчиком составим фичевый и технический план. Одной большой цели не будет, будут итерации. За месяц DWH никто поднять не собирается.

Andrew
26.03.2018
14:58:28
И что, эта игра данных прям на целую биг дату нагенерировала?

Vladislav
26.03.2018
14:58:49
Сессии для многих бигдата
Ну и там много аналитики
В общем я откликнулся, будет интересно в живую пообщаться, что там реального. А то пока задача на три человека минимум тянет

An
26.03.2018
15:00:30

Oleksandr
26.03.2018
15:01:17

An
26.03.2018
15:06:33

Alexey
26.03.2018
15:27:05
а где проходит граница биг даты?
скажем, миллион сессий в месяц это обычной постгрёй разгребается за нефиг нафиг.
но почему-то многие думают, что это уже биг.

Google

Alexey
26.03.2018
15:28:25
а сто мильёнов разгребается гугловым BQ. но это всё ещё не биг.

Dmitry
26.03.2018
16:21:25
So big, so much data

Alexey
26.03.2018
16:23:06
wow

Александр
26.03.2018
16:47:39

Oleksandr
26.03.2018
17:00:56

Nick
26.03.2018
17:03:22
Сильно

sherzod
26.03.2018
17:04:05
Скорее это просто громкое название околохадупного семейства стеков технологий. Хотя как чисто маркетинговый баззворд тоже используется. Но не у инженеров.

Oleksandr
26.03.2018
17:05:46
Ну смотри Active Pivot с Gemfire тоже бигдатой называют.
А некоторые кластеры на монге строят. И тоже говорят бигдата.
Тогда уж можно сказать что это просто термин зонтик для всех нетрадиционных способов сбора, обработки, хранения и работы с данными.

Mike
26.03.2018
17:08:58
скорее специфических способов, а не нетрадиционных

sherzod
26.03.2018
17:09:37
Ну кто ж им мешает то :) Ну слово традиционный сегодня уже не будет ничего выражать.
Если данные слабо структурированы. Если есть лёгкое горизонтальное масштабирование хранилища и вычислений то биг дата, как мне кажется.

Oleksandr
26.03.2018
17:12:12
Горизонтально масштабировать можно любую БД в облаке.

Dmitry
26.03.2018
17:13:02
Горизонтальное масштабирование, да. При нецелесообразности вертикального.
Это и будет критерий big data.

sherzod
26.03.2018
17:20:40
Похоже вы сами попались на маркетинговую удочку слова облако :) .

Oleksandr
26.03.2018
17:22:50
Формально это горизонтальное масштабирование.