для страждущих https://www.coursera.org/specializations/big-data-engineering

эт про хаилоад?

а вообще спс за ссылку, судя по описанию курс дб интересным

Всем привет, тухловато было в чатике последнее время, пришло время его взбодрить. Мы с коллегами из Яндекса, Одноклассников и Физтеха запустили специализацию на курсере https://www.coursera.org/specializations/big-data-engineering

Она будет полезна не только новичкам, но и практикующим специалистам, которые могут углубить отдельные области знаний.

беру!

Никак не пойму с телефона, она на английском!?

да

Никак не пойму с телефона, она на английском!?

А авторы русские ) Местами бывает очень забавно )

Пфф, тогда для чего она?

Для славы и денег, очевидно )

учить людей дата инженерингу

Всем привет! Ищу крутых специалистов в игровую студию Plarium (Краснодар) на позицию Big Data Developer. Вакансия: https://krasnodar.hh.ru/vacancy/22274450 Кому интересно пишите на прямую в Телеграм или по e-mail: natalia.efimova@plarium.com

давайте говорить честно, etlю)

давайте говорить честно, etlю)

Не, там есть часть про анализ графов, есть целый курс про машинку на спарке

Не, там есть часть про анализ графов, есть целый курс про машинку на спарке

последнее аля посчитаем word2vec или что-то глубокое? у меня потому что не очень сложились отношения с некоторыми алгоритмами спарка, но этих подводных камней нигде не рассказывают (например, никогда не юзайте spark ml для кластеризации даже средних по размеру задач, разве что k-means microbatching)

Первое, про машинку введение в общем и практика к введению на спарке

последнее аля посчитаем word2vec или что-то глубокое? у меня потому что не очень сложились отношения с некоторыми алгоритмами спарка, но этих подводных камней нигде не рассказывают (например, никогда не юзайте spark ml для кластеризации даже средних по размеру задач, разве что k-means microbatching)

а что не так с кластеризацией? Расскажи

Алгоритмы не масштабируются. По крайней мере в 1.6

Ни к-минсы ни ем.

Это правда в 2.1 разложение матричек ещё не распределенное. В 2.21 вроде поправили

hello)))

Hi

коллеги

такой вопрос

тут понадобился пример srs

data driven проЭкт

никто не может поделиться случайно?)

Сбербанк?)

ну почти

по учебке в ПТУ

Пекинском техническом университете

тоже любят бумажки

но я был причащен еще в сбере

с дрожью вспоминаю это время

но я в целом нашел

но мало ли....

А авторы русские ) Местами бывает очень забавно )

когда лекции и задания появятся?

В 18 или 20 по Москве

может, этот чатик в курсе прорекламировать? чтобы тут диалоги вести, а не на форуме курсеры. там, действительно, обычно тухляк.

может, этот чатик в курсе прорекламировать? чтобы тут диалоги вести, а не на форуме курсеры. там, действительно, обычно тухляк.

:) я не против

И чат превратится из русского в многоязычный.

В двуязычный как минимум.

уже был прецедент)

Вроде как у специализации есть официальный слак. Специализация интернациональная, поэтому комментарий выше правдив)

Не бывает так. Один язык выживет

Чат не форум и тут скорость другая. Так что либо большинство будет говорить на инглише или тут выживет только русский.

выживут гришины стикеры %)

да, лучше слак)

чем ?

там уже появился не богомерзкий клиент на эелектроне ?

тем что там нет этих богомерзких стикеров, которые чрезмерно употребляют в данном чате)

ну фаундер....

если серьезно, то вполне можно оставить людям выбор кто где захочет, там и будет общаться

тем что там нет этих богомерзких стикеров, которые чрезмерно употребляют в данном чате)

Есть ж

А если нету то можно картинкой постить

Там ж есть гифки )

Всем привет. Сорри за оффтоп. Но ищу Senior Data Engineer! На данный момент есть предложение с полной релокацией в Венгрию в продуктовую компанию. Высылаю ссылку на описание вакансии: https://cna-it.com/vacancies/data-engineer/?sq=data&sqcat=3 Вкратце про продукт: ПО для распознавания эмоций через веб-камеру, xто поможет маркетологам распознавать чувства клиентов и принимать правильные маркетинговые решения. Миссия: создать новую рекламную платформу Rich-Media нового поколения. Буду рада предоставить больше деталей. Мой скайп korotkina_alena #работа #work #job #relocate #bigdata

Добавьте теги, чтобы искать проще было

Добавьте теги, чтобы искать проще было

так?)

ага

кто-нибудь знает, как вменяемо шейдить grpc со спарком?

а что у тебя не получается?

что ты шейдишь и как вернее

grpc-all?

и правила скинь

что бы понять меру безумия.

нужн чтобы это заработало "io.grpc" % "grpc-okhttp" % com.trueaccord.scalapb.compiler.Version.grpcJavaVersion, "com.trueaccord.scalapb" %% "scalapb-runtime-grpc" % com.trueaccord.scalapb.compiler.Version.scalapbVersion, "com.trueaccord.scalapb" %% "scalapb-runtime" % com.trueaccord.scalapb.compiler.Version.scalapbVersion, assemblyShadeRules in assembly := Seq( ShadeRule.rename("io.grpc**" -> "io.shaded@1").inAll, ShadeRule.rename("com.google.protobuf**"-> "com.shaded@1").inAll, ShadeRule.rename("io.netty**" -> "io.shaded@1").inAll),

самое смешное, что не работает только в кластеррежиме

а если запускать через java -jar с спарковской депенденсёй, все работает

видимо тебе надо в конкретных либах переименовать зависимости

они типа хоть и зашейдены но ссылаются на что-то не то

а какая ошибка вываливается

разная, в такой конфигурации : "pool-10-thread-2" java.lang.NoClassDefFoundError: io/shaded//Channel

ShadeRule.rename("io.grpc**" -> "shaded.io.grpc@1").inAll, ShadeRule.rename("com.google.protobuf**"-> "shaded.com.google.protobuf@1").inAll, ShadeRule.rename("io.netty**" -> "shaded.io.netty@1").inAll

укажи более специфичные пакеты