у скалы есть байткод свой?

нету)

хотя не, сейчас есть nir в native

хотя его сложно байткодом назвать

у скалы есть байткод свой?

скало-совместимый, я сказал

а что такое скала-совместимый?

джава байткод чтоли?)

это jvm-байткод с со всякой информацией о типах, имплиситах, специализациях и т.п., для использования в скаловских прогах

скало-совместимый, я сказал

проект старый, а у нас уже 2.12, скорее всего уже нет

если генерить скало-несовместимый получится голая джава

я не смотрел насчет совместимости байткода, но чтот мне подсказывает, что там один и тот же код(

что и с jvm

http://www.scala-lang.org/old/node/945 но это олд скул

это jvm-байткод с со всякой информацией о типах, имплиситах, специализациях и т.п., для использования в скаловских прогах

специализации и имплиситы ж нужны раньше, не для рантаима. Ну и типов там нет

это jvm-байткод с со всякой информацией о типах, имплиситах, специализациях и т.п., для использования в скаловских прогах

> для использования в скаловский прогах....

т.е. этот код потом докомпиливается скалой

ermine -> [ermine compiler] -> scala-style jvm + scala ermine runtime -> [scala compiler] -> JVM

ладно

тут Тинькофф челленж начинается

ну эт сейчас всяко не будет работать я думаю)

что за челледж?

аааа 35 минут ещё

data science который?

ну эт сейчас всяко не будет работать я думаю)

что это вообще значит, почему ты постоянно пишешь реплики, не имеющие смысла?

data science который?

http://codeforces.com/blog/entry/51670

что это вообще значит, почему ты постоянно пишешь реплики, не имеющие смысла?

2.12 ж сейчас, который не совместим с 2.11

в проект два года коммитов не было

поэтому и говорю, что врядли работать будет

2.12 ж сейчас, который не совместим с 2.11

в оригинальном вопросе не было упоминания версии скала

или 2.11 теперь запрещён?

это же не айфон, если вышла новая скала, а ты всё ещё пишешь на старой, не обязательно идти топиться

это же не айфон, если вышла новая скала, а ты всё ещё пишешь на старой, не обязательно идти топиться

с айфонами тут тоже нет такого обязательства, опять же, такие проблемы строго у людей в головах.

там возможно даже 2.10

посмотрел, implicit точно в байткоде нету

сейчас специализации гляну

я всегда думал что имплисит во время коомпиляции просто резолвятся

да и все

я всегда думал что имплисит во время коомпиляции просто резолвятся

да

такая себе автоподстановка

да

специализация прост генерит все варианты примитивов

я всегда думал что имплисит во время коомпиляции просто резолвятся

не, я прост смотрю нет ли доп инфы в байткоде

ник раскрывает невероятные вещи

угу

оказывается, всё, что есть в скале специфичного по сравнению с жавой, не отображается в байткоде

это jvm-байткод с со всякой информацией о типах, имплиситах, специализациях и т.п., для использования в скаловских прогах

ага

проверяю твои оговорки

ага

если ты хочешь проверить мои оговорки, тебе нужно запустить javap -private -verbose а потом как-то десериализовать значение поля ScalaSig

потому что именно об этой совместимости я говорил

да так и делаю

потому что именно об этой совместимости я говорил

лол, отмазался )))

утро доброе

продскажите, люди добрые, а какие есть Sсala Spark библиотеки для удобной работы с Hive таблицами?

утро? вы в калифорнии чтоли?

ой, палюсь

10 утра в воскр, он про либы для хайва спрашивает! ВОТ НРАВЫ ТО!

я тут специально аккаунт в Telegram завёл

чтоб к каналу наскальной мудрости приобщиться

пока не понял, как нут искать по сообщениям в канале

пока не понял, как нут искать по сообщениям в канале

ctrl + f

по "партиции AND hive" ничего не нашёл =(

как и по "partitions AND hive"

обидно

Может тогда другой канал пореккомандуете, где spark-оводы тусят?

Maverick я всегда думал, что спарк использую в hive как execution engine и работают с ним напрямую,но может я и не прав

ERROR: S client not available

Maverick есть такая группа https://t.me/hadoopusers но там тихо часто

@gurinderu Как мне показалось, spark читает и пишет из/в Hive только метаданные. Данные он колбасит сам.

Спасибо, но это именно про Hadoop Мне бы spark

ну да, ты пишешь запрос в hive, а он обрабатывается в spark

как-то так

хз есть ли вообще канал по спарку

@gurinderu А есть кто из местных, что спарк использует?

ну у нас крутится

но мне стыдно признаваться

@gurinderu А есть кто из местных, что спарк использует?

в том чатике спроси, там многие спарководы

ну у нас крутится

как у нас? на одной ноде с 4гб памяти? xD

ну не так уж плохо

но примерно

да и лопатит он не сырые данные

а всякое

а есть разница?

ну делать запросы по сети спарком

ну хз

ничо хорошего

продскажите, люди добрые, а какие есть Sсala Spark библиотеки для удобной работы с Hive таблицами?

спарк из коробки поддерживает хайв контекст

кстати, а у кого-нибудь есть спарк в мезосе?

без всяких херовин из хадуп стека, типа ярна?

Спасибо, но это именно про Hadoop Мне бы spark

Spark это Hadoop стек, вот пример работы с хайвом из спарка https://hortonworks.com/hadoop-tutorial/using-hive-with-orc-from-apache-spark/

KrivdaTheTriewe нет, спарк эт не хадуп стек

спарк можно и без хадупчика юзать

во val results = sqlContext.sql("SELECT * FROM yahoo_stocks_temp")

но я видел когда делали запрос в hive, но бекендом был spark

О, похоже @krivdathetriewe понимает от чём говорит

так вот, @krivdathetriewe, я понимаю, что работать можно

Maverick спроси в том чате, он там тоже есть

но мне бы работать удобно с партиционированными таблицами

я прошу прощения, а вы для работы интересуетесь,