вообще странно например если в амбари менять настройки в Advanced spark2-env, то они не подцепляются

даже после рестарта? (извините за капитанство)

даже после рестарта? (извините за капитанство)

угу, перезапускаю там же в амбари

а точно подхватываются настройки от spark2? на кластере старый spark отключен?

а точно подхватываются настройки от spark2? на кластере старый spark отключен?

как это лучше всего проверить?

вопрос снимается, посмотрел вывод переменных запуска, которые кидали выше, там параметры явно от spark2, например каталог для истории, порт history server. так что да, явно берется праивльная версия (

вообще странно например если в амбари менять настройки в Advanced spark2-env, то они не подцепляются

почему такое может происходить? например прописываю export HDP_VERSION="2.6.1.0-129" в конфигах, а призапуске приложения поле hdp.version вообще пустое

впрочем настройки, которые задаются через SparkSession.builder тоже игнорятся

@optician_owl ты дописал свою хрень?

@pomadchin

Спасибо; везде потер

а в скала чате/

Тож

а, видимо лаг

вся надежда на @optician_owl

ненавязчиво ник просит бота

бог просит бота

вся надежда на @optician_owl

даже вспомнил про это вчера мож седня допилю (если перестану переусложнять)

в коллекцию спама

Спасиб господа

ток до интернетов добрался

какое название у скала-чата?

Scala User Group

https://t.me/scala_ru

https://t.me/scala_ru

Посему ссылка не на го чат

Посему ссылка не на го чат

потому что 49 полагаю

Никому не приходилось решать задачи ETL для хадуп и не-хадуп одновременно, и так чтобы с одной код базой. Короче говоря, кто-нибудь делал свою абстракцию над Spark DataFrame, чтоб работало одинаково неплохо на распределенном и обычном датастете? Просто локал мод Спарка похоже привнесет кучу оверхеда, в сравнении с обычным стримминг подходом.

да и вообще локал спарк для всего, кроме тестов - такое себе решение

я думаю заняться схожей задачей

но пока решение реализовать просто параллельно второе апи которое будет работать поверх коллекций

проблема что рдд слишком специфичная коллекция и мы рискуем потерять ее фичи и свойства при попытке написать абстракцию, но мне кажется это выполнимо; просто надо заняться и задизайнить хорошую абстракцию

в общем в настоящий момент у меня два апи

с дата фреймами все несоко сложнее может быть; они же дата сеты специального типа; но все решаемо, думаю

но пока решение реализовать просто параллельно второе апи которое будет работать поверх коллекций

я вот тоже думаю пилить. Так как мы сильно завязаны под DF со всем его SQL энжином, квери оптимайзером и тд, я думал найти какой-то SQL энжин для инмемори/стримов, и тогда общую абстракцию было бы легче прикрутить.

с дата фреймами все несоко сложнее может быть; они же дата сеты специального типа; но все решаемо, думаю

у нас проще. у нас все на Row

а; а у меня наоборот типизировано все строго

так я вот думал, может есть какие SQL энжин либы хорошие. Просто из того, что нашел - ничего доверия не вызвало

есть CQL // org.geotools.filter.text.cql2.CQL

годная штука; можешь попробовать)

есть CQL // org.geotools.filter.text.cql2.CQL

оо, спасибо. А он там сильно geospatial specific?

оо, спасибо. А он там сильно geospatial specific?

вообще прилично; но ты посмотри как тебе пойдет или нет, но это очень матьюрный проект

ага, так и поступлю

pentaho data integration не подойдет в качестве абстракции?

Как можно контролировать аптайм каждого executor'а в стриминге в коде?

Как можно контролировать аптайм каждого executor'а в стриминге в коде?

а что ты хочешь?

в идеале чтобы executor первые пол часа после запуска делал одно, а после другое