@pomadchin ох я б не советовал его)

он простой конечно

но не для этого чатика)

его можно просто для мониторинга исопльзовать)

он все контейнеры палит

@pomadchin у вас он есть?

EMR

был у меня давно; до того как работу поменял

и там вполне заходил; другое дело что яб попытался все же в дс ос уехать)

я всю ночь с типами сейчас багу искал в навстаре

но дцос реально получше всего этого будет)

а я всю ночь менял OptionT на EitherT потому что ошибка откуда то лезла

зато теперь я мастер эрланга)

зато теперь я мастер эрланга)

эрланг штука хорошая и приятная

не знаю) не советую чего не пробовал. ну если ты говоришь что он стал проще и кастомные билды лушче заходят то пусть дс ос)

насчет приятной я бы не сказал

когда я пробовал у меня даже калико не взлетал :D

@pomadchin ну на самом деле контеинеры свои придется кастомные делать эт полюбому)

и спарк кастомный) и хадуп кастомный) ну надо вникать как они делают контейнеры

там не контеинеры

потому что что хадуп что спарк что любая распределенная штука у них она не просто взяли контейнер и запилили

там специальный воркер

саморазворачиваемые тулзы

который поднимает инстансы

там в юниверсе они есть

но я хз работают ли они

да хватит уже

но всегда можно зафиксить

про юниверс свой

ну там куча шлака конечно)

я хотел одно время попытаться авторазворачивание на марафоне сделать чтоб оставить плюсы дс ос и использовать более или менее общие контейнеры

и не вышло/

неа

и не так как мы хотели

частично вышло

хадуп например поднялся хорошо даже

смотрика

https://github.com/mesosphere/universe/tree/version-3.x/repo/packages/S/spark/26

живая спарка

да он не простой

он как воркеры использует ноды мезоса

там куда не залезь все сильно переделанные приложения

дык в этом и суть

ну разве нет?)

ну все хватит уже форсировать дс ос я упомянул ее; мой опыт (правда год назад) был не самым приятным и удобно авторазворачивать на нодах и настраивать калико (как хочется очень) не поулчилось

они там и без ярна мутятся)

конечно без ярна зачем там ярн если там мезос есть

ты о чем

я хз просто как хдфс без него пашет

хдфс не нужен ярн

а там прям бинарь собранный ими?

прям вообще перепиленный спарк?

перепиленый спарк

открываешь и там в UI воркеров даж нет

когда запуускаешь таски на нем, он кидает их на ноды

хз как

ну да

я понял про что ты

он воркеры поднимает когда ему над

_явно в понятии спарка_ воркеров не вылезает в UI в привыном понимании слова

у меня дженкинс такой)

вообще нет воркеров

в космосе билдит)

а как логи выводишь?

вот я хочу лог конкретного воркера

он их собирает кудато?

да

помоему он собирает логи

да и чисто логи воркера мне обычно не нужны)

почему?

а зачем

ну упадет у тя на воркере что-то или логи какието девелопмент в твоей задаче

ща гляну

очень полезно посмотреть на логи воркер(ов) и на его метрики / статистику

бхаха

ну кароч так, воркер если еще жив, то логи можно глянуть

... pizdec ...

навреное можно настроить как-то

или логи отправлять в отдельный сервис

ну у нас через elk собираются логи

правд я хз, попадает ли туда jenkins

ну ты понял, почему я не стал дс ос советовать. много изучать и я не уверен что результат будет хотя вот ты говоришь будет; прилично надо изучать тем более в соло как-то мириться со своими сборками спарков хадупов и вообще всего и сразу прям свой образ не поднимешь

ну да,эт боль)

@pomadchin кароч логи можно глянуть

не проблема, но вот к примеру у меня слеив живет не вечно и он автоматом потом убивается

... pizdec ...

в сдх так по умолчанию в старых версиях , как джоба упала - логи удаляются

в спарке можно вообще глобально задать алиас столбцу, а не только в рамках операции select?

пример желаемого в псевдокоде можно? а то слово "глобально" напрягает

.withColumnRenamed ?

пример желаемого в псевдокоде можно? а то слово "глобально" напрягает

сорт оф var = "column_name1" df[var].alias("column_name2") и тогда df["column_name2"] == df["column_name1"] True

.withColumnRenamed ?

нашла в доках, попробую

нашла?