(

немного костыльно, ага

пипец костыльно

))

это еще автоматизировать

ну ладно, в питоне всегда можно в рантайме поменять переменную

но это, как по мне, ещё хуже

и когда вебсервер пытается фетчить логи он фетчит по старому хосту у воркера

Эм...так в Airflow вроде же можно настроить локальные логи ит на них уже маппится.

Предложили сделать статик хост внутри контейнера, остановлюсь пока на этом

а скажите, как красиво обозвать то, к чему применяется мап-редьюс? (не хадуповский, идея вообще)

а скажите, как красиво обозвать то, к чему применяется мап-редьюс? (не хадуповский, идея вообще)

к наборам данных распределенных может по-точнее сформулируешь

распредленнаяя коллекция данных

она вроде как и распределенной быть не обязана

ммм я думал изначально проименялось как отправка мап задач на разные тачки и сбор потом на драйвер ноду

и куда рез придет зависит уже от сети (что где лежит)

к наборам данных распределенных может по-точнее сформулируешь

мне надо имя красивое придумать :) я пилю велосипед-аналог аирфлоу, и там есть MapReduceOperator и один из параметров в нем должен красиво описывать ожидаемые данные к map и reduce функциям

например, сейчас chunk_path / chunk_paths

идея типа в том, что мап эти чанки как-то там собирает, а редьюс как-то аггрегирует

вот не могу имя придумать :)

Есть необходимость поиграться с Neo4j, соответственно какие варианты могут быть? И примерно на какой бюджет расчитывать? Поначалу пного узлов в базе быть не должно, но дальше как карта ляжет ?

Датаны, кто что подскажет про ci/cd в ml?

airflow+pyspark2.3

Нужно выкатить модель локального бустеца на 100млн объектов - пиклим, броадкастим и вызываем внутри pandas udf

А эйрфлоу для отправки почты об успехе)

Новая версия выкатывается из гита по мёрдж реквесту

Красавцы

а где тесты?

где держите модели?

где держите тестовую выбрку для ci?

учите на ci сервере?

или кто как?

и потом куда то складываете?

кто что использует для отслеживания delay'я на разных этапов пайплайнов?

Какие тесты?)

Какие тесты?)

ну хотя бы что модель по синтакс еррору не падает

Модели в /opt/scoring/bin на эдж-ноде кластера, учит, тестирует и применяет каждый сам по себе, у нас rnd, всё-таки, большинству проектов до регламента ещё далеко, а результаты нужны вотпрямщас, так что сначала результаты проверяем, сдаём, а потом выкатываем уже готовую вещь

Модели в /opt/scoring/bin на эдж-ноде кластера, учит, тестирует и применяет каждый сам по себе, у нас rnd, всё-таки, большинству проектов до регламента ещё далеко, а результаты нужны вотпрямщас, так что сначала результаты проверяем, сдаём, а потом выкатываем уже готовую вещь

Кароче никак

Ещё в проекте когда-нибудь проверять качество фичей и скоров)

Ну да

Вот и я хотел бы услышать как кто это делает

Ну или кто на что смотрит

У нас типа тоже рнд

Но зачем его через хуй делать когда в целом мы инженеры

мне кажется ты ищешь что-нить типа - https://www.mlflow.org/ как я понял там типа описываешь тренировку в виде ихнего проекта и ранаешь, выплевываешь результаты и они где-то это нормально сохранят в привязке в конретному запуску

ну начать я хочу хотя бы с этого

https://github.com/iterative/dvc

что бы хотя бы хранить по человечьи

мне кажется ты ищешь что-нить типа - https://www.mlflow.org/ как я понял там типа описываешь тренировку в виде ихнего проекта и ранаешь, выплевываешь результаты и они где-то это нормально сохранят в привязке в конретному запуску

спасибо, звучит круто

Глупый вопрос крайне, я правильно понимаю что spark сейчас на 2.11 и мне все либы нужно подбивать под 2.11 иначе не заведеться ?

Да, более того, в 2.3.0 убрали поддержку 2.10 официально.

мне кажется ты ищешь что-нить типа - https://www.mlflow.org/ как я понял там типа описываешь тренировку в виде ихнего проекта и ранаешь, выплевываешь результаты и они где-то это нормально сохранят в привязке в конретному запуску

таких штук доволно много, но выглядят очень ограниченными мы свое планируем пилить, с нюансом что мл может быть на весьма разных стэках выполнен

я правильно понимаю, что если нужна либа в 2.12 то нужно - попросить перекомпилить - перекомпилить самому и иметь лкоальный jar - форкать и самому поддерживать - поискать еще что-то

таких штук доволно много, но выглядят очень ограниченными мы свое планируем пилить, с нюансом что мл может быть на весьма разных стэках выполнен

ага, тренировку сложновато генерализировать, без напилиьника такие штуки не завести

таких штук доволно много, но выглядят очень ограниченными мы свое планируем пилить, с нюансом что мл может быть на весьма разных стэках выполнен

Я не успел запостить. Инет вырубило

Где-то мелькало ж

Я не успел запостить. Инет вырубило

Разберись там, ты ж компьютерщик ?

Где-то мелькало ж

у меня на работе целая портянка записана подобных решений и еще предстоит все разобрать во всяких уберах, гуглах и фб похоже на то что мы хотим, но оно закрыто и без пары фич, которые я хочу втащить

Приветик, подскажите плиз куда копать, получаю Container is running beyond physical memory limits

Судя по логам падает spark driver

Приветик, подскажите плиз куда копать, получаю Container is running beyond physical memory limits

побольше контекста дай

18/07/05 07:17:39 INFO Client: client token: N/A diagnostics: Application application_1526525889132_1203 failed 1 times due to AM Container for appattempt_1526525889132_1203_000001 exited with exitCode: -104 Failing this attempt.Diagnostics: Container [pid=21876,containerID=container_1526525889132_1203_01_000001] is running beyond physical memory limits. Current usage: 1.4 GB of 1.4 GB physical memory used; 3.2 GB of 6.9 GB virtual memory used. Killing container.

EMR 5.13

Обработка кучи JSON файлов без перемешиваний и collect-ов

я правильно понимаю, что если нужна либа в 2.12 то нужно - попросить перекомпилить - перекомпилить самому и иметь лкоальный jar - форкать и самому поддерживать - поискать еще что-то

можно добавлять 2.11 зависимости все скомпилится но работать не будет в рантайме

киляет то кто?

докер?

похоже ярн

Как я понял, spark driver не влазит в контейнер и он уничтожается YARN-м.

а влезает он в физиеческую память то или нет?

память есть, и на железке и в кластере вцелом

в какой контеинер то?

прост на железе?

в какой контеинер то?

ярн

yarn не контеинер

не докер короч; сомневаюьс что он докеры пуляет на ярне

а я сомневаюсь что ярн сам киляет

Корочи, когда на вход даю 120к штук JSON все плохо, а когда 20к штук то нормас

может ос киллер?

а я сомневаюсь что ярн сам киляет

почему - скорее всего неврено ресурсы джобы даны и ярн не может выделить памяти

а ты этот json целиком в память грузишь?

Корочи, когда на вход даю 120к штук JSON все плохо, а когда 20к штук то нормас

какие параметры джобы и какой ярн оверхед?

вдруг рили 120 тыщ джейсонов колектятся

не, в yarn около 50 Гб памяти, а 20к JSON весят 300 гб

джоба сабмитится элементарно spark-submit --deploy-mode cluster --class com.realtimeboard.TransformationApplication s3://***/transformation.jar ***

оверхед пока не понял как смотреть

Спасибо за наводку с overhead, буду пробовать

https://stackoverflow.com/questions/32292414/apache-spark-effects-of-driver-memory-executor-memory-driver-memory-overhead-a

явно ресурсы выделяй ехекуторам и драйверу лучше

?

как я понимаю, есть некая дефолтная конфа и в топике выше описано как ее переопределить

а можно как-то посмотреть с какими параметрами запущен тот или иной app (то есть если применились дефолтные, увидеть их)?

да - спарк UI палит все во вкладке environment