特牛网址导航

【Dolphinscheduler】DS提交pyspark多文件项目到yarn集群-CSDN博客

网友收藏
文章浏览阅读800次。一、测试环境DS:1.3.4Ambari:2.6.3.0-235提交模式:client二、需求说明需要使用pyspark写一个算法模型项目,通过DS进行提交训练。此算法模型项目包含多个.py文件和配置文件、模型相关文件。具体结构如下图,其中配置文件为conf/env.yml,模型文件为modelfiles/bert/bert_vocab.txt、modelfiles/bert/config.json、pytorch_model.bin。输出文件夹为output。run.p...