特牛生活网

Spark Yarn 提交作业_spark-submit --master yarn-CSDN博客

网友收藏
文章浏览阅读1w次,点赞2次,收藏8次。初学Spark时,部署的是Standalone模式(集成了HA),写的测试程序一般创建上下文时如下:此处master设置为管理节点的集群地址(spark webui上显示的地址) 。之后将测试代码打包成jar包,上传到服务器,使用spark-submit提交作业。提交命令:spark-submit --master spark://s44:7077 --name MyWor..._spark-submit --master yarn