spark程序提交集群运行全在driver端的问题---setMaster的坑-CSDN博客

网友收藏2024-01-24 00:14

链接地址：https://blog.csdn.net/suly_liping/article/details/113766120
链接标题：spark程序提交集群运行全在driver端的问题---setMaster的坑-CSDN博客
所属网站：blog.csdn.net
被收藏次数：4308

文章浏览阅读3k次，点赞3次，收藏8次。最近开发了一个超级简单的spark程序，也就rdd运行map再运行foreach，并提交到集群（standalone模式）运行。不知道是不是我是刚入门的小白资历尚浅的问题，但是。。但是。。。但是。。。。它为什么只运行在driver上？提交参数：spark-submit --master spark://hadoop1:7077 --num-executors 4 --driver-memory 3G --executor-memory 3G --executocores 4 --deploy-m_setmaster

本文地址：https://tebull.com/detail/531145.html

标签：setmaster