特牛网址导航

CDH集群spark-shell执行过程分析_cdh6 中 使用spark-shell-CSDN博客

网友收藏
文章浏览阅读465次。目的刚入门spark,安装的是CDH的版本,版本号spark-core_2.11-2.4.0-cdh6.2.1,部署了cdh客户端(非集群节点),本文主要以spark-shell为例子,对在cdh客户端上提交spark作业原理进行简单分析,加深理解spark-shell执行启动spark-shell后,可以发下yarn集群上启动了一个作业,实际上,cdh-spark默认提交作业模式为yarn-client模式,即在本地运行Driver,作业在yarn集群上执行spark-shell启动过程分析。..._cdh6 中 使用spark-shell