特牛网址导航

大数据:Spark Core(二)Driver上的Task的生成、分配、调度_dag形成后如何形成task-CSDN博客

网友收藏
文章浏览阅读1w次,点赞5次,收藏19次。1. 什么是Task?在前面的章节里描述过几个角色,Driver(Client),Master,Worker(Executor),Driver会提交Application到Master进行Worker上的Executor上的调度,显然这些都不是Task.Spark上的几个关系可以这样理解:Application: Application是Driver在构建SparkContent的上下文的时候创建的,就像申报员,现在要构建一个能完成任务的集群,需要申报的是这次需要多少个Executor(可以简单理解_dag形成后如何形成task