- 链接地址:https://raintung.blog.csdn.net/article/details/70168241
- 链接标题:大数据:Spark Core(二)Driver上的Task的生成、分配、调度_dag形成后如何形成task-CSDN博客
- 所属网站:raintung.blog.csdn.net
- 被收藏次数:1943
文章浏览阅读1w次,点赞5次,收藏19次。1. 什么是Task?在前面的章节里描述过几个角色,Driver(Client),Master,Worker(Executor),Driver会提交Application到Master进行Worker上的Executor上的调度,显然这些都不是Task.Spark上的几个关系可以这样理解:Application: Application是Driver在构建SparkContent的上下文的时候创建的,就像申报员,现在要构建一个能完成任务的集群,需要申报的是这次需要多少个Executor(可以简单理解_dag形成后如何形成task
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除