- 链接地址:https://blog.csdn.net/zbf8441372/article/details/43762375
- 链接标题:梳理对Spark Standalone的理解-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:8607
spark在这一块的设计是优秀的。图中,app内的SchedulerBackend是可以针对不同资源管理系统实现的,包括没有画出来的ExecutorBackend。这俩兄弟是典型的面向资源的层次上的抽象。另一方面,app内的TaskScheduler是与Task的分配和执行、管理相关的,这部分与下层面向资源的部分是隔离开的,所谓是面向摆放的。换句话说,SchedulerBackend在1,2,3步之后,已经从集群里,获得了本身app的executors资源。通过它,TaskScheduler可以根据自己的
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除