- 链接地址:https://blog.csdn.net/pelick/article/details/43762375
- 链接标题:梳理对Spark Standalone的理解_spark standalone 的缺点-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:5390
文章浏览阅读7.9k次,点赞2次,收藏4次。spark在这一块的设计是优秀的。图中,app内的SchedulerBackend是可以针对不同资源管理系统实现的,包括没有画出来的ExecutorBackend。这俩兄弟是典型的面向资源的层次上的抽象。另一方面,app内的TaskScheduler是与Task的分配和执行、管理相关的,这部分与下层面向资源的部分是隔离开的,所谓是面向摆放的。换句话说,SchedulerBackend在1,2,3步之后,已经从集群里,获得了本身app的executors资源。通过它,TaskScheduler可以根据自己的_spark standalone 的缺点
版权声明:本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除