- 链接地址:https://blog.csdn.net/dudadudadd/article/details/114698915
- 链接标题:spark.shuffle.service.enabled使用-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:5339
文章浏览阅读2.9k次。这是Spark on yarn时NodeManager中一个长期在运行的辅助服务,用于提升Shuffle计算性能。默认为false,表示不启用该功能。不过一般是不开启的,因为它提升的只是executor在GC等无法向外提供数据的时候,使用NodeManager中的一个辅助服务去从executor拿数据为其他需要的地方使用它,你需要在yarn-site.xml中配置如下信息<property> <name>yarn.nodemanager.aux-services<_spark.shuffle.service.enabled
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除