特牛网址导航

Spark技术内幕:Shuffle的性能调优-CSDN博客

网友收藏
文章浏览阅读321次。通过上面的架构和源码实现的分析,不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此,在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义,由于这些参数的确是非常重要,这里算是做一个详细的总结。1.1.1spark.shuffle.manager前文也多次提到...