- 链接地址：https://blog.csdn.net/weixin_48960305/article/details/121021463
- 链接标题：解决spark的数据倾斜以及优化_spark sk 数据倾斜的优化参数-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：332
文章浏览阅读634次。spark的参数调优 1.shuffle调优参数 --spark.reducer.maxSizeInFlight 在shuffle-read时缓冲区的大小可以适当的加大一点，默认是48M，可以调为96M spark.shuffle.compress 是否支持压缩，默认是支持压缩的，将该值保持为true spark.shuffle.file.buffer 在shuffle-write阶段buffer的大小，默认是32kb，可以调为48kb，或者64kb spark.shuffle.io.ma_spark sk 数据倾斜的优化参数
版权声明：本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
