Spark性能调优与故障处理之(6)Spark Troubleshooting故障排除_spark stage 和troubleshooting-CSDN博客

网友收藏2024-01-23 23:53

链接地址：https://blog.csdn.net/weixin_43520450/article/details/108652479
链接标题：Spark性能调优与故障处理之(6)Spark Troubleshooting故障排除_spark stage 和troubleshooting-CSDN博客
所属网站：blog.csdn.net
被收藏次数：2710

文章浏览阅读1.9k次。Spark Troubleshooting一、控制 reduce 端缓冲大小以避免 OOM二、JVM GC 导致的shuffle文件拉取失败三、解决各种序列化导致的报错四、解决算子函数返回 NULL 导致的问题五、YARN-CLIENT 模式导致的网卡流量激增问题六、YARN-CLUSTER 模式的JVM 栈内存溢出无法执行问题七、解决SparkSQL导致的 JVM 栈内存溢出八、持久化后的 RDD 数据丢失一、控制 reduce 端缓冲大小以避免 OOM在 Shuffle 过程，reduce 端 ta_spark stage 和troubleshooting

本文地址：https://tebull.com/detail/530578.html

标签：spark stage 和troubleshooting