Spark streaming 作业需要注意的问题_sparkstreaming中需要注意的问题-CSDN博客

网友收藏2024-01-24 08:24

链接地址：https://blog.csdn.net/xwc35047/article/details/76921056
链接标题：Spark streaming 作业需要注意的问题_sparkstreaming中需要注意的问题-CSDN博客
所属网站：blog.csdn.net
被收藏次数：7176

文章浏览阅读1k次。根据实践，本文不断更新中。1、java.lang.OutOfMemoryError: GC overhead limit exceeded 分析：因为streaming是长进程服务，如果当初分配堆太小，运行很长时间后会出现GC overhead limit exceeded问题，查看driver进程gc信息发现老年代使用率达到99.6%，故处理方法是提高driver堆大小，同时提高老年代大小。_sparkstreaming中需要注意的问题

本文地址：https://tebull.com/detail/545438.html

标签：sparkstreaming中需要注意的问题