spark 使用中Driver Executor 的默认jvm参数在yarn-client和yarn-cluster的区别_yarn driver excutor client cluster-CSDN博客

网友收藏2024-01-24 07:38

链接地址：https://blog.csdn.net/jxx4903049/article/details/79198660
链接标题：spark 使用中Driver Executor 的默认jvm参数在yarn-client和yarn-cluster的区别_yarn driver excutor client cluster-CSDN博客
所属网站：blog.csdn.net
被收藏次数：6865

文章浏览阅读1.2k次。内存溢出问题在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题：Exception in thread "Thread-2" java.lang.Ou_yarn driver excutor client cluster

本文地址：https://tebull.com/detail/544126.html

标签：yarn driver excutor client cluster