spark找不到服务器文件,在Standalone模式下执行Spark命令所产生的临时目录导致硬盘爆满的解决方法...-CSDN博客

网友收藏2024-01-24 04:57

链接地址：https://blog.csdn.net/weixin_39815456/article/details/119233068
链接标题：spark找不到服务器文件,在Standalone模式下执行Spark命令所产生的临时目录导致硬盘爆满的解决方法...-CSDN博客
所属网站：blog.csdn.net
被收藏次数：9085

文章浏览阅读1k次。昨天，在执行spark-sql时，查询数据量超过1000万行，数据量大小7.6G，出现系统盘占用突然变高的情况，Job任务在运行过程中产生大量的临时目录位置，导致某个分区磁盘写满，主要原因spark运行产生临时目录的默认路径/tmp/spark检查为 /tmp 目录下，spark生成的临时目录占用了大量的硬盘空间，生成的spark临时文件总共超过19了。解决方案为：1、删除 /tmp/spark*..._spark 缓存找不到文件

本文地址：https://tebull.com/detail/539569.html

标签：spark 缓存找不到文件