Spark下的Work目录定时清理_spark work目录文件-CSDN博客

网友收藏2024-01-24 05:13

链接地址：https://blog.csdn.net/xiligey1/article/details/81099360
链接标题：Spark下的Work目录定时清理_spark work目录文件-CSDN博客
所属网站：blog.csdn.net
被收藏次数：3861

文章浏览阅读6.3k次。问题在跑spark任务的时候发现任务不能执行。在查看的时候发现spark work节点的/usr/ 目录满了。原因使用spark standalone模式执行任务，没提交一次任务，在每个节点work目录下都会生成一个文件夹，命名规则app-20160614191730-0249。该文件夹下是任务提交时，各节点从主节点下载的程序所需要的资源文件。这些目录每次执行都会生成，且不会自动..._spark work目录文件

本文地址：https://tebull.com/detail/540058.html

标签：spark work目录文件