7.Spark历史服务器配置及ha机制_spark historyserver配置hdfs的ha名称-CSDN博客

网友收藏2024-01-24 05:46

链接地址：https://blog.csdn.net/GCPOP/article/details/125325592
链接标题：7.Spark历史服务器配置及ha机制_spark historyserver配置hdfs的ha名称-CSDN博客
所属网站：blog.csdn.net
被收藏次数：597

文章浏览阅读212次。1) 修改spark-defaults.conf.template文件名为spark-defaults.conf2) 修改spark-default.conf文件，配置日志存储路径注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。3) 修改spark-env.sh文件, 添加日志配置参数1含义：WEB UI访问的端口号为18080参数2含义：指定历史服务器日志存储路径参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应_spark historyserver配置hdfs的ha名称

本文地址：https://tebull.com/detail/540985.html

标签：spark historyserver配置hdfs的ha名称