特牛生活网

Spark配置参数_spark.executor.logs.rolling.maxretainedfiles-CSDN博客

网友收藏
文章浏览阅读3.4k次。以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统:Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置环境变量:可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志_spark.executor.logs.rolling.maxretainedfiles