特牛网址导航

Spark 性能调优之常规性能调优_spark 优化-CSDN博客

网友收藏
文章浏览阅读100次。常规性能调优一:最优资源配置Spark性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定,标准的Spark任务提交脚本如代码所示:/usr/opt/modules/spark/bin/spark-submit \--class c..._spark 优化
标签:spark 优化