- 链接地址:https://blog.csdn.net/qq_40995238/article/details/116502039
- 链接标题:Spark调优技术点_spark sql reduce-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:6404
文章浏览阅读214次。1 性能调优1.1 分配资源spark‐submit \‐‐master spark://node1:7077 \‐‐class cn.itcast.WordCount \‐‐num‐executors 10 \ # 配置executor的数量‐‐driver‐memory 6g \ # 配置driver的内存(影响不大)‐‐executor‐memory 6g \ # 配置每一个executor的内存大小‐‐executor‐cores 3 \ # 配置每一个executor的cpu个_spark sql reduce
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除