- 链接地址:https://blog.csdn.net/qq_37395293/article/details/123068033
- 链接标题:Spark SQL之SQL优化_sparksql优化-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:7921
文章浏览阅读4.4k次,点赞3次,收藏33次。Spark SQL之SQL优化主要关注于执行性能问题1、避免使用不必要的UDF函数UDF:用户定义函数,可以直接在SQL语句中计算的函数,如:count、sum、avg、max、min等2、没有指定数据分区SQL-1: SELECT date FROM test_table WHERE date = '20170829' and value = 1;SQL-2: SELECT date FROM test_table PARTITION(p_20170829) p WHERE value = 1_sparksql优化
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签:sparksql优化