特牛生活网

Spark SQL之SQL优化_sparksql优化-CSDN博客

网友收藏
文章浏览阅读4.4k次,点赞3次,收藏33次。Spark SQL之SQL优化主要关注于执行性能问题1、避免使用不必要的UDF函数UDF:用户定义函数,可以直接在SQL语句中计算的函数,如:count、sum、avg、max、min等2、没有指定数据分区SQL-1: SELECT date FROM test_table WHERE date = '20170829' and value = 1;SQL-2: SELECT date FROM test_table PARTITION(p_20170829) p WHERE value = 1_sparksql优化
标签:sparksql优化