- 链接地址:https://blog.csdn.net/zbf8441372/article/details/37809681
- 链接标题:整理对Spark SQL的理解_star expansion expression references column-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:526
文章浏览阅读2.7w次,点赞6次,收藏24次。Catalyst定位其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询,需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。对应上图中,主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程,物理执行计划基于成本的优化模型,具体物理算子的执行都由系统自己实现。 Catalyst现状在解析器方面提供的是一个简单的scala_star expansion expression references column
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除