特牛网址导航

SparkSQL的Unresolved Logical Plan_unresolved relation-CSDN博客

网友收藏
文章浏览阅读525次。我们知道SparkSQL最终会把API和SQL语句转换成Spark Core的RDD代码来执行。理解Spark Catalyst工作流程是非常有必要的.本文主要分享SparkSQL执行流程中的生成Unresolved Logical Plan背后的原理,希望能帮助大家更好地了解Spark Catalyst的整体执行流程.1、通过ANTLR对SQL进行语法词法解析,生成抽象语法树2、将抽象的语法树解析成未解析的逻辑执行计划,也叫未绑定的逻辑执行计划3、对有效节点进行数据类型绑定,根据Catalog对字段进行解_unresolved relation