特牛生活网

大数据开发笔记(八):Spark综合笔记总结_大数据 分区 分片 分析 scala golang spark-CSDN博客

网友收藏
文章浏览阅读1.5k次,点赞5次,收藏13次。Spark Core:Spark 的核心模块,包含 RDD、任务调度、内存管理、错误恢复、与存储系统交互等功能。Spark SQL:主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是 DataFrame,将其作为分布式 SQL 查询引擎,通过将 Spark SQL 转化为 RDD 来执行各种操作。Spark Streaming:Spark 提供的对实时数据进行流式计算的组件。提供了用来操作数据流的 API。_大数据 分区 分片 分析 scala golang spark