文章浏览阅读3k次。1.通过RDD+case class创建DataFramepackage com.doit.spark.day10import org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SparkSession}object CaseClassCreateDataFrame { def main(args: Array[String]): Unit = { //构建SparkSession val spar_spark建表语......
admin
文章浏览阅读1.5k次。目录一.Spark 安装地址1.官网地址2.文档查看地址3.下载地址二.Spark 运行模式三.Spark 安装1.在官网下载spark安装包2.上传至Linux环境并解压安装3.修改配置文件4.启动5.测试6.Spark Shell下一节一.Spark 安装地址1.官网......
admin
文章浏览阅读320次。文章目录简单回顾基本概念术语任务层面的术语任务配置及调度操作层面资源层面资源调度和任务调度详细流程细节把握1.workers集合为什么要是用HashSet集合？2.启动Executor的时候为什么不需要考虑数据的位置......
admin
文章浏览阅读4.1k次。Spark 概述运行速度快容易使用Spark本质上计算模式也是MapReduce，但是操作不局限于Map和Reduce两个操作，提供了更多的操作类型。而且Spark会存储在内存中，磁盘IO开销很小。Spark 生态系统大数据处理主要包括......
admin
文章浏览阅读1.5k次。在Yarn上运行Spark提供了与其他Hadoop组件最紧密的集成，也是在已有Hadoop集群上使用Spark的最简单的方法。为了在Yarn上运行Spark应用程序，Spark提供了两种部署模式Client模式和Cluster模式。Client模式的Driver在客户......
admin
文章浏览阅读4.5k次，点赞14次，收藏16次。前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题......
admin
文章浏览阅读5.4k次，点赞2次，收藏6次。前言因为spark集群的换代升级， 需要从scala 2.11 升级到scala 2.12 spark2升级到spark 3。本篇博客主要讲述南国在将spark 作业升级时遇到的问题和解决办法。具体步骤1.升级spark相关依赖针对于pom......
admin
文章浏览阅读1.3k次。标题1.创建maven工程并导入jar包2.开发scala代码3.本地运行4.更改代码打包提交到spark集群运行5.运行spark的jar包程序1.创建maven工程并导入jar包创建src/main/scala以及 src/test/scala文件夹<properties> <scala.versi......
admin
文章浏览阅读1w次。使用Spark的时候一般都是一个application的Job串行执行，如何并行执行？ 如何提高spark对计算资源（CPU和内存等）的利用率？ 1M数据10个action或者更多的action，如果串行效率低，如何并行执行job？-star_spark 多个 act......
admin
文章浏览阅读5.6k次，点赞2次，收藏31次。什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等......
admin
文章浏览阅读6.6k次，点赞4次，收藏29次。一、spark提交任务流程概述1.1、流程概述1、构建spark执行环境（初始化sparkcont）；2、SparkContext向资源管理器注册并申请Executor资源；3、资源管理器分配Executor资源，Executor向资源管理器发......
admin
文章浏览阅读329次。Spark集群安装部署_spark 在集群中运行...
admin
文章浏览阅读2.2k次，点赞2次，收藏4次。1. 搭建Spark Standalone模式的集群2. 能够启动Spark Standalone模式的集群3. 学会Spark应用程序的提交_spark standalone模式集群搭建实验心得体会...
admin
文章浏览阅读260次。spark-2.4.5的环境搭建，Standalone模式和On Yarn模式_spark集群简易搭建...
admin
文章浏览阅读6.4k次。spark本地调试_spark 在本地调试...
admin
文章浏览阅读2.7k次。1. 初始化Spark程序必须做的第一件事是创建一个JavaSparkContext对象(Scala和Python中是SparkContext对象)，它告诉Spark如何访问集群。 要创建SparkContext，您首先需要构建一个包含有关应用程序信息的SparkConf对象。Java版......
admin
文章浏览阅读2.2k次。local 模式package com.imooc.spark.Testimport org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.sql.{Row, SaveMode, SparkSession}..._spark-submit模式选择...
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
