文章浏览阅读5.6k次，点赞2次，收藏31次。什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等......
admin
文章浏览阅读6.6k次，点赞4次，收藏29次。一、spark提交任务流程概述1.1、流程概述1、构建spark执行环境（初始化sparkcont）；2、SparkContext向资源管理器注册并申请Executor资源；3、资源管理器分配Executor资源，Executor向资源管理器发......
admin
文章浏览阅读2.2k次，点赞2次，收藏4次。1. 搭建Spark Standalone模式的集群2. 能够启动Spark Standalone模式的集群3. 学会Spark应用程序的提交_spark standalone模式集群搭建实验心得体会...
admin
文章浏览阅读5k次。1、spark 部署标签： spark0 apache spark项目架构spark SQL -- spark streaming -- MLlib -- GraphX0.1 hadoop快速搭建，主要利用hdfs存储框架下载hadoop-2.6.0，解压，到etc/hadoop/目录下0.2 快速配置文件_基于文件系统实现sparkmasterh......
admin
文章浏览阅读2.7k次。1. 初始化Spark程序必须做的第一件事是创建一个JavaSparkContext对象(Scala和Python中是SparkContext对象)，它告诉Spark如何访问集群。 要创建SparkContext，您首先需要构建一个包含有关应用程序信息的SparkConf对象。Java版......
admin
文章浏览阅读2.2k次。local 模式package com.imooc.spark.Testimport org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.sql.{Row, SaveMode, SparkSession}..._spark-submit模式选择...
admin
文章浏览阅读329次。Spark集群安装部署_spark 在集群中运行...
admin
文章浏览阅读690次。模拟数据的java代码 // 模拟数据// 10万个人当中，统计青年男性和青年女性的比例，看看男女比例是否均衡FileOutputStream f = null;ThreadLocalRandom random = ThreadLocalRandom.current();String str = "";int count = 0;try {f = new ......
admin
文章浏览阅读260次。spark-2.4.5的环境搭建，Standalone模式和On Yarn模式_spark集群简易搭建...
admin
文章浏览阅读6.4k次。spark本地调试_spark 在本地调试...
admin
文章浏览阅读1.4k次。Launching Spark on YARNEnsure thatHADOOP_CONF_DIRorYARN_CONF_DIRpoints to the directory which contains the (client side) configuration files for the Hadoop cluster. These configs are used to write to HDFS and connect to the YARN ResourceManager. The ..._使用spark on yar......
admin
文章浏览阅读1w次。Spark On Yarn：提交Spark应用程序到Yarn_sparklaunch 提交spark到yarn...
admin
文章浏览阅读212次。基本概念RDD 概念：分布式、弹性、可容错的抽象数据集 特点 1.有多个分区，分区数量决定任务并行数 从HDFS中读取 如果是从HDFS中读取数据，分区的数量由hdfs中数据的输入切片数量决定 sc.textFile可以......
admin
文章浏览阅读149次。大数据技术之_19_Spark学习_06_Spark 源码解析小结_spark大数据分析源码解析...
admin
文章浏览阅读4.8k次。我们在做Spark开发的时候有时候需要用SparkSQL将数据写入Hive表中，今天就来看看SparkSQL与Hive的整合。SparkSQL就是借助的Hive构建的数据仓库。一、首先要配置Hive-site.xml。<?xml version="1.0"?><......
admin
文章浏览阅读5.2k次，点赞6次，收藏72次。自行查看_spark 笔试 题目...
admin
文章浏览阅读2.2k次。把提交spark独立应用时需要初始化spark，告知spark要运行的应用的名字，运行方式，jar包的主类等等一、在自己的独立应用中使用spark的方法在代码中初始化spark：SparkConf conf = new SparkConf(); ......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
