文章浏览阅读325次。①使用Yarn运行spark时,需要在spark-env.sh中添加以下行export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop注意：在您的环境中检查$HADOOP_HOME / etc / hadoop是否正确.而spark-env.sh也包含HADOOP_HOME的导出.②修改/root/apps/hadoop-2.8.1/etc/hadoo......
admin
文章浏览阅读3.1k次。解决使用Navicat 打开 Linux远程连接mysql很慢的方法1.在linux 下暂时关闭 mysql服务service mysql stop2.找到目录 /usr 下的 my.cnf 在最后一行加入 skip-name-resolve 保存3.再次启动mysqlservice mysql start_如何使用standalone方式......
admin
文章浏览阅读1.7k次。Spark SQL使用说明与DataFrame创建 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq启动spark-shell由于spark-shell演示具有显......
admin
文章浏览阅读447次。Hive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题：Hive的版本和Spark的版本要匹配；具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那......
admin
文章浏览阅读3.8w次，点赞10次，收藏30次。Spark大数据分析与实战：IDEA使用Maven构建Spark项目一、创建maven工程二、修改pom.xml文件导入依赖pom.xml文件代码如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http......
admin
文章浏览阅读3.1k次。概述本文讲述如何使用checkpoint来保存rdd，并读取还原rdd的数据。checkpoint简介checkpoint可以把rdd持久化到磁盘上，可以是本地磁盘也可以是外部存储系统(比如：hadoop文件系统)。要注意的是：在rdd进行checkpoint......
admin
文章浏览阅读1.1w次，点赞5次，收藏28次。场景执行java代码的一个方法，这个动作触发提交spark任务到运行在yarn上的spark 集群开始Spark任务介绍执行spark读取Hive中的一个表，这个表是用Hive来管理的HBASE表。统计这个表的总记录数......
admin
文章浏览阅读1.3w次，点赞2次，收藏4次。1、动机 有时候数据量会大到本机可能无法存储，这时就需要探索别的读取和保存方法了。 Spark支持很多种输入源和输出源。一部分原因是Spark本身是基于Hadoop生态圈二构建的，so spark可以......
admin
文章浏览阅读1.1k次。介绍写如何将hive整合到sparkSql中使用，因为公司一些老hadoop框架中的hive一直保留着，但spark框架也要使用hive怎么办呐，很简单，配置文件搞一下就可以了。（注意hive和spark的版本是有对应关系的，去官网查......
admin
文章浏览阅读185次。Spark之RDD 共享变量Spark提供了两种类型的变量：广播变量广播变量允许开发人员在每个节点（Worker or Executor）缓存只读变量，而不是在Task之间传递这些变量。 可以通过调用sc.broadcast(v)创建一个广播变量，......
admin
文章浏览阅读8.1k次，点赞2次，收藏19次。对数据进行分组排序，首先对数据进行分组，然后对该组下的数据进行排序。1.首先准备数据集，本次的数据集如下。Chinese,90Math,93English,84Computer,89Chinese,83English,79Math,89Computer,88Chinese,86Engl......
admin
文章浏览阅读635次。Cluster模式standalone，Yarn，Messos（国内很少用）说明如果现有的集群框架中存在MR的相关应用，同时相关的MR无法转换为Spark应用的，集群选型为Spark On Yarn；如果现有的集群框架中只有Spark应用，那么建议采用spa......
admin
文章浏览阅读251次。所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，......
admin
文章浏览阅读4.8k次，点赞3次，收藏33次。机器学习实践：Spark MLlib库介绍与使用1、实验描述MLlib （ Machine Learning Library ）是 Spark 的一个机器学习库。它能够较容易地解决一些实际的大规模机器学习问题。本实验旨在学习 Spark 的......
admin
文章浏览阅读501次。spark独立部署模式1.安装2.配置2.1 conf文件的slaves2.2 conf的spark-env.sh2.3 conf的spark-defaults.conf2.4 sbin的spark-config.sh2.5 添加SPARK_HOME和PATH3.启动/停止3.1 启动3.2 停止4.访问1.安装先到官网下载spark：https://mirrors.bfsu.edu.cn/......
admin
文章浏览阅读1.1k次。DataFrame是Spark SQL提供的一个编程抽象，与RDD类似，也是一个分布式的数据集合。但与RDD不同的是，DataFrame的数据都被组织到有名字的列中，就像关系型数据库中的表一样。此外，多种数据都可以转化为DataFram......
admin
文章浏览阅读5.7k次，点赞2次，收藏8次。代码package cn.spark.sqlimport org.apache.http.client.methods.HttpGetimport org.apache.http.impl.client.DefaultHttpClientimport org.apache.spark.sql.SparkSessionimport scala.io.Sourceobject Http..._spark调用http...
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
