spark的结构化API,Structured Streaming遇到的问题（windows，idea，scala）,intellij-idea,scala,windows...
admin
Li_yucHennn擅长学习笔记-scala,设计模式,学习笔记-spark,等方面的知识...
admin
文章浏览阅读517次。Task调度算法：对每个Task，依据本地化算法从最好的一种本地化级别开始遍历，直到task被分配到executor执行。1.PROCESS_LOCAL，进程本地化，RDD的partition和task进入一个executor内，执行速度快。2.NODE_LOCAL，节点本地......
admin
文章浏览阅读217次。第二节、Spark核心核心组件、概念一、RDD1.RDD（Resilient Distributed Datesets）弹性分布式数据集①RDD是Spark中计算和数据的抽象，它标识已经分片(partition),不可变的并能够被并行计算的数据集合。②RDD可以被存储在......
admin
文章浏览阅读2.3k次。1、基础语法1.1 两种变量类型Val：不可变，在声明时就必须进行初始化，且初始化后就不能被再次赋值Var：可变，在声音是需要进行初始化，但后续还可以进行再次赋值在Scala中声明变量必须有这两者其一的......
admin
文章浏览阅读1.1k次。一、准备：1.1 引入依赖包： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <..._spark 调用 java服务接口...
admin
文章浏览阅读708次。一、基础知识：1、yarn：资源调度框架2、hdfs（Hadoop Distribute File System），基于“磁盘”的3、Hadoop MR：map ->shuffle -> reducer注意：有shuffle就会有磁盘IO，就会有不同节点传输4、Hive：是一个数据仓库5、spark与......
admin
文章浏览阅读338次。目录一、声明函数（一）显式声明函数1、声明格式2、注意事项3、案例演示 （1）加法函数 （2）阶乘函数（二）隐式声明函数1、声明格式2、注意事项3、案例演示 （1）加法函数 （2）三整数加法函数和阶......
admin
文章浏览阅读228次。一、下载Spark安装包1、从官网下载http://spark.apache.org/downloads.html2、从微软的镜像站下载http://mirrors.hust.edu.cn/apache/3、从清华的镜像站下载https://mirrors.tuna.tsinghua.edu.cn/apache/二、安装基础1、Java8安装成功2、zook.........
admin
文章浏览阅读262次。大数据技术之_19_Spark学习_05_Spark GraphX 应用解析小结_sparkgraphx小节...
admin
大数据 IMF传奇 sparkpi 运行5万次,大数据 IMF传奇行动 如何 搭建 8台设备的 hadoop分布式集群,（scala书籍编写）word 2007 目录格式乱的解决办法：编辑word 宏...
admin
文章浏览阅读1.9k次。文章目录0.值类型隐式转换1.强制类型装换2.值类型和字符串类型的转换3.判断语句4.循环语句5.循环跳出语句6.元祖的介绍和使用7.数组的介绍和使用8.集合的介绍和使用0.值类型隐式转换 (高阶隐式转换和......
admin
文章浏览阅读656次。Master主备切换机制：1.主备切换基于两种机制，一种基于文件系统，一种是基于zookeeper。2.基于文件系统主备切换需要在ActiveMaster挂掉后，由我们手动切换到Standby Master上。基于zookeeper的主备切换机制，可以实......
admin
sparkcore,spark,大数据,jar...
admin
文章浏览阅读1.5k次。目录一、什么是RDD（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、准备HDFS系统文件（二）启动SparkShell1、启动Spark服务2、启动Spark Shell......
admin
文章浏览阅读427次。一、Standalone模式两种提交任务方式1.1、Standalone-client提交任务方式（1）提交命令./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000或者./spark-submit --master spar......
admin
文章浏览阅读2k次。第4章 Spark程序架构与运行模式4.1 Spark程序最简架构所有的Spark程序运行时，主要由两大类组件Driver和Excutor构成。每个Spark程序运行时都有一个Driver，Driver是进程包含了运行所需要的CPU和内存等资源，Driver是我......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
