文章浏览阅读2.4k次。Scala集成环境_scala集成spark...
admin
文章浏览阅读3.5k次。Spark远程调试 本例子介绍简单介绍spark一种远程调试方法，使用的IDE是IntelliJ IDEA。1、了解jvm一些参数属性-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888这里对上面的几个参数进行说_spa......
admin
文章浏览阅读462次。Apache Spark一、概述官方地址：http://spark.apache.org/Lightning-fast unified analytics engine : 快如闪电的统一分析引擎快如闪电：Spark基于内存式计算，分布式并行计算框架。不同于MapReduce框架，基于磁盘式计算，将Job......
admin
文章浏览阅读790次。MLlib的官网文档：http://spark.apache.org/docs/latest/ml-guide.html本节主要内容：一、MLlib简述二、基本数据类型三、汇总统计四、实例应用K-means算法一、MLlib简述：1.MLlib是什么？MLlib是Spark的机器学习(ML)库。它的目标......
admin
文章浏览阅读206次。1、任务提交流程：①spark-submit提交任务给Master；②Master收到任务请求后，通过LaunchDriver向Worker请求启动Driver；③Worker收到请求后，启动Driver；④Driver启动后，向Master注册应用（Application）信息；⑤Master收到注......
admin
文章浏览阅读589次。CheckPoint原理：1.对于一个复杂的RDD chain，如果中间某些关键的，在后面会多次使用的RDD因节点故障导致持久化数据丢失，可以针对该RDD启动checkpoint机制，实现容错和高可用。2.checkpoint，先调用SparkContext的setCh......
admin
文章浏览阅读2.2k次，点赞2次，收藏4次。1. 搭建Spark Standalone模式的集群2. 能够启动Spark Standalone模式的集群3. 学会Spark应用程序的提交_spark standalone模式集群搭建实验心得体会...
admin
文章浏览阅读1.3k次。我是用HDP按的Hadoop，Spark集群1.我在服务器上跑的Spark程序，启动脚本如下/usr/hdp/2.4.0.0-169/spark/bin/spark-submit --class com.lwb.streamingtest.steaming_sql.Spark_Stream_SQL_Test2 --master yarn --files /usr/hdp/2.4.0.0-..._spark技术经验总......
admin
文章浏览阅读717次。大数据开发之机器学习总结（Spark Mllib）（四）背景在大数据和机器学习交叉的领域，如果公司选择了hadoop生态，结合spark框架，则spark 的mllib用于机器学习实际应用就是不二选择了。团队有spark基础，学习和......
admin
文章浏览阅读205次。scala内建控制结构_spark星号组成的抛物线...
admin
文章浏览阅读4.7w次，点赞49次，收藏193次。Spark学习: 简述总结 Spark 是使用 scala 实现的基于内存计算的大数据开源集群计算环境.提供了 java,scala, python,R 等语言的调用接口.Spark学习 简述总结引言1 Hadoop 和 Spark 的关系Spark 系统架......
admin
文章浏览阅读149次。大数据技术之_19_Spark学习_06_Spark 源码解析小结_spark大数据分析源码解析...
admin
文章浏览阅读303次。CacheManager原理：1.RDD调用Iterator()方法，计算当前task要计算出来的partition。2.如果RDD之前持久化过，StorageLevel就不为NONE，就会用CacheManager读取持久化过的数据。3.如果RDD没有持久化过，就会从RDD的父RDD，来执行......
admin
文章浏览阅读1.1k次。*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。一、前言本章的目的是提供指导，以便读者熟悉独立模式下安装Apache Spark的......
admin
程光CS擅长Scala学习笔记,Spark学习笔记,踩坑日记,等方面的知识,程光CS关注java,人工智能,大数据领域....
admin
文章浏览阅读948次，点赞2次，收藏15次。第3章 Spark运行环境_sparkconf()...
admin
文章浏览阅读3.2k次。转载：http://blog.csdn.net/hawksoft/article/details/52739355在不同的启动模式下，加载文件时的路径写法是不一样的，对于local模式下，默认就是读取本地文件，而在standlone或者yarn-client,或者cluster模式下，默认读的都......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
