文章浏览阅读2.3k次。第112讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？学习笔记本讲开始hadoop深入浅出实战经典部分本讲内容：1.第一代大数据技术Hadoop2.第二代大数据技术Spark hadoop开启了人们大规模普及化......
admin
文章浏览阅读91次。========== Spark 通信架构 ==========1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展......
admin
文章浏览阅读262次。大数据技术之_19_Spark学习_05_Spark GraphX 应用解析小结_sparkgraphx小节...
admin
文章浏览阅读89次。========== Spark 的监控方式 ==========1、Spark Web UI Spark 内置应用运行监控工具（提供了应用运行层面的主要信息--重要）2、Ganglia 分析集群的使用状况和资源瓶颈（提供了集群的使用状况--资源......
admin
【Spark】dataFrame存储Hive ORC格式并显示为NULL,【Spark】表记录分组去重,【Hive|Spark】spark写入hive表存储格式问题,大数据,Spark...
admin
文章浏览阅读144次。========== Spark Streaming 是什么 ==========1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark Streaming ......
admin
文章浏览阅读247次。一、本质Spark是一个分布式的计算框架，是下一代的MapReduce，扩展了MR的数据处理流程二、mapreduce有什么问题1.调度慢，启动map、reduce太耗时2.计算慢，每一步都要保存中间结果落磁盘3.API抽象简单，只有map和re......
admin
文章浏览阅读1.1k次。1.Spark产生的具体技术环境 在spark出现之前，hadoop的迅速发展，hadoop分布式集群，把编程简化为自动提供 位置感知性调度，容错，以及负载均衡的一种模式，用户就可以在普通的PC机上运行超大集群运算，hado......
admin
郝少擅长大数据,Spark技术经验,Java及框架,等方面的知识...
admin
文章浏览阅读154次。========== Spark SQL ==========1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。2、Spark SQL 的特点： （1）和 Spark Core 的无缝集......
admin
文章浏览阅读181次。========== Spark GraphX 概述 ==========1、Spark GraphX是什么？ （1）Spark GraphX 是 Spark 的一个模块，主要用于进行以图为核心的计算还有分布式图的计算。 （2）GraphX 他的底层计算也是 RDD 计算，它和 RDD 共用一......
admin
About云-梭伦科技Spark模块中Apache Spark技术实战之6-Standalone部署模式下的临时文件清理是为了解决云开发技术，为大家提供云技术、大数据文档，视频、学习指导，解疑等。...
admin
文章浏览阅读2.8k次，点赞4次，收藏19次。一、Spark简介1、Spark概述Spark：由美国加州伯克利大学的AMP实验室于2009年开发，基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。三大分布式计算系......
admin
REST job server for Apache Spark 主要特点 通过Rest API 提交spark 作业运行，支持sql，java/scala，python类型作业，解耦业务系统与spark 集群。 Spark Job 运行资源相互隔离以及高可用性，每一个job 独立运行在一个S......
admin
文章浏览阅读63次。1、准备安装包2、Spark Standalone 即独立模式 2.1、解压安装包到你安装的目录。 2.2、拷贝 conf 目录下的 slaves 文件，将 slave 节点的 hostname 写在文件中，每行一个。 2.3、拷贝 conf 目录下的 spark-env.sh 文......
admin
文章浏览阅读909次。大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式_spark sql jra...
admin
大数据—— Spark 优化,大数据—— Spark Core 知识点整理,大数据—— Scala 知识点整理,scala,big data,大数据...
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
