文章浏览阅读2.1k次。一.什么是图计算图计算，可以简单理解为以图这种数据结构为基础，整合相关算法来实现对应应用的计算模型。社交网络中人与人之间的关系，如果用计算机数据结构表示，最合适的就是图了。其中图的顶......
admin
文章浏览阅读721次。spark入门1-运行wordCount一、spark入门1、在idea中运行1.1 注意2、在Linux系统中运行2.1 用spark-shell运行2.2 用spark-submit运行3、在Spark自带的集群上运行3.1 配置集群的历史服务器3.2 注意4、在yarn上运行（重点）4.1 打通......
admin
大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己......
admin
文章浏览阅读1.6k次。1、Spark Streaming简介1.1 概述Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，......
admin
文章浏览阅读1.1k次。Spark框架下，除了支持批处理和流处理，也提供图计算功能，而图计算功能主要由Spark GraphX来提供。而近些年来说，图计算在大数据领域，也得到越来越多的应用。今天的大数据开发学习分享，我们就来讲讲......
admin
文章浏览阅读1.5w次，点赞11次，收藏6次。安装环境： Ubuntu sever版 ，java ，scala，一：在linux下安装java环境（自行安装jdk）二：安装Scala2.9.3$ tar -zxf scala-2.9.3.tgz$ sudo mv scala-2.9.3 /usr/lib$ sudo vim /etc/profile# add the following lines at the end_th......
admin
文章浏览阅读7.2k次。Spark学习笔记1：Spark2.2快速入门1.1 Spark本地模式学习Spark，先易后难，先从最简单的本地模式学起。本地模式（local），常用于本地开发测试，解压缩Spark软件包就可以用，也就是所谓的“开封即用”1.2 安装JD......
admin
文章浏览阅读878次。本文转自：Spark机器学习入门·编程(scala/java/python)实现分析商店购买记录http://www.aboutyun.com/forum.php?mod=viewthread&tid=20707(出处: about云开发)Spark安装目录[Bash shell] 纯文本查看 复制代码?1_spark java 预测用户购买...
admin
文章浏览阅读5.3k次，点赞46次，收藏2次。 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了......
admin
文章浏览阅读3w次，点赞19次，收藏121次。一个简单的示例以一个简单的例子开始spark streaming的学习之旅！我们会从本机的7777端口源源不断地收到以换行符分隔的文本数据流// 在本地启动名为SimpleDemo的SparkStreaming应用// 该应用拥......
admin
（升级版）Spark从入门到精通（Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端）官方出售价格：2250元，地址：http://www.ibeifeng.com/goods-560.html本课程主要讲解目前大数据领域最热门、最火爆、最有前景的技术——Spa......
admin
文章浏览阅读392次。学习目标：理解Spark框架的使用创建Maven项目：为了方便，将创建的新项目当成父项目，删除src创建子项目提示：这里可以添加要学的内容例如：1、 增加Scala插件当jdk版本为1.8时，选用scala2.1.0创建scala项目进......
admin
文章浏览阅读480次。什么是Spark大数据计算框架离线批处理大数据体系架构图（Spark）Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLib用于......
admin
文章浏览阅读1w次，点赞3次，收藏25次。1、spark on yarn两种模式： client模式（测试） cluster模式（生产常用） 区别： client模式的driver是运行在客户端。 cluster模式的driver运行在NodeManager的MRApplicationMaster中。2、client模式......
admin
资源浏览查阅169次。spark入门级资料推荐，开始是介绍简装编译运行等基础介绍，从第五章开始Hive介绍及部署Hi更多下载资源、学习资料请访问CSDN文库频道....
admin
文章浏览阅读1.6k次。1、GraphX介绍1.1 GraphX应用背景Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。众所周知·，社交网络中人与人之......
admin
文章浏览阅读909次。1、Spark编程模型1.1 术语定义l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor；l驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkCo......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
