文章浏览阅读287次。0. 背景最近我在做流式实时分布式计算系统的架构设计，而正好又要参加CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量......
admin
文章浏览阅读2.1k次。storm drpc 是什么？咋一听觉得挺高大上的，其实也就是那么一回事。就是storm的topology 提供了很多函数，并且函数名唯一，函数里面封装了一些算法操作。只需要在调用的时候指定函数名和传递参数就可以得......
admin
文章浏览阅读922次。大数据学习过程中，都会学习Scala，众所周知，Spark支持4门语言，分别为R、Python、Java与Scala，但真正的底层实现语言则是Scala。在我以往的实践分享中，除了Python，我还会利用Scala去实践一遍，而且在面对大......
admin
文章浏览阅读6.2k次。本文是基于hadoop-HA基础搭建下storm集群的搭建过程（之前文章有搭建过程）搭建过程超级简单如下：1 ，下载安装下载zookeeper和storm安装包，并上传到你的linux上。 安装命令 ： tar -zxvf xxx.zip /usr/app2 , 安装zooke......
admin
本文介绍了一项名为《Hadoop数据分析平台II》的实验报告，其中重点介绍了Storm编程实践。使用你的IDE运行mvn编译，然后运行ru更多下载资源、学习资料请访问CSDN文库频道....
admin
文章浏览阅读800次。本文浅谈一下自己对于spark的理解，并没有什么新东西，大牛可以绕道。刚入行的新手可以看看，尤其面试的时候经常会问到。首先对Spark下一个定义吧，其实Spark就是一个微批处理的大数据计算框架，跟hadoop......
admin
数据采集传输主要技术分为两类，一类是离线批处理、另一类是实时数据采集和传输离线批处理最有名的是Sqoop、实时数据采集和传输最为常用的是Flume和KafkaSqoop：一款开源的离线数据传输工具，主要用于Hadoop（Hive）与传统数据......
admin
文章浏览阅读2.3w次，点赞4次，收藏3次。第一次导入storm包并测试WordCountTopology，出现如下截图错误：解决方法：1.查看POM文件：上图的POM文件中配置参数为：provided应改为：compile如下图：再次测试运行，ok了："C:\Program Files\Ja......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
