文章浏览阅读1.6k次，点赞3次，收藏9次。hadoop伪分布实例伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：hdfs dfs -mkdir -p /user/hadoop # 已经将hadoop中的bin加入到环境变量中将本地的word.txt复制到分......
admin
文章浏览阅读3.8w次，点赞10次，收藏58次。大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，很多国家，如中国、美国以及欧盟等都已将大数据......
admin
文章浏览阅读685次。spark是什么 Spark 是专为大规模数据处理而设计的快速通用的计算引擎 ---百度百科由此可知，spark是一项处理大规模数据是技术，所以在了解Spark之前，熟悉以下开源的大数据技......
admin
文章浏览阅读1.4k次。 数据分析技术使数据分析人员能够审查并回顾收集的数据，并根据信息进行推断或确定。大多数技术都侧重于应用定量技术来审查数据，一些比较常见的定量数据分析技术包括描述性统计、探索性数据......
admin
文章浏览阅读205次。大数据分析技术与应用一站式学习（值得收藏）_分布式数据处理技术 spark...
admin
文章浏览阅读123次。1 .分区排序（Distribute By）Distribute By： 控制某个特定行到哪个reducer。distribute by类似MR中partition（自定义分区），进行分区，结合sort by使用。案例实操：（1）先按照部门编号分区，再按照员工编号降序排序。......
admin
文章浏览阅读1.6k次。大数据时代数据处理技术及应用 现如今，人们所处的社会是信息化社会，人们不再认为数据是静止而陈旧的。以前，一旦完成了数据收集的目的后，数据便会没有任何用处变为废弃物。例如在火车到......
admin
文章浏览阅读1.6k次。大数据时代数据处理技术及应用 现如今，人们所处的社会是信息化社会，人们不再认为数据是静止而陈旧的。以前，一旦完成了数据收集的目的后，数据便会没有任何用处变为废弃物。例如在火车到......
admin
文章浏览阅读6.1k次，点赞5次，收藏40次。大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术......
admin
文章浏览阅读2.1k次，点赞5次，收藏3次。Hadoop是开源的、可运行在大规模计算机集群上的分布式计算平台，它可以完成海量数据的存储与处理分析，被公认为行业大数据标准开源软件，在行业内得到了广泛的应用。文章目录一、......
admin
文章浏览阅读1.4k次。 数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖......
admin
文章浏览阅读3.1k次。编者按现代社会是一个信息驱动的社会，每天都有大量的信息产生。据统计，互联网上每天有数十亿条媒体文章产生，在线信息检索超过500亿次。伴随着互联网技术的发展和新媒体创新应用，人们越来越倾......
admin
资源浏览查阅52次。全新大数据企业电商数据仓库项目实战教程,本教程为授权出品一、课程简介数据仓库（DataWarehouse，可简写为DW或DWH），是面向分析的集成化数据环境，为企业决策制定过程，提供系统数据支持的战略集合，是......
admin
文章浏览阅读1.1w次。要想从急剧增长的数据资源中挖掘分析出有价值的信息，需要先进的分析技术作支撑。从宏观上看，大数据分析技术发展所面临的问题均包含三个主要特征：（1）数据量庞大并以惊人的速度增长;（2）数据......
admin
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(......
admin
中国城镇污泥处理处置技术的发展现状与趋势——基于大数据和温室气体排放的分析本期将推出哈尔滨工业大学魏亮亮副教授团队的一篇最新综述，内容翔实，主要是基于大数据和温室气体排放分析，阐述我国城镇污泥处理处置......
admin
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
