文章浏览阅读6.1w次，点赞18次，收藏141次。刚接触大数据一个月，把一些基本知识，总体架构记录一下，感觉坑很多，要学习的东西也很多，先简单了解一下基本知识什么是大数据：大数据（big data），指无法在一定时间范围内......
admin
文章浏览阅读283次。Spark SQL作为Spark当中的结构化数据处理模块，在数据价值挖掘的环节上，备受重用。自Spark SQL出现之后，坊间甚至时有传言，Spark SQL将取代Hive，足见业内对其的推崇。今天的大数据开发学习分享，我们就来讲......
admin
文章浏览阅读1.6k次，点赞3次，收藏9次。hadoop伪分布实例伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：hdfs dfs -mkdir -p /user/hadoop # 已经将hadoop中的bin加入到环境变量中将本地的word.txt复制到分......
admin
文章浏览阅读6k次，点赞3次，收藏23次。在数据加载完毕之后，就需要进行数据分析的下一步--即数据处理。而数据处理分为三个步骤：数据准备、数据分组、数据转换。一：数据准备 数据准备就是在加载的多个不同的数据结构......
admin
文章浏览阅读3.6w次，点赞45次，收藏413次。当Excel中有大量需要进行处理的数据时，使用Python不失为一种便捷易学的方法。接下来，本文将详细介绍多种Python方法来处理Excel数据。_python表格数据处理...
admin
文章浏览阅读3.5k次，点赞3次，收藏11次。一、介绍 数据清洗主要内容是删除原始数据集中的无关数据、重复数据，平滑噪声数据，刷选掉与挖掘主题无关的数据，处理缺失值、异常值等。二、缺失值处理 缺失值处理的方法......
admin
Hadoop作为分布式大数据处理系统的典型代表，在大数据领域的应用可以说是占据了相当重要的市场。因为Hadoop是开源项目，所以基于Hadoop去搭建大数据平台，对于企业而言，不会增加更大的成本支出。今天，我们就主要来聊聊Had......
admin
过往记忆'海量数据处理'...
admin
,人大经济论坛...
admin
文章浏览阅读1.2k次。（一）几个基本概念：字面量、值、变量和类型1、字面量：直接出现在源代码中的数据，如数字5、字母A、文本“hello world”2.、值：是一个不可变的、有类型的存储单元。可以在定义值是为它指定数据，不......
admin
文章浏览阅读3.9k次，点赞3次，收藏11次。大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创......
admin
大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。 大数据处理的流程具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
