文章浏览阅读1.5k次。大数据概述（思维导图、学习笔记）_大数据概述思维导图...
admin
文章浏览阅读3.5k次。1.1 大数据的概念海量数据，具有高增长率，数据类型多样化，一定时间内无法使用常规软件工具进行捕捉，管理和处理的数据集合。1.2 大数据的特征（4V说法，普遍认可的）1，volume：巨大的数据量2，variety......
admin
文章浏览阅读407次。Hadoop2.X管理与开发每日关注 2019年3月21日 星期四1. 阿里AI labs成立方言保护专项小组，投入1亿元保护汉语方言2. 小红书上线“品牌号”，并进行五大模块升级3. 知乎否认内测“知乎百科”产品，“百科”是知......
admin
文章浏览阅读3.8k次，点赞6次，收藏56次。大数据什么是大数据？高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而“大数据”无疑是核心推动......
admin
文章浏览阅读1.2k次，点赞5次，收藏5次。大数据原理与技术（一）：大数据概述在谈大数据之前，笔者想说点我与大数据的缘分，去年疫情期间。学校与华为公司共建了一个ICT学院，笔者学习了大数据的相关课程，了解到不少关......
admin
文章浏览阅读757次。1.1 什么是Spark1.2 Spark内置模块Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定......
admin
文章浏览阅读787次。Scala combines object-oriented and functional programming in one concise, high-level language.Scala's static types help avoid bugs in complex applications, and its JVM and JavaScript runtimes let you build high-performance systems with easy access to hug_哪些大数据框......
admin
文章浏览阅读826次。第1章 大数据概述1.1大数据的概念（4V说法）1.数据量大（Volume）2.数据类型繁多（Variety）3.处理速度快（Velocity）4.价值密度低（Value）1.2大数据的思维方式全样而非抽样，效率而非精确，相关而非因果。1.3大......
admin
文章浏览阅读122次。1 Scala概述1.1 什么是Scala？Scalable Language，可伸缩的软件编程语言；作者：Martin Odersky为什么是可伸缩的呢？Scala体现面向对象，函数编程等多种不同的语言范式，且融合不同语言新的特性1.2 为什么要学Scala？......
admin
从多角度完善分享大数据开发露流程。...
admin
文章浏览阅读109次。第1章 RDD概述1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。1.2 RDD......
admin
不多说，直接上干货！ 目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性......
admin
文章浏览阅读355次。大数据之Spark 核心编程概一、RDD1、什么是 RDD2、核心属性二级目录三级目录Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：➢......
admin
文章浏览阅读288次。文章目录1 Scala语言概述2 Scala基础知识3 面向对象编程基础4 函数式编程基础快速掌握Spark编程所需的Scala基础。1 Scala语言概述计算机的缘起形式系统：λ演算=图灵机计算机体系结构：冯·诺依曼2. 编程范式定......
admin
文章浏览阅读9.8k次，点赞8次，收藏43次。https://blog.csdn.net/baidu_41937166/article/details/99114771?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-2&spm=1001.2101.3001.4242ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来......
admin
文章浏览阅读164次。HDFS(分布式文件存储系统)--概述目录HDFS(分布式文件存储系统)--概述一、概述二、特点优点：缺点：一、概述全称为Hadoop Distributed File System ，Hadoop分布式文件存储系统 HDFS是根据谷歌的论文：《The Google File Syst......
admin
文章浏览阅读2.4k次。第一章：大数据的概述1.1 大数据的概念最近几年，IT行业最火的名词中，少不了"大数据"、"人工智能"、"云计算"、"物联网"、"区块链"等等这些名词。针对于"大数据&q......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
