九指码农擅长spark及问题解决,大数据,es学习,等方面的知识,九指码农关注架构,elasticsearch,redis领域....
admin
文章浏览阅读1.8k次。第63课：Spark SQL下Parquet内幕深度解密学习笔记本期内容：1. SparkSQL下的Parquet意义再思考2. SparkSQL下的Parquet内幕解密 一．SparkSQL下的Parquet意义再思考Twitter用Parquet节省了70%存储费用。1. 如果HDFS是大数据时代分......
admin
文章浏览阅读125次。本課課程：Spark源码中的Scala类型系統的使用Scala类型系統编程操作实战Spark源码中的Scala类型系統的使用classOf[RDD[_]] 這個也是类型系統這里的意思是說 B 這種類型必需至少是 A 這樣類型Ordering...
admin
大数据学习与分享擅长大数据,Spark,Hive,等方面的知识,大数据学习与分享关注hive,storm,spark,hadoop,etl领域....
admin
情深不仅李义山擅长Hadoop,spark,Java学习之路,等方面的知识,情深不仅李义山关注hive,storm,spark,hadoop,etl领域....
admin
文章浏览阅读2.5k次。Spark 是一种通用的大数据计算框架， 正如传统大数据技术Hadoop的MapReduce、Hive引擎， 以及Storm流式实时计算引擎等。..._sparkcore 文本关联聚合...
admin
文章浏览阅读103次。本課課程：Spark源码中的Scala模式匹配编程Scala中模式匹配编程操作实战Spark源码中的Scala模式匹配编程每個 case 里面都是一個函数，如果條件符合了就運行 => 右邊的代碼 (函数體)[insert1]這里也是模式匹配的......
admin
文章浏览阅读480次。Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必......
admin
文章浏览阅读2.3k次。checkpoint和持久化的区别：1.持久化只是将数据保存在BlockManager中，而RDD的lineage是不变的。但是checkpoint执行完后，RDD已经没有之前所谓的依赖RDD了，而只有一个强行为其设置的checkpointRDD，RDD的lineage改变了。2......
admin
小白学习指南擅长scala,hive,spark,等方面的知识,小白学习指南关注集成学习,scikit-learn,caffe,mxnet,排序算法,推荐算法,聚类,tensorflow,nlp,pytorch,迁移学习,opencv,回归,分类领域....
admin
文章浏览阅读278次。1 解压缩文件将文件spark-2.4.5-bin-without-hadoop-scala-2.12.tgz解压缩到无中文无空格的路径中，将hadoop3依赖jar包拷贝到jars目录中。2 启动本地环境1) 执行解压缩文件路径下bin目录中的spark-shell.cmd文件，启动Spark......
admin
文章浏览阅读251次。所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，......
admin
文章浏览阅读7.1k次。所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任......
admin
文章浏览阅读327次。 初次尝试用 Spark+scala 完成项目的重构，由于两者之前都没接触过，所以边学边用的过程大多艰难。首先面临的是如何快速上手，然后是代码调优、性能调优。本章主要记录自己在项目中遇到的问题以及......
admin
大数据学习僧擅长Hive,项目管理,Spark,等方面的知识,大数据学习僧关注hive,flink,mapreduce,spark,hdfs,hadoop,sqoop,数据库,etl,大数据,kylin领域....
admin
文章浏览阅读504次。Spark内核架构包括：Application、spark-submit、Driver、SparkContext、Master、Worker、Executor、Job、DAGScheduler、TaskScheduler、ShuffleMapTaskand ResultTask等部分。Standalone client提交模式：1.Standalone会通过反射的方式，创建和构造......
admin
1 解压缩文件将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩在指定位置 tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module cd /opt/module mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-standalonespark2.4.5默认不支持Hadoop3，可......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
