在spark-shell中运行代码①能够使用正确的方式启动spark-shell；②能够在spark-shell中进行交互式编程。实验原理-> spark-shellspark-shell提供了简单的方式来学习 API，并且提供了交互的方式来分析数据。你可以输入一条语句，spark-she......
admin
目录一、数据传输层1、Sqoop2、Flume3、Kafka二、数据存储层1、HDFS2、HBase三、资源管理层1、YARN一、数据传输层1、SqoopSqoop是一款用来在Hadoop（Hive）和关系型数据库之间传输数据的工具。功能概述：Sqoop主要用于在HDFS/Hive与关系型数......
admin
Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史Hadoop与Spark框架对比 Spark内置模块Spark Core：实现了Spark的基本功能，包含任务调度、内......
admin
yum安装mysql5.7，当工作需要部署mysql时，通过手动上传安装包以及依赖包的方式安装mysql会比较麻烦，可以添加官方yum源，来实现自动安装依赖，方便快捷，这里已mysql5.7为例，其他版本差不多。 蒙多不减肥 华为云开发者联盟...
admin
CentOS部署Docker环境操作系统版本：CentOS7.9（镜像CentOS-7-x86_64-Minimal-2009.iso）操作系统下载链接：http://mirrors.neusoft.edu.cn/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.isosearch pull start pause unpause stop -一脸懵逼- 华为云开发者联盟...
admin
发现两款不错的开源加密工具：sqleet和SQLite3MultipleCiphers miaow~miaow 华为云开发者联盟...
admin
webservice接口并以xml格式传参 sinqi_SG 华为云开发者联盟...
admin
当你部署好k8s和docker之后，就可以部署docker仓库里的镜像了。首先编写 deployment.yamlapiVersion: apps/v1kind: Deploymentmetadata:name: myapplabels:name: myappspec:selector:matchLabels:name: myapptemplate:metadata:labels:name: m 橙子橙 华为云开发者联盟...
admin
前一阵子一直在忙着做项目，最近有空，把项目中用到的SpringBoot微服务相关架构再梳理一遍。项目资源：https://github.com/sunroyi/SpringCloud主要分为以下几步：（1）搭建SpringBootService，这里是各个微服务的业务逻辑。（这里搭建了2......
admin
安装与卸载常用命令Docker-Compose命令格式 docker-compose [-f …] [options] [COMMAND] [ARGS…]命令选项如下：-f，–file FILE指定Compose模板文件，默认为docker-compose.yml，可以多次指定。-p，–project-name NAME指定项目名称，默认将使用所在目录名......
admin
解决方法：我在MySQL中有两个表。表Person具有以下列：id | name | fruits水果列可以包含空或像(‘apple’，’orange’，’banana’)或(‘strawberry’)等的字符串数组。第二个表是Table Fruit，有以下三列：____________________________fruit_name | color......
admin
kafka 为了保证数据的一致性使用了isr 机制首先我们知道kafka 的数据是多副本的，某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。每个topic 下的每个分区下都有一个leader ......
admin
一、简单回顾三种日志在讲解两阶段提交之前，需要对MySQL中的三种日志即binlog、redo log与undo log有一定的了解。在这三种日志中，很多同学会把binlog与redo log混淆，下面使用一张表格来简单对比下两者的区别。... SunAlwaysOnline 华......
admin
排序数据1.排序规则使用ORDER BY 字句排序,在其后面加所需字段ASC(ascend): 升序DESC(descend): 降序ORDER BY 字句在SELECT语句的结尾注意:数据库中默认按照先后添加顺序存储数据,在查询时,也按照添加顺序遍历显示结果.因此当我们需要一......
admin
第一章1.spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎特点：对任意数据类型的数据进行自定义计算Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持......
admin
概念MySQL5.0版本开始支持存储过程,存储过程就是一组SQL语句集,功能强大,可以实现一些比较复杂的逻辑功能,类似于JAVA语言中的方法,存储过就是数据库SQL与层层面的代码封装与重用特性1.有输入输出参数,可以声明变量,有if/else/case......
admin
(1).第一类：create view v as select * from table;(2).第二类：create view v as select id,name,age from table;(3).第三类：create view v[vid,vname,vage] as select id,name,age from table;如果涉及到数据量过大，业务逻辑需要跨表查询等等也可建立一个 东海龙王Q 华......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
