文章浏览阅读767次。minikube安装1、win10安装docker我的电脑是win10专业版,可以直接安装docker-ce版本。具体操作如下:(1)开启 Hyper-V:进入“控制面板\程序\程序和功能”,勾选“Hyper-V”。(2)下载安装包https://download.docker.com/win......
admin 2024-01-22
文章浏览阅读5.3k次,点赞46次,收藏2次。 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了......
admin 2024-01-24
文章浏览阅读282次。前言在搭建Zookeeper之前,请确保有3台以上可以ping 通并装有Linux 系统的机器。ZooKeeper服务器是用Java创建的,它在JVM上运行。你需要使用JDK 6或更高版本。现在,按照以下步骤在你的机器上搭建ZooKeeper集群环境......
admin 2024-01-24
文章浏览阅读205次。大数据分析引擎:Hive大数据的终极目标:使用SQL语句处理大数据1、Hadoop的终极目标:使用SQL语句来处理大数据()Hive:支持SQL;()Pig:支持PigLatin2、Spark的体系架构中:(*)Spark SQL:类似Hive支持SQL、支......
admin 2024-01-23
文章浏览阅读2k次,点赞3次,收藏5次。Spark运行环境搭建文章目录Spark运行环境搭建前言一、本地模式1.1基于IDEA和Maven的Spark开发环境搭建1.1.1 IDEA中增加Scala插件1.1.2 配置全局的Scala SDK1.1.3 添加Spark依赖关系1.1.4 wordCount测试案例1.1......
admin 2024-01-24
一、Scala核心编程课程简介<br /><br /> 近年来随着大数据的兴起,大数据核心框架Spark和Kafka也受到到广泛关注, Spark底层是Scala实现的, 因此也带火了Scala语言,目前Scala被全球知名公司(如:谷歌、百度、阿里、Twitter、......
admin 2024-01-22
文章浏览阅读2.3k次。1, 源码下载:Downloads | Apache Spark2, 源码解压并编译:编译前建议在环境变量中添加以下参数export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=1g"tar -zxvf spark-3.0.3.tgzcd spark-3.0.3mvn -Pyarn -Phive -Phive-thriftserver -Dhadoop.versi......
admin 2023-11-11
文章浏览阅读487次。Ubuntu docker安装、容器准备、环境准备以及软件安装docker安装SSH安装容器准备环境准备安装必要软件配置SSH免密登录设置时区关闭防火墙安装MySQL安装JDKHadoop安装docker安装SSH安装更新源dsj@dsj:~$ sudo apt-get update如......
admin 2024-01-22
文章浏览阅读917次。2.4 Standalone模式在Standalon模式中,Spark集群由Master节点和Worker节点构成,使用内置的Standalon框架进行资源管理。Spark程序通过与Master节点交互,申请所需资源。Worker节点负责具体的Executor的启动运行。Standadlon模......
admin 2024-01-24
准备工作下载交叉编译工具:百度网盘:https://pan.baidu.com/s/1AL3EztPUpWZOpxdbyEnI_w 提取码:w2k7ubuntu版本:uname -v#55~18.04.1-Ubuntu SMP Mon Jun 22 16:40:20 UTC 2020交叉编译1. 首先更换镜像源,再更新打开镜像源,ubuntu18更新源:https://mirrors.tuna.t......
admin 2023-10-14
一、Scala核心编程课程简介<br /><br /> 近年来随着大数据的兴起,大数据核心框架Spark和Kafka也受到到广泛关注, Spark底层是Scala实现的, 因此也带火了Scala语言,目前Scala被全球知名公司(如:谷歌、百度、阿里、Twitter、......
admin 2024-01-22
文章浏览阅读105次。三部分的内容1、Spark Core:内核,是Spark中最重要的内容,相当于MapReduce Spark Core和MapReduce都是进行离线计算 Spark Core的核心:RDD(弹性分布式数据集),由分区组成 2、Spark SQL:相当于Hive、P......
admin 2024-01-23
Spark环境搭建JunLeon——go big or go home目录Spark环境搭建一、环境准备1、软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、Spark Local模式搭建1、Spark下载、上传和解压2、配置环境变量3、配置Spark配置文件4、测试5、补充:spark-shell、sp......
admin 2024-01-23
文章浏览阅读1.6w次,点赞34次,收藏133次。windows环境下,搭建RTSP视频推流服务器_rtsp-simple-server_v0.19.1_windows_amd64.zip...
admin 2024-01-27
文章浏览阅读394次。Standalone模式: 即构建一个由Master+Slave构成的Spark集群,Spark运行在集群中。standalone模式安装spark安装包下载地址官网下载链接1.上传并解压spark安装包,改文件夹名称,便于使用[hadoop@hrbu30 ~]$ tar -zxvf spark-2.4.6-bin-......
admin 2024-01-22
文章浏览阅读1.2w次,点赞2次,收藏11次。目的描述:继续一个项目的研发,该项目的开发环境是Qt4.8.7+MINGW with GCC 4.8.2。 所以我需要先安装MINGW 4.8.2安装方法:先下载自己所需版本的MINGW安装包。所有历史版本的MINGW下载网址在:......
admin 2023-11-13
文章浏览阅读201次。拷贝lvgl/lv_conf_template.h, lv_drivers/lv_drv_conf_template.h, lv_examples/lv_demo_conf_template.h 三个文件到工程目录,并且重命名为把_template去掉。这样QT creator的开发环境就配置好了,Device type一定要选择桌面,不要选择成其......
admin 2023-11-11
友情链接申请要求: 不违法不降权 权重相当 请联系QQ:737597453