文章浏览阅读2.5k次。目录准备第一步 设置主机名第二步 设置网络IP第三步 添加主机名和IP的映射关系第四步 关闭防火墙第五步 创建hadoop用户第六步 在master主机上下载hadoop3.1.4、jdk1.8第七步 添加环境变量第八步 设置免密登录第......
admin
文章浏览阅读1w次，点赞2次，收藏4次。HDFS是一个分布式文件系统，安装完成之后使用起来类似于本地文件系统，但是它是一个网络文件系统，所以访问这种文件系统的方式和访问本地文件系统的方式还是有所差别的（本地文件......
admin
文章浏览阅读658次，点赞2次，收藏2次。LZO压缩yum install lzopCDH6.3.2_hdfs 压缩 配置 cdh...
admin
HDFS是Apache Hadoop项目的一部分，是一个分布式文件系统，用于存储和管理文件，能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统，适合部署在......
admin
文章浏览阅读1.2k次。环境（举例）操作系统版本：SUSE Linux Enterprise Server 11 (x86_64) SP3IP：192.168.0.23主机名：HADOOP软件路径：/data/installHadoop集群路径：/dataJAVA_HOME路径：/usr/jdk1.8.0_66 版本组件名 版本 说明 JRE java version "1.8.0_66&......
admin
一起重新开始学大数据-hadoop篇-Day45-hadoop启动脚本详细启动脚本介绍第一种：全部启动集群所有进程启动：sbin/start-all.sh停止：sbin/stop-all.sh第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程启动：sbin/start-dfs.sh sb......
admin
文章浏览阅读2.3k次。关注微信公共号：小程在线关注CSDN博客：程志伟的博客HDFS、YARN、Zookeeper安装1.1 选择自定义安装1.2 选择安装服务1.3 分配节点1.4 集群设置全部选默认即可1.5 自动启动进程1.6 修改HDFS的权限检查配置关闭HDFS中......
admin
CLOUD 005大数据 、 Hadoop 、 Hadoop安装与配置 、 HDFS一 什么是大数据<了解背景>1 随着计算机技术发展，互联网普及，信息积累到了一个庞大底部，信息增长也在不断加快，物联网，互联网建设加快，信息更是爆炸增长，造成......
admin
文章浏览阅读2.1k次。注：开源力量Hadoop Development网络培训，链接：http://new.osforce.cn/course/52 个人笔记，不具参考性。_you do not have the permissions necessary to view the contents of “hadoop”...
admin
文章浏览阅读7.2k次，点赞3次，收藏10次。0.前言搭建伪分布式要先搭建本地模式。请参照上一个博客： http://blog.csdn.net/xummgg/article/details/51172933 参考资料（官网为主，网络资料为铺）： http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist......
admin
文章浏览阅读1.2k次，点赞3次，收藏6次。Spark安装配置文章目录Spark安装配置2.1 Spark安装2.2 本地模式2.3 伪分布式2.4 集群模式--Standalone模式2.4.1 Standalone 配置2.4.2 运行模式(cluster / client)2.1 Spark安装官网地址：http://spark.apache.org/文档......
admin
文章浏览阅读360次。1．Hive安装及配置（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[test@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/mod..._提供hiveserver2服务......
admin
文章浏览阅读5.9k次，点赞11次，收藏148次。hadoop之hbase安装和配置安装HBase前，需要的准备条件安装HBase配置HBase单机模式伪分布式模式完全分布式模式（集群）安装HBase前，需要的准备条件HBASE运行需要JDKJDK安装和配置HBase的底层......
admin
文章浏览阅读5.9k次，点赞11次，收藏148次。hadoop之hbase安装和配置安装HBase前，需要的准备条件安装HBase配置HBase单机模式伪分布式模式完全分布式模式（集群）安装HBase前，需要的准备条件HBASE运行需要JDKJDK安装和配置HBase的底层......
admin
文章浏览阅读306次。⼯作流调度系统Azkaban第 1 节 概述1.1 ⼯作流调度系统⼀个完整的数据分析系统通常都是由⼤量任务单元组成：shell脚本程序 java程序 mapreduce程序 hive脚本等各任务单元之间存在时间先后及前后依赖关系,为了很......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
