文章浏览阅读480次。搭建集群的模式有三种 1.伪分布式：在一台服务器上，启动多个线程分别代表多个角色(因为角色在集群中使用进程表现的) 2.完全分布式：在多台服务器上，每台服务器启动不同角色的进程，多台服务器构成......
admin
网上下载mysql安装包文件，我下载的是：mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz，tar解压后mv到mysql文件夹，启动mysql服务service mysqld start登录mysqlmysql -u root -p输入密码后，登录成功创建数据库hive,用来保存hive元数据create database hive;操作......
admin
一、大数据的四个v特征 volume 体量大 variety 样式多 velocity 速度快 valueless 价值密度低 二、Hadoop四个模块 common hdfs：包括的进程nameNode+dataNode+secondaryNameNode hadoop yarn：包括的进程resourceManager......
admin
文章浏览阅读777次。Hadoop部署模式Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。 模式名称 各......
admin
文章浏览阅读7.3k次，点赞4次，收藏6次。一、机器配置清单(8节点)hadoop100 节点：NameNode、DFSZKFailoverController(ZKFC)hadoop101 节点：NameNode、DFSZKFailoverController(ZKFC)hadoop102: 节点：ResourceManagerhadoop103: 节点：ResourceManagerhadoop104: 节点：Data_......
admin
文章浏览阅读1.1k次。在单机模式的基础上，完成伪分布部署！单机模式安装Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Ha......
admin
一、准备工作1. 预备安装包(我将需要的包全部放到百度盘里了，可以一次搞定，这个链接只管7天，评论留下邮箱私戳)：链接: https://pan.baidu.com/s/15dZ9DLPln0uf0K5iVMS9pQ 提取码: tdfbhadoop-2.8.5.tar.gz、hbase-2.1.1-bin.tar.gz、apache-hive-2.3.4-bin.t......
admin
使用虚拟机安装Centos...
admin
文章浏览阅读5.2k次，点赞12次，收藏82次。文章目录第一节：新建虚拟机1、配置类型为“自定义”2、安装来源为“稍后安装操作系统”3、客户机和版本分别为“Linux”和“CenOs7 64位”4、命名虚拟机5、处理器配置6、虚拟机的内......
admin
文章浏览阅读477次。伪分布式：只需要一个虚拟机，所有节点都在该虚拟机上1.首先，需要安装JDK，将上传的jdk解压tar -zxvf jdk压缩包2.配置环境变量，位置：/etc/profileexport JAVA_HOME=/opt/software/jdk1.8.0_121export PATH=$PATH:$JAVA_HOME/bin注：......
admin
文章浏览阅读476次。1. 首先根据之前的文章搭建好hadoop单节点环境2. 分布式集群规划名称 IP HDFS YARNmaster 192.168.56.100 NameNode ResourceManagerdata1 192.168.56.101 DataNode NodeManagerdata2 192.168.56.102 DataNode NodeMa_localhost:8088 nodes显......
admin
一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的......
admin
本文主要介绍了Hadoop简介及Apache Hadoop完全分布式集群搭建：大数据简介，包括知识体系、大数据定义及应用场景和大数据发展趋势及从业人员发展路线等；Hadoop简介，包括Hadoop概念、起源、特点、发行版本和优缺点等；Hadoop的......
admin
一、集群配置1. 如何规划hadoop中的进程HDFS : 有一个NN（namenode）和 N个DN（datanode），2NN（second namenode ）也可以有N个辅助NN工作YARN : 有一个 RM（resoureManager） 和 N 个NM （nodemanager）避免单点故障，NN和RM建议分散到多台机器, 我们现......
admin
写在前边的话： hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客 基本环境： Hadoop 2.7 Java 1.7.0_51 CentOS 6.5 预安装： ..._hbase1.2.1匹配那个zookeeper...
admin
About云-梭伦科技技术交流模块中hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布式集群HA部署是为了解决云开发技术，为大家提供云技术、大数据文档，视频、学习指导，解疑等。...
admin
文章浏览阅读1w次，点赞4次，收藏30次。学习参考了给力星的两个节点的hadoop搭建过程，我用VirtualBox开了四个Ubuntu（版本15.10）虚拟机，搭建了四个节点的Hadoop分布式集群，并配置了HA，适合首次搭建的同学参考，节点设计如下......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
