一、FSImage和EditsLog是什么？我们知道HDFS是一个分布式文件存储系统，文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息（metadata）由NameNode节点来处理。随着存储文件的增多，NameNode上......
admin
系列文章目录hadoop大数据-HDFS分布式文件系统hadoop大数据-HDFS分布式文件系统系列文章目录一、hadoop简介二、Hadoop的搭建2.1本地独立模式2.1伪分布式模式的搭建完成分布式的搭建完全分布式的环境搭建完全分布式的配置hadoop结点......
admin
RHCS（Red Hat Cluster Suite），也就是红帽子集群套件，RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大集群架构融合一体，可以给web应用、数据库应用等提供安全、稳......
admin
文章浏览阅读1.3k次。详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572HDFS 高可用集群安装完成之后，紧接着快速搞定YARN的集群搭建。1.修改YARN配置文件1.1修改yarn-site.xml<configuration><property> &......
admin
一、haproxy实现负载均衡主机get haproxy-1.6.11.tar.gz 传给server1、server4server1:安装服务yum install -y rpm-buildyum install -y pcre-develyum install -y gcc1、haproxy配置过程 解压[root@server1 ~]# rpmbuild -t..._haproxy和pacemaker+ corosync...
admin
文章浏览阅读1.5k次，点赞5次，收藏13次。主从的cm主从的svc , statefulset都被我合并到一个文件里了,应该是可以用的注意修改storageclass的名称注意apply的时候 -n 指定ns#application/mysql/mysql-configmap.yamlapiVersion: v1kind: ConfigMapmetadata: name: ......
admin
文章浏览阅读521次。十三、实现Spark集群的高可用搭建Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。这里基于zookeeper的Standby Masters（Standby Master with zookeeper）实......
admin
文章浏览阅读1.7k次，点赞2次，收藏16次。提前准备1、准备四台centos服务器（一个wmware启动四个服务器就行）2、关闭防火墙3、配置静态ip4、更改主机名5、准备好jdk压缩包6、准备一个hadoop压缩包（本部分可参考本人上一篇博客：......
admin
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）,目录spark的Standalone模式安装 一、安装流程1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下，然后解压2、进入到conf中修改名字 改为 .sh 结尾的3、编辑 spark-env.sh4、......
admin
资源浏览查阅617次。《mysql管理之道：性能调优、高可用与监控》由资深mysql专家撰写，以最新的mysql版本为基础项目管理：计划、进度和控制电子书下载更多下载资源、学习资料请访问CSDN文库频道....
admin
文章浏览阅读158次。摘要：本文讲述spark是怎么针对master、worker、executor的异常情况做处理的。本文分享自华为云社区《图解spark是如何实现集群的高可用》，作者：breakDawn。我们看下spark是怎么针对master、worker、executor的异常情......
admin
文章浏览阅读710次。前段时间相信都被阿里的OceanBase数据库刷屏了，它击败世界头号数据库厂商Oracle，登顶全球第一。先不看新闻内容，光是看标题就足以让人耳目一新了。又是“击败”，又是“第一”，又是“打破世界纪录”......
admin
文章浏览阅读268次。一共4个节点,master1,worker1,worker2,worker3配置master1到worker1,worker2,worker3的免密登录Index of /dist/spark这里使用spark-3.1.3-bin-hadoop3.2这个版本wget https://archive.apache.org/dist/spark/spark-3.1.3/spark-3.1.3-bin-hadoop3.2.tgztar -xzvf spark-3.......
admin
文章浏览阅读1.7k次。Flink安装包下载下载地址：https://flink.apache.org/downloads.html将下载的的安装包上传到服务器并解压到指定的目录下，命令如下所示。#进入该目录[root@master software]# cd /home/software/#将下载的软件包上传到改目录下[......
admin
文章浏览阅读1.7k次。Flink安装包下载下载地址：https://flink.apache.org/downloads.html将下载的的安装包上传到服务器并解压到指定的目录下，命令如下所示。#进入该目录[root@master software]# cd /home/software/#将下载的软件包上传到改目录下[......
admin
文章浏览阅读54次。heartbeat+drbd如果主服務器宕機，造成的損失是不可估量的。要保證主服務器不間斷服務，就需要對服務器實現冗余。在眾多的實現服務器冗余的解決方案中，heartbeat為我們提供了廉價的、可伸縮的高可用集群......
admin
龙启东魅族资深DBA负责MySQL、Redis、MongoDB以及自动化平台建设 。擅长MySQL高可用方案、SQL性能优化、故障诊断等。本次分享主要包括以下几方面：如何利用MHA改造MHA适应MySQL高可用场景构建MySQL高可用平台的出发点如何构建MySQL高......
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
