CentOS 7环境下Hadoop高可用（HA）集群部署完全指南：企业级分布式系统搭建实战

一、环境准备与基础配置

1. 机器准备： 准备至少3台CentOS 7虚拟机（例如：node1, node2, node3）。

2. 修改主机名与IP映射： 编辑 /etc/hosts，确保各节点间可以通过主机名互相访问。

3. 免密登录： 使用 ssh-keygen 和 ssh-copy-id 实现三台机器之间的互信，这是集群自动切换的基础。

4. 安装JDK： Hadoop依赖Java环境，请务必安装JDK 1.8并配置环境变量。

二、部署Zookeeper协调集群

Zookeeper用于监控NameNode状态并辅助选举。在三台机器上解压Zookeeper安装包，修改 zoo.cfg 配置文件，并分别在 dataDir 目录下创建 myid 文件。启动集群：zkServer.sh start。

三、Hadoop核心配置文件编写

进入Hadoop的 etc/hadoop/ 目录，重点修改以下文件：

• core-site.xml： 配置HDFS集群入口（nameservice）以及Zookeeper集群地址。
• hdfs-site.xml： 定义两个NameNode的ID、RPC地址、HTTP地址，以及JournalNode的同步路径。
• slaves： 列出所有的DataNode节点主机名。

四、集群初始化与启动流程

这是最关键的一步，请严格按照顺序执行：

1. 启动所有节点的 JournalNode。
2. 在node1格式化NameNode：hdfs namenode -format，然后启动该NameNode。
3. 在node2同步NameNode元数据：hdfs namenode -bootstrapStandby。
4. 格式化ZKFC：hdfs zkfc -formatZK。
5. 启动整个HDFS和YARN集群。

五、高可用性测试

打开浏览器访问 node1:50070 和 node2:50070，你会发现一个处于 active 状态，另一个处于 standby 状态。尝试 kill 掉 active 进程，你会观察到 standby 节点在数秒内自动切换为 active，证明我们的 Hadoop HA 集群部署成功！