CentOS 7.9下Hadoop 3.3.5完全分布式集群搭建指南（从零开始的详细教程）

一、环境准备

本教程将带你完成Hadoop3.3.5安装，搭建Hadoop完全分布式集群。我们使用三台CentOS 7.9虚拟机，主机名分别为master、slave1、slave2。确保每台机器网络通畅，关闭防火墙和SELinux。

二、网络配置与主机名映射

设置静态IP，并修改/etc/hosts文件，添加以下内容：

    192.168.1.100 master192.168.1.101 slave1192.168.1.102 slave2  

确保主机名与IP对应，可以使用hostnamectl set-hostname命令设置。

三、SSH免密登录

在master节点生成密钥对，并将公钥复制到所有节点（包括自身），实现Hadoop集群搭建的基础：

    ssh-keygen -t rsa -P ""ssh-copy-id masterssh-copy-id slave1ssh-copy-id slave2  

四、安装JDK

Hadoop 3.3.5依赖JDK 8。下载Oracle JDK，解压到/usr/local/java，并配置环境变量/etc/profile：

    export JAVA_HOME=/usr/local/java/jdk1.8.0_202export PATH=$PATH:$JAVA_HOME/bin  

五、安装与配置Hadoop

下载hadoop-3.3.5.tar.gz，解压到/usr/local/hadoop，并配置环境变量。然后修改配置文件（位于$HADOOP_HOME/etc/hadoop）：

1. hadoop-env.sh

    export JAVA_HOME=/usr/local/java/jdk1.8.0_202  

2. core-site.xml

                fs.defaultFS    hdfs://master:9000        

3. hdfs-site.xml

                dfs.replication    2        dfs.namenode.name.dir    /usr/local/hadoop/data/namenode        dfs.datanode.data.dir    /usr/local/hadoop/data/datanode        

4. mapred-site.xml

                mapreduce.framework.name    yarn        

5. yarn-site.xml

                yarn.resourcemanager.hostname    master        yarn.nodemanager.aux-services    mapreduce_shuffle        

6. workers文件

    slave1slave2  

六、启动集群

在master节点格式化NameNode：

    hdfs namenode -format  

启动HDFS和YARN：

    start-dfs.shstart-yarn.sh  

七、验证集群

使用jps查看进程：master上应有NameNode、ResourceManager、SecondaryNameNode；slave上应有DataNode、NodeManager。通过浏览器访问http://master:9870查看HDFS UI，访问http://master:8088查看YARN UI。至此，Hadoop完全分布式集群搭建成功！

总结：本教程详细介绍了在CentOS 7.9上完成Hadoop3.3.5安装并配置Hadoop集群搭建的全过程，希望对大家有帮助。