CentOS Hadoop安装与配置完整指南（手把手教你搭建大数据Hadoop集群）

一、环境准备

在开始安装 Hadoop 之前，请确保你的系统满足以下条件：

• 操作系统：CentOS 7（64位）
• 内存：建议至少 2GB（推荐 4GB 以上）
• Java JDK 8 已安装（Hadoop 依赖 Java 环境）
• SSH 服务已启用（Hadoop 需要通过 SSH 无密码登录本地）

二、安装 Java JDK 8

Hadoop 基于 Java 开发，必须先安装 JDK。我们使用 OpenJDK 8：

sudo yum install -y java-1.8.0-openjdk-devel

验证安装是否成功：

java -version

如果看到类似 openjdk version "1.8.0_XXX" 的输出，说明 JDK 安装成功。

三、配置 SSH 免密登录

Hadoop 在启动时会通过 SSH 连接本地主机，因此需要配置免密登录：

# 生成 SSH 密钥对（一路回车即可）ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa# 将公钥添加到授权文件cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 设置权限chmod 0600 ~/.ssh/authorized_keys# 测试免密登录ssh localhost

如果无需输入密码即可登录，则配置成功。

四、下载并解压 Hadoop

前往 Apache 官网下载 Hadoop。这里以 Hadoop 3.3.6 为例：

cd /optsudo wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gzsudo tar -zxvf hadoop-3.3.6.tar.gzsudo mv hadoop-3.3.6 hadoopsudo chown -R $USER:$USER hadoop

五、配置 Hadoop 环境变量

编辑 ~/.bashrc 文件，添加以下内容：

export HADOOP_HOME=/opt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

然后执行：

source ~/.bashrc

六、修改 Hadoop 核心配置文件

进入配置目录：

cd $HADOOP_HOME/etc/hadoop

1. 编辑 hadoop-env.sh，设置 JAVA_HOME：

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

2. 编辑 core-site.xml，在 <configuration> 标签内添加：

<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property></configuration>

3. 编辑 hdfs-site.xml，添加：

<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <property>        <name>dfs.namenode.name.dir</name>        <value>file:///opt/hadoop/data/namenode</value>    </property>    <property>        <name>dfs.datanode.data.dir</name>        <value>file:///opt/hadoop/data/datanode</value>    </property></configuration>

4. 创建 HDFS 数据目录：

mkdir -p /opt/hadoop/data/namenodemkdir -p /opt/hadoop/data/datanode

七、格式化 NameNode 并启动 Hadoop

首次启动前需格式化 NameNode：

hdfs namenode -format

启动 HDFS 和 YARN：

start-dfs.shstart-yarn.sh

验证是否启动成功：

jps

你应该看到如下进程（顺序可能不同）：

NameNodeDataNodeSecondaryNameNodeResourceManagerNodeManager

八、访问 Web UI

打开浏览器，访问以下地址：

• HDFS 管理界面：http://localhost:9870
• YARN 资源管理界面：http://localhost:8088

九、总结

恭喜你！你已经成功在 CentOS 上完成了 CentOS Hadoop安装 与基本配置。这套环境适用于学习和开发测试。如果你计划用于生产环境，建议部署多节点集群，并深入学习 HDFS、MapReduce、YARN 等核心组件。

本文涵盖了完整的 Hadoop配置教程，包括 Java 安装、SSH 配置、Hadoop 解压、环境变量设置及核心 XML 文件修改。无论你是学生、开发者还是运维工程师，掌握 大数据Hadoop部署 技能都将为你的职业发展增添重要砝码。

希望这篇 CentOS Hadoop集群 搭建指南对你有所帮助！如有疑问，欢迎在评论区留言交流。