Debian Hadoop安装配置指南（手把手教你搭建Hadoop大数据平台）

一、准备工作

在开始安装 Hadoop 之前，请确保你的 Debian 系统满足以下条件：

• Debian 10（Buster）或更高版本
• 已安装 Java（Hadoop 依赖 Java 运行）
• 拥有 sudo 权限的用户账户
• 稳定的网络连接（用于下载软件包）

1. 安装 Java

Hadoop 需要 Java 环境。我们推荐使用 OpenJDK 8 或 11。以 OpenJDK 11 为例：

sudo apt updatesudo apt install -y openjdk-11-jdk

验证 Java 是否安装成功：

java -version

你应该看到类似如下的输出：

openjdk version "11.0.19" 2023-04-18OpenJDK Runtime Environment (build 11.0.19+7-post-Debian-0deb10)OpenJDK 64-Bit Server VM (build 11.0.19+7-post-Debian-0deb10, mixed mode)

2. 创建 Hadoop 用户（可选但推荐）

为了安全性和管理方便，建议为 Hadoop 创建专用用户：

sudo adduser hadoopsudo usermod -aG sudo hadoop

然后切换到该用户：

su - hadoop

二、下载并安装 Hadoop

访问 Apache Hadoop 官网 获取最新稳定版下载链接。本文以 Hadoop 3.3.6 为例。

cd ~wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gztar -xzvf hadoop-3.3.6.tar.gzmv hadoop-3.3.6 hadoop

三、配置 Hadoop 环境变量

编辑 ~/.bashrc 文件，添加 Hadoop 和 Java 的环境变量：

nano ~/.bashrc

在文件末尾添加以下内容（请根据你的实际路径调整）：

# Javaexport JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64# Hadoopexport HADOOP_HOME=/home/hadoop/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后执行以下命令使配置生效：

source ~/.bashrc

四、配置 Hadoop 核心文件（单机模式）

进入 Hadoop 配置目录：

cd $HADOOP_HOME/etc/hadoop

1. 编辑 hadoop-env.sh

设置 JAVA_HOME：

nano hadoop-env.sh

找到并修改以下行：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

2. 配置 core-site.xml

nano core-site.xml

在 <configuration> 标签内添加：

<property>  <name>fs.defaultFS</name>  <value>hdfs://localhost:9000</value></property>

3. 配置 hdfs-site.xml

nano hdfs-site.xml

添加以下内容（replication 设为 1，适用于单机）：

<property>  <name>dfs.replication</name>  <value>1</value></property><property>  <name>dfs.namenode.name.dir</name>  <value>file:///home/hadoop/hadoop/data/namenode</value></property><property>  <name>dfs.datanode.data.dir</name>  <value>file:///home/hadoop/hadoop/data/datanode</value></property>

创建上述目录：

mkdir -p ~/hadoop/data/namenodemkdir -p ~/hadoop/data/datanode

五、格式化 HDFS 并启动 Hadoop

首次运行前需格式化 NameNode：

hdfs namenode -format

启动 HDFS 和 YARN：

start-dfs.shstart-yarn.sh

验证服务是否启动成功：

jps

你应该看到如下进程（顺序可能不同）：

NameNodeDataNodeSecondaryNameNodeResourceManagerNodeManager

六、运行一个简单示例

Hadoop 自带 WordCount 示例，我们可以用它来测试安装是否成功：

# 创建 HDFS 目录hdfs dfs -mkdir /userhdfs dfs -mkdir /user/hadoop# 上传本地文件（假设你有一个 input.txt）echo -e "hello world\nhello hadoop\nhadoop is great" > input.txthdfs dfs -put input.txt /user/hadoop/# 运行 WordCounthadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/hadoop/input.txt /user/hadoop/output# 查看结果hdfs dfs -cat /user/hadoop/output/*

如果看到单词统计结果，说明你的 Debian Hadoop安装 和 Hadoop配置教程 已成功完成！

七、常见问题与总结

本教程帮助你在 Debian 系统上完成了 Hadoop单机部署，适用于学习和开发测试。生产环境建议使用多节点集群模式。

如果你遇到权限问题，请确保所有 Hadoop 目录归属正确；若服务无法启动，请检查日志文件（位于 $HADOOP_HOME/logs/）。

通过本篇 Debian大数据平台 搭建指南，相信你已经掌握了 Hadoop 的基本安装与配置流程。下一步可以尝试配置伪分布式或完全分布式集群，深入探索大数据世界！