构建企业级大数据基础设施（RockyLinux大数据云平台配置从零开始）

三、安装前配置

1. 设置主机名（以 hadoop-node1 为例）：

sudo hostnamectl set-hostname hadoop-node1  

2. 修改 hosts 文件，确保 localhost 和主机名能正确解析：

echo "127.0.0.1 hadoop-node1" | sudo tee -a /etc/hosts  

3. 安装必要工具：

sudo dnf install -y java-11-openjdk java-11-openjdk-devel wget tar sshpass  

4. 配置无密码 SSH（Hadoop 需要）：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsassh-copy-id localhost  

四、安装 Hadoop

1. 下载 Hadoop（以 3.3.6 版本为例）：

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gztar -xzf hadoop-3.3.6.tar.gz -C /opt/sudo ln -s /opt/hadoop-3.3.6 /opt/hadoop  

2. 配置环境变量（编辑 ~/.bashrc）：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrcecho 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrcecho 'export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))' >> ~/.bashrcsource ~/.bashrc  

3. 修改 Hadoop 配置文件（位于 $HADOOP_HOME/etc/hadoop/）：

core-site.xml

<configuration>  <property>    <name>fs.defaultFS</name>    <value>hdfs://localhost:9000</value>  </property></configuration>  

hdfs-site.xml

<configuration>  <property>    <name>dfs.replication</name>    <value>1</value>  </property>  <property>    <name>dfs.namenode.name.dir</name>    <value>file:///opt/hadoop/data/namenode</value>  </property>  <property>    <name>dfs.datanode.data.dir</name>    <value>file:///opt/hadoop/data/datanode</value>  </property></configuration>  

4. 初始化 HDFS 并启动服务：

mkdir -p /opt/hadoop/data/{namenode,datanode}hdfs namenode -formatstart-dfs.shstart-yarn.sh  

5. 验证服务是否正常运行：

jps  

你应该看到 NameNode、DataNode、ResourceManager、NodeManager 等进程。

五、访问 Web UI

打开浏览器，访问以下地址：

• HDFS 管理界面：http://你的服务器IP:9870
• YARN 资源管理界面：http://你的服务器IP:8088

六、后续扩展

完成单节点部署后，你可以：

• 添加更多节点组成真正的 Hadoop集群
• 集成 Hive、Spark、HBase 等大数据组件
• 使用 Ansible 或 Cloudera Manager 自动化部署
• 配置 Kerberos 安全认证

结语

通过本教程，你已经成功在 RockyLinux 上搭建了一个基础的 大数据云平台。这为你深入学习 Hadoop 生态系统打下了坚实基础。记住，云平台部署 的关键在于稳定性与可扩展性，RockyLinux 正是实现这一目标的理想选择。继续探索吧，数据世界的大门已经为你打开！

关键词提示：本文涉及的核心技术包括 RockyLinux、大数据平台、云平台部署 和 Hadoop集群。