当前位置:首页 > 系统教程 > 正文

CentOS虚拟机安装MySQL并配置Hive

CentOS虚拟机安装MySQL并配置Hive

从零搭建大数据开发环境(含Hadoop+MySQL+ Hive 详细步骤)

📌 本文核心关键词:CentOS虚拟机安装MySQL、Hive配置教程、大数据环境搭建、MySQL Hive集成 —— 全程手把手教学,小白也能轻松跟上。

本文将指导你在CentOS虚拟机中完整安装MySQL数据库,并配置Hive以MySQL作为元数据存储。整个过程涵盖环境准备、软件安装、配置优化及连通性测试,旨在为大数据开发搭建稳固的基础环境。无论你是初学者还是希望梳理流程的开发者,本文都能提供清晰可靠的参考。

1. 环境准备:CentOS虚拟机初始化

确保你的CentOS(推荐7.9或8.4)虚拟机可以正常联网,并拥有sudo权限。首先更新系统并安装必要工具:

    sudo yum update -ysudo yum install -y wget tar gzip bzip2 net-tools  

2. 安装MySQL 8.0(CentOS虚拟机安装MySQL核心步骤)

添加MySQL官方YUM仓库,然后安装MySQL服务器:

    sudo wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpmsudo rpm -ivh mysql80-community-release-el7-3.noarch.rpmsudo yum install -y mysql-community-server  

安装完成后启动MySQL并查看初始密码:

    sudo systemctl start mysqldsudo systemctl enable mysqldsudo grep "temporary password" /var/log/mysqld.log  

使用初始密码登录并修改密码(注意密码强度要求):

    mysql -uroot -pALTER USER "root"@"localhost" IDENTIFIED BY "YourStrongPassword123!";  
CentOS虚拟机安装MySQL并配置Hive CentOS虚拟机安装MySQL  Hive配置教程 大数据环境搭建 MySQL Hive集成 第1张

3. 为Hive创建MySQL数据库和用户

登录MySQL并执行以下SQL,创建Hive专用的数据库及用户:

    CREATE DATABASE metastore;CREATE USER "hive"@"localhost" IDENTIFIED BY "HivePassword123!";GRANT ALL PRIVILEGES ON metastore.* TO "hive"@"localhost";FLUSH PRIVILEGES;  

4. 安装与配置Hadoop(Hive依赖基础)

Hive运行时需要Hadoop环境,我们下载Hadoop并设置环境变量(无需启动集群,Hive单机模式即可):

    cd /optsudo wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gzsudo tar -zxvf hadoop-3.3.6.tar.gzsudo mv hadoop-3.3.6 /usr/local/hadoop  

编辑~/.bashrc,添加:

    export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  

5. 安装Hive并配置MySQL连接(MySQL Hive集成关键)

下载Hive二进制包,解压并重命名:

    cd /optsudo wget https://archive.apache.org/dist/hive/hive-4.0.0/apache-hive-4.0.0-bin.tar.gzsudo tar -zxvf apache-hive-4.0.0-bin.tar.gzsudo mv apache-hive-4.0.0-bin /usr/local/hive  

同样配置Hive环境变量:

    export HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HIVE_HOME/bin  

下载MySQL JDBC驱动并放入Hive lib目录:

    sudo wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.33/mysql-connector-java-8.0.33.jar -P /usr/local/hive/lib/  

6. 配置hive-site.xml(Hive配置核心)

$HIVE_HOME/conf下创建hive-site.xml,添加以下内容(配置MySQL连接信息):

                javax.jdo.option.ConnectionURL    jdbc:mysql://localhost:3306/metastore?useSSL=false&serverTimezone=UTC        javax.jdo.option.ConnectionDriverName    com.mysql.cj.jdbc.Driver        javax.jdo.option.ConnectionUserName    hive        javax.jdo.option.ConnectionPassword    HivePassword123!        hive.metastore.schema.verification    false        

7. 初始化Hive元数据库

使用schematool命令在MySQL中生成Hive所需的元数据表:

    schematool -initSchema -dbType mysql  

看到“schemaTool completed”即表示成功。

8. 验证Hive配置

启动Hive命令行,测试创建表:

    hivehive> CREATE TABLE test (id INT, name STRING);hive> SHOW TABLES;  

如果无报错,说明CentOS虚拟机安装MySQL并配置Hive已成功完成。此时你的大数据环境已具备基础存储与计算能力。

🎯 总结:通过本文,你不仅完成了CentOS虚拟机安装MySQL,还实现了MySQL Hive集成,并掌握了Hive配置教程中的核心要点。现在你可以基于这套环境进行数据仓库开发。如果遇到问题,欢迎在评论区交流。

—— 本教程关键词:CentOS虚拟机安装MySQL、Hive配置教程、大数据环境搭建、MySQL Hive集成 ——