Centos Sqoop数据迁移（从零开始的Sqoop安装与MySQL到HDFS数据迁移实战教程）

二、安装 Sqoop

1. 下载 Sqoop（以 Sqoop 1.4.7 为例）：

wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz  

2. 解压并移动到合适目录：

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzsudo mv sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop  

3. 配置环境变量（编辑 ~/.bashrc 或 /etc/profile）：

export SQOOP_HOME=/usr/local/sqoopexport PATH=$PATH:$SQOOP_HOME/binexport HADOOP_MAPRED_HOME=$HADOOP_HOME  

4. 使配置生效：

source ~/.bashrc  

三、安装 MySQL JDBC 驱动

Sqoop 需要 JDBC 驱动才能连接 MySQL。下载 mysql-connector-java 并复制到 Sqoop 的 lib 目录：

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.28.tar.gztar -zxvf mysql-connector-java-8.0.28.tar.gzcp mysql-connector-java-8.0.28/mysql-connector-java-8.0.28.jar /usr/local/sqoop/lib/  

四、测试 Sqoop 连接

使用以下命令测试是否能成功连接 MySQL 数据库（请替换 your_host、your_user、your_password 和 your_database）：

sqoop list-tables \  --connect jdbc:mysql://your_host:3306/your_database \  --username your_user \  --password your_password  

如果看到数据库中的表名列表，说明连接成功！

五、执行数据迁移：MySQL → HDFS

假设我们要将 MySQL 中的 users 表迁移到 HDFS，执行以下命令：

sqoop import \  --connect jdbc:mysql://your_host:3306/your_database \  --username your_user \  --password your_password \  --table users \  --target-dir /user/hadoop/users_data \  --m 1  

参数说明：

• --table：指定要迁移的表名
• --target-dir：HDFS 上的目标路径
• --m 1：使用 1 个 Map 任务（适合小数据量）

六、验证迁移结果

使用 Hadoop 命令查看 HDFS 中的数据：

hadoop fs -ls /user/hadoop/users_datahadoop fs -cat /user/hadoop/users_data/part-m-00000  

如果能看到原始数据，恭喜你！Centos Sqoop数据迁移 已成功完成。

七、常见问题与优化建议

• 权限问题：确保 Hadoop 用户对 HDFS 目标目录有写权限。
• 中文乱码：在连接字符串中添加 ?useUnicode=true&characterEncoding=utf-8。
• 增量导入：使用 --incremental 参数实现只导入新增或更新的数据。
• 性能调优：通过增加 --m 值并行导入，但需注意数据库压力。

通过本教程，你应该已经掌握了在 Centos 系统上使用 Sqoop 进行大数据迁移的基本流程。无论是做数据仓库建设还是 ETL 开发，Sqoop教程中的这些技能都至关重要。希望这篇Hadoop数据导入导出指南能助你在大数据之路上走得更远！