CentOS上搭建Apache Pig数据流处理环境（新手入门完整教程）

一、前置条件：安装Java与Hadoop

Pig 依赖于 Java 和 Hadoop，因此我们需要先确保系统已正确安装这两个组件。

1. 安装Java（OpenJDK）

sudo yum install -y java-1.8.0-openjdk-devel

2. 验证Java安装

java -version

你应该看到类似 "openjdk version "1.8.0_..." 的输出。

3. 安装Hadoop（单机伪分布式模式）

由于本教程聚焦于 Pig，我们假设你已安装好 Hadoop。若未安装，请参考官方文档或使用以下简化命令：

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.6/hadoop-3.3.6.tar.gztar -xzf hadoop-3.3.6.tar.gz -C /opt/sudo ln -s /opt/hadoop-3.3.6 /opt/hadoop

配置 Hadoop 环境变量（添加到 ~/.bashrc）：

export HADOOP_HOME=/opt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行 source ~/.bashrc 使配置生效。

二、安装Apache Pig

现在我们来安装 Pig。推荐使用最新稳定版（本文以 Pig 0.18.0 为例）。

wget https://archive.apache.org/dist/pig/pig-0.18.0/pig-0.18.0.tar.gztar -xzf pig-0.18.0.tar.gz -C /opt/sudo ln -s /opt/pig-0.18.0 /opt/pig

配置 Pig 环境变量（同样添加到 ~/.bashrc）：

export PIG_HOME=/opt/pigexport PATH=$PATH:$PIG_HOME/bin

重新加载配置：

source ~/.bashrc

验证安装：

pig -version

如果看到版本信息，说明安装成功！

三、编写你的第一个Pig Latin脚本

接下来，我们将创建一个简单的 Pig Latin脚本 来处理数据。假设我们有一个包含用户访问日志的文件 access.log，格式如下：

192.168.1.10 - - [01/Jan/2023:12:00:00] "GET /index.html HTTP/1.1" 200 1234192.168.1.11 - - [01/Jan/2023:12:01:00] "POST /login HTTP/1.1" 302 567...

我们的目标是统计每个IP地址的访问次数。

1. 将数据上传到HDFS

hdfs dfs -mkdir -p /user/pig/inputhdfs dfs -put access.log /user/pig/input/

2. 创建Pig脚本 count_ip.pig

-- 加载数据，按空格分割logs = LOAD '/user/pig/input/access.log' USING TextLoader() AS (line:chararray);-- 提取IP地址（每行第一个字段）ip_only = FOREACH logs GENERATE FLATTEN(REGEX_EXTRACT_ALL(line, '^(\\S+)')) AS ip;-- 过滤空IPclean_ip = FILTER ip_only BY ip IS NOT NULL;-- 按IP分组并计数grouped = GROUP clean_ip BY ip;counts = FOREACH grouped GENERATE group AS ip, COUNT(clean_ip) AS count;-- 按访问次数降序排序sorted_counts = ORDER counts BY count DESC;-- 存储结果到HDFSSTORE sorted_counts INTO '/user/pig/output/ip_count';

这个脚本展示了典型的 大数据处理 流程：加载 → 转换 → 聚合 → 输出。

3. 运行Pig脚本

pig count_ip.pig

运行完成后，结果将保存在 HDFS 的 /user/pig/output/ip_count 目录中。

4. 查看结果

hdfs dfs -cat /user/pig/output/ip_count/part-r-00000

四、常见问题与调试技巧

• Pig启动慢？ 首次运行会初始化Hadoop环境，稍等片刻。
• 找不到Hadoop？ 确保 HADOOP_HOME 已正确设置。
• 正则表达式不匹配？ 可先用 DUMP 命令查看中间结果调试。
• 权限错误？ 确保HDFS目录对当前用户可写。

五、总结

通过本教程，你已经掌握了在 CentOS 上搭建 Apache Pig 环境，并编写了第一个 Pig Latin脚本 来实现基本的 大数据处理 任务。Pig 的优势在于其简洁的语法和强大的数据流抽象能力，特别适合 ETL（Extract-Transform-Load）场景。

下一步，你可以尝试更复杂的操作，如 JOIN 多个数据集、使用 UDF（用户自定义函数）等。记住，实践是最好的老师——多写脚本，多跑数据，你会越来越熟练！

关键词回顾：CentOS Pig数据流、Apache Pig教程、Pig Latin脚本、大数据处理