RockyLinux 上的 Pig 数据流处理（从零开始掌握 Apache Pig 在 RockyLinux 中的数据分析流程）

为什么选择 RockyLinux？

RockyLinux 是 Red Hat Enterprise Linux (RHEL) 的社区驱动替代品，具有企业级稳定性、长期支持和良好的兼容性。对于部署 Hadoop 和 Pig 这类大数据组件来说，RockyLinux 提供了干净、安全且可靠的运行环境。

前置条件

在开始之前，请确保你的 RockyLinux 系统已安装以下组件：

• Java 8 或 11（Hadoop 依赖 Java）
• Hadoop（建议 Hadoop 3.x）
• SSH 服务（用于本地伪分布式模式）

第 1 步：安装 Apache Pig

首先，从 Apache 官网下载最新版 Pig（以 0.18.0 为例）：

$ wget https://downloads.apache.org/pig/pig-0.18.0/pig-0.18.0.tar.gz$ tar -xzf pig-0.18.0.tar.gz -C /opt/$ sudo ln -s /opt/pig-0.18.0 /opt/pig  

第 2 步：配置环境变量

编辑你的 shell 配置文件（如 ~/.bashrc），添加 Pig 路径：

export PIG_HOME=/opt/pigexport PATH=$PATH:$PIG_HOME/binexport HADOOP_HOME=/opt/hadoop  # 根据你的 Hadoop 安装路径调整  

然后执行：

$ source ~/.bashrc  

第 3 步：编写第一个 Pig 脚本

假设你有一个名为 sales.csv 的销售数据文件，内容如下：

product_id,region,sales101,North,1500102,South,2300103,North,900104,East,3100  

现在，我们想统计每个区域的总销售额。创建一个文件 sales_analysis.pig：

-- 加载数据sales = LOAD 'sales.csv' USING PigStorage(',') AS (product_id:int, region:chararray, sales:int);-- 按区域分组grouped = GROUP sales BY region;-- 计算每个区域的总销售额total_sales = FOREACH grouped GENERATE group AS region, SUM(sales.sales) AS total;-- 输出结果STORE total_sales INTO 'output_sales';  

第 4 步：运行 Pig 脚本

将 sales.csv 上传到 HDFS（Hadoop 分布式文件系统）：

$ hdfs dfs -mkdir /user/input$ hdfs dfs -put sales.csv /user/input/  

然后运行 Pig 脚本：

$ pig -x mapreduce sales_analysis.pig  

运行成功后，结果会保存在 HDFS 的 output_sales 目录中。你可以用以下命令查看：

$ hdfs dfs -cat output_sales/part-m-00000  

小结

通过本教程，你已经学会了如何在 RockyLinux 上安装和使用 Apache Pig 进行基本的数据流处理。Pig 的优势在于其简洁的语法和强大的抽象能力，特别适合快速原型开发和 ETL（提取、转换、加载）任务。

记住，Hadoop生态系统 中还有许多其他工具（如 Hive、Spark），但 Pig 在处理复杂数据流时依然有其独特价值。掌握 Pig，是你进入大数据世界的重要一步！

希望这篇面向小白的教程对你有帮助。快去试试吧！