RockyLinux MapReduce编程方法（从零开始掌握分布式计算）

为什么选择 RockyLinux？

RockyLinux 是一个稳定、开源、企业级的 Linux 发行版，完全兼容 RHEL（Red Hat Enterprise Linux）。它具有出色的性能和安全性，非常适合部署 Hadoop 等大数据框架，是学习 RockyLinux MapReduce编程 的理想平台。

准备工作：在 RockyLinux 上安装 Hadoop

MapReduce 通常运行在 Hadoop 生态系统之上。我们首先需要在 RockyLinux 上安装 Hadoop。以下是简要步骤：

1. 安装 Java（Hadoop 依赖 Java）
2. 下载并解压 Hadoop
3. 配置环境变量和 Hadoop 核心文件
4. 启动 Hadoop 单节点集群（伪分布式模式）

详细安装教程可参考 Hadoop 官方文档或 RockyLinux 社区指南。

编写第一个 MapReduce 程序：单词计数（WordCount）

WordCount 是 MapReduce 的 “Hello World” 程序。它的功能是统计文本中每个单词出现的次数。

1. 编写 Mapper 类

import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {    private final static IntWritable one = new IntWritable(1);    private Text word = new Text();    @Override    public void map(LongWritable key, Text value, Context context)            throws IOException, InterruptedException {        String line = value.toString();        String[] words = line.split("\\s+");        for (String w : words) {            word.set(w);            context.write(word, one);        }    }}

2. 编写 Reducer 类

import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {    @Override    public void reduce(Text key, Iterable<IntWritable> values, Context context)            throws IOException, InterruptedException {        int sum = 0;        for (IntWritable val : values) {            sum += val.get();        }        context.write(key, new IntWritable(sum));    }}

3. 编写主驱动类

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount {    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        Job job = Job.getInstance(conf, "word count");        job.setJarByClass(WordCount.class);        job.setMapperClass(WordCountMapper.class);        job.setCombinerClass(WordCountReducer.class);        job.setReducerClass(WordCountReducer.class);        job.setOutputKeyClass(Text.class);        job.setOutputValueClass(IntWritable.class);        FileInputFormat.addInputPath(job, new Path(args[0]));        FileOutputFormat.setOutputPath(job, new Path(args[1]));        System.exit(job.waitForCompletion(true) ? 0 : 1);    }}

编译与运行 MapReduce 程序

假设你已将上述三个 Java 文件保存在 src/ 目录下，可以使用以下命令编译并打包：

# 编译javac -classpath $(hadoop classpath) -d build src/*.java# 打包成 JARjar -cvf wordcount.jar -C build .

然后上传一个测试文本文件到 HDFS，并运行程序：

# 创建 HDFS 输入目录hdfs dfs -mkdir -p /input# 上传本地文件hdfs dfs -put /path/to/local/file.txt /input# 运行 MapReduce 任务hadoop jar wordcount.jar WordCount /input /output

运行完成后，结果将保存在 HDFS 的 /output 目录中，你可以用以下命令查看：

hdfs dfs -cat /output/part-r-00000

总结

通过本教程，你已经掌握了在 RockyLinux 上进行 MapReduce 编程 的基本方法。从环境搭建到编写、编译、运行 WordCount 程序，每一步都清晰明了。这为你进一步学习 分布式计算入门 和 RockyLinux大数据处理 打下了坚实基础。

建议你尝试修改代码，比如过滤停用词、统计行数等，加深对 MapReduce 模型的理解。祝你在大数据之旅中越走越远！