Java语言Hadoop集成（手把手教你用Java开发Hadoop大数据应用）

二、环境准备

在开始 Java Hadoop集成 之前，请确保你已安装以下软件：

• JDK 8 或更高版本（建议使用 OpenJDK 或 Oracle JDK）
• Maven（用于依赖管理）
• Hadoop 3.x（可选，本地测试可用伪分布式模式）

三、创建 Maven 项目

打开你的 IDE（如 IntelliJ IDEA 或 Eclipse），新建一个 Maven 项目，并在 pom.xml 中添加 Hadoop 依赖：

<dependencies>    <dependency>        <groupId>org.apache.hadoop</groupId>        <artifactId>hadoop-client</artifactId>        <version>3.3.6</version>    </dependency></dependencies>

这个依赖包含了 HDFS 客户端和 MapReduce API，足以支持大多数 Hadoop Java开发 场景。

四、编写第一个 Hadoop 程序：WordCount

WordCount 是 Hadoop 的“Hello World”，用于统计文本中每个单词出现的次数。下面是一个完整的 Java 实现：

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.io.IOException;import java.util.StringTokenizer;public class WordCount {    public static class TokenizerMapper            extends Mapper<Object, Text, Text, IntWritable> {        private final static IntWritable one = new IntWritable(1);        private Text word = new Text();        public void map(Object key, Text value, Context context)                throws IOException, InterruptedException {            StringTokenizer itr = new StringTokenizer(value.toString());            while (itr.hasMoreTokens()) {                word.set(itr.nextToken());                context.write(word, one);            }        }    }    public static class IntSumReducer            extends Reducer<Text, IntWritable, Text, IntWritable> {        private IntWritable result = new IntWritable();        public void reduce(Text key, Iterable<IntWritable> values, Context context)                throws IOException, InterruptedException {            int sum = 0;            for (IntWritable val : values) {                sum += val.get();            }            result.set(sum);            context.write(key, result);        }    }    public static void main(String[] args) throws Exception {        Configuration conf = new Configuration();        Job job = Job.getInstance(conf, "word count");        job.setJarByClass(WordCount.class);        job.setMapperClass(TokenizerMapper.class);        job.setCombinerClass(IntSumReducer.class);        job.setReducerClass(IntSumReducer.class);        job.setOutputKeyClass(Text.class);        job.setOutputValueClass(IntWritable.class);        FileInputFormat.addInputPath(job, new Path(args[0]));        FileOutputFormat.setOutputPath(job, new Path(args[1]));        System.exit(job.waitForCompletion(true) ? 0 : 1);    }}

五、本地运行与调试

为了简化测试，你可以在本地模拟 Hadoop 环境运行程序。只需在 main 方法前添加以下配置：

// 设置 Hadoop 使用本地文件系统而非 HDFSconf.set("fs.defaultFS", "file:///");conf.set("mapreduce.framework.name", "local");

然后在 IDE 中运行程序，传入输入目录和输出目录作为参数，例如：

args = {"/path/to/input", "/path/to/output"};

六、部署到真实 Hadoop 集群

当你完成本地测试后，可以将程序打包成 JAR 文件，并提交到 Hadoop 集群：

mvn clean packagehadoop jar target/your-app-1.0.jar WordCount /input/path /output/path

七、总结

通过本教程，你已经掌握了如何进行 Java语言Hadoop集成，并成功运行了经典的 WordCount 程序。无论是学习 大数据Hadoop教程 还是准备实际项目开发，这都是重要的第一步。后续你可以深入学习 HDFS API 操作、YARN 资源调度、以及使用 Hadoop 生态工具如 Hive、HBase 等。

如果你是初学者，建议多动手实践，参考官方文档，并结合本 Hadoop入门指南 逐步提升技能。祝你在大数据开发之路上越走越远！