当前位置：首页 > Centos > 正文

Centos流式计算实战指南（手把手教你搭建实时数据处理平台）

主机测评网
Centos
2025-12-27
129

在当今大数据时代，流式计算（Stream Processing）已成为处理实时数据的核心技术。无论是金融交易监控、物联网设备数据采集，还是用户行为分析，都需要低延迟、高吞吐的实时处理能力。而 Centos 作为企业级 Linux 发行版，因其稳定性与安全性，成为部署流式计算平台的理想选择。

本文将带你从零开始，在 Centos 系统上搭建一个基于 Apache Flink 的流式计算环境，并运行一个简单的实时 WordCount 示例。即使你是完全的小白，只要按照步骤操作，也能轻松上手！

Centos流式计算实战指南（手把手教你搭建实时数据处理平台） Centos流式计算实时数据处理 Centos大数据 Flink on Centos 第1张

一、准备工作：安装必要组件

我们将在 CentOS 7 或 CentOS Stream 8 上进行操作。请确保你的系统已联网，并拥有 root 权限或 sudo 权限。

1. 安装 Java 8 或 Java 11

Flink 依赖 Java 环境。执行以下命令安装 OpenJDK：

# 安装 OpenJDK 11（推荐）sudo yum install -y java-11-openjdk-devel# 验证安装java -version

2. 下载并安装 Apache Flink

访问 Apache Flink 官网获取最新稳定版。以 Flink 1.17.1 为例：

cd /optsudo wget https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgzsudo tar -xzf flink-1.17.1-bin-scala_2.12.tgzsudo mv flink-1.17.1 flink

二、启动 Flink 集群

进入 Flink 目录并启动本地集群（Standalone 模式）：

cd /opt/flink./bin/start-cluster.sh

成功启动后，你会看到类似以下输出：

Starting cluster.Starting standalonesession daemon on host your-hostname.Starting taskexecutor daemon on host your-hostname.

此时，Flink Web UI 默认运行在 http://localhost:8081，你可以通过浏览器访问查看集群状态。

三、运行第一个流式计算程序：Socket WordCount

Flink 自带多个示例程序，其中 SocketWindowWordCount 是经典的流式 WordCount 示例。它会监听本地 9999 端口的文本输入，并每 5 秒统计一次词频。

1. 启动 Netcat 模拟数据源

打开新终端，安装并启动 netcat：

sudo yum install -y ncnc -lk 9999

保持该窗口打开，稍后我们会在这里输入测试文本。

2. 提交 Flink 作业

回到 Flink 目录，提交示例作业：

./bin/flink run examples/streaming/SocketWindowWordCount.jar \  --host localhost \  --port 9999

3. 测试实时处理效果

回到 netcat 窗口，输入几行文本，例如：

hello worldhello flinkworld of streaming

Flink 会在控制台输出实时统计结果，类似：

(hello,2)(world,2)(flink,1)(of,1)(streaming,1)

恭喜！你已经成功在 Centos 上运行了第一个流式计算任务！

四、常见问题与优化建议

防火墙问题：若无法连接 9999 端口，请临时关闭防火墙：sudo systemctl stop firewalld（生产环境应配置规则而非关闭）。
内存不足：Flink 默认分配 1GB 内存，若系统资源紧张，可编辑 conf/flink-conf.yaml 调整 jobmanager.memory.process.size 和 taskmanager.memory.process.size。
扩展集群：单机模式适合学习，生产环境建议部署多节点集群或使用 Kubernetes/YARN 资源管理器。