CentOS边缘AI部署（手把手教你用CentOS搭建轻量级边缘AI推理环境）

一、准备工作：安装CentOS并更新系统

首先，确保你有一台运行CentOS 7或CentOS Stream 8/9的物理机、虚拟机或ARM开发板（如NVIDIA Jetson、树莓派等）。推荐使用最小化安装以节省资源。

登录系统后，先更新软件包：

sudo yum update -ysudo yum install -y epel-releasesudo yum groupinstall -y "Development Tools"sudo yum install -y python3 python3-pip git wget curl

二、安装Python虚拟环境与AI依赖

为避免依赖冲突，建议使用Python虚拟环境：

python3 -m venv ai-edge-envsource ai-edge-env/bin/activatepip install --upgrade pippip install numpy opencv-python flask onnxruntime

这里我们选择了轻量级的ONNX Runtime作为推理引擎，它支持跨平台、低延迟，非常适合边缘计算AI场景。

三、准备AI模型（以图像分类为例）

你可以使用预训练的ONNX模型，例如ResNet-50。将其下载到项目目录：

mkdir ~/edge-ai-demo && cd ~/edge-ai-demowget https://github.com/onnx/models/raw/main/vision/classification/resnet/model/resnet50-v2-7.onnx

四、编写AI推理服务（Flask API）

创建一个简单的Flask应用，接收图片并返回分类结果：

# app.pyimport ioimport numpy as npfrom PIL import Imagefrom flask import Flask, request, jsonifyimport onnxruntime as ortapp = Flask(__name__)# 加载ONNX模型model_path = "resnet50-v2-7.onnx"session = ort.InferenceSession(model_path)def preprocess(image):    image = image.resize((224, 224))    image = np.array(image).astype(np.float32)    image = np.expand_dims(image, axis=0)    image = image / 255.0    return image@app.route('/predict', methods=['POST'])def predict():    if 'file' not in request.files:        return jsonify({'error': 'No file uploaded'}), 400        file = request.files['file']    img = Image.open(io.BytesIO(file.read())).convert('RGB')    input_data = preprocess(img)        outputs = session.run(None, {'data': input_data})    prediction = np.argmax(outputs[0])        return jsonify({'class_id': int(prediction)})if __name__ == '__main__':    app.run(host='0.0.0.0', port=5000)

五、启动服务并测试

激活虚拟环境并运行服务：

cd ~/edge-ai-demosource ai-edge-env/bin/activatepython app.py

服务启动后，可通过curl或Postman发送图片进行测试。这种架构非常适合CentOS AI推理场景，资源占用低、响应快。

六、优化与扩展建议

• 使用systemd将服务设为开机自启
• 添加Nginx反向代理提高并发能力
• 针对ARM设备（如Jetson）使用TensorRT加速
• 定期清理日志，监控CPU/内存使用

通过以上步骤，你就成功完成了轻量级AI部署在CentOS边缘设备上的实践。这不仅提升了本地处理能力，也减少了对云端的依赖，是构建智能边缘系统的理想方案。

提示：生产环境中请务必添加身份验证、限流和错误日志记录机制，确保服务安全稳定。