RockyLinux监控告警故障排查（手把手教你快速定位与修复系统异常）

二、排查步骤：从告警未触发开始

假设你收到用户反馈“服务器宕机但没收到告警”，请按以下顺序排查：

1. 检查 Node Exporter 是否正常运行

Node Exporter 负责采集系统指标。如果它挂了，Prometheus 就拿不到数据，自然无法触发告警。

# 查看服务状态systemctl status node_exporter# 如果未运行，启动它sudo systemctl start node_exportersudo systemctl enable node_exporter# 测试是否能访问指标curl http://localhost:9100/metrics

2. 验证 Prometheus 是否抓取到数据

登录 Prometheus Web 界面（默认端口 9090），进入 Status > Targets 页面，查看目标是否为 UP 状态。

若状态为 DOWN，常见原因包括：

• 防火墙阻止了 9100 端口
• Prometheus 配置文件中 targets 地址写错
• SELinux 限制了网络访问

3. 检查告警规则是否生效

Prometheus 的告警规则通常定义在 /etc/prometheus/rules/ 目录下。例如，一个 CPU 使用率过高告警规则如下：

groups:- name: system-alerts  rules:  - alert: HighCpuUsage    expr: 100 - (avg by (instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85    for: 2m    labels:      severity: warning    annotations:      summary: "High CPU usage on {{ $labels.instance }}"      description: "CPU usage is above 85% for more than 2 minutes."

使用 Prometheus 的 Alerts 页面确认该规则是否处于 Pending 或 Firing 状态。

4. 验证 Alertmanager 是否收到并发送告警

检查 Alertmanager 日志：

journalctl -u alertmanager -f

同时，确保 Prometheus 配置中正确指向了 Alertmanager 地址（通常在 /etc/prometheus/prometheus.yml 中）：

alerting:  alertmanagers:    - static_configs:        - targets: ['localhost:9093']

三、常见问题速查表

四、总结

通过以上步骤，你可以系统性地排查 RockyLinux监控告警中的各类问题。记住，一个可靠的Linux服务器监控体系不仅依赖工具，更需要合理的规则设计和定期维护。建议定期模拟故障（如停止关键服务）来验证告警链路是否畅通。

掌握这些技巧后，你就能从容应对生产环境中的突发状况，真正做到“早发现、早处理”。如果你正在配置 Prometheus告警配置，不妨参考本文的规则模板和排查流程，快速构建属于你的高可用监控系统。

© 2024 RockyLinux 运维指南 | 专注 系统故障排查 与自动化运维