Ubuntu集群故障排查与恢复指南（Linux高可用集群运维实战）

一、常见故障类型

• 节点宕机或无法通信
• 集群服务（如 Pacemaker/Corosync）异常
• 共享存储挂载失败
• 网络分区（Split-Brain）问题

二、基础排查步骤

无论遇到哪种故障，建议按照以下顺序逐步排查：

1. 检查节点连通性

首先确认所有节点是否在线，可通过 ping 或 SSH 测试：

ping node1ssh ubuntu@node2 uptime

2. 查看集群状态

使用 crm status（Pacemaker 环境）查看整体集群健康状况：

sudo crm status

正常输出应显示所有节点“Online”，资源运行在预期节点上。

3. 检查 Corosync 通信

Corosync 是集群底层通信组件，可使用以下命令验证：

sudo corosync-cfgtool -ssudo corosync-quorumtool -s

确保 quorum（法定票数）已建立，且各节点间心跳通信正常。

三、典型故障处理案例

案例1：节点离线

若某节点显示为“OFFLINE”，请按以下流程处理：

1. 登录该节点，检查系统是否运行（电源、KVM等）
2. 查看网络配置：ip a、systemctl status networking
3. 重启集群服务：sudo systemctl restart corosync pacemaker
4. 若仍无法加入，清理状态并重新加入（谨慎操作）

案例2：资源无法启动

当某个服务（如 MySQL、Nginx）在集群中无法启动时：

# 查看资源详细状态sudo crm resource status my-web-service# 检查日志sudo journalctl -u pacemaker -n 100 --no-pager# 手动测试资源脚本sudo /usr/lib/ocf/resource.d/heartbeat/nginx validate-all

四、预防性维护建议

为减少集群节点故障处理频率，建议实施以下措施：

• 定期更新系统与集群软件（apt upgrade）
• 配置监控告警（如 Zabbix、Prometheus + Alertmanager）
• 定期演练故障切换（failover）流程
• 备份集群配置：sudo crm configure save config.bak

五、总结

掌握Ubuntu服务器维护和Linux高可用集群的故障处理技巧，是保障业务稳定运行的关键。通过本文介绍的系统化排查方法，你可以快速定位问题根源，有效缩短故障恢复时间（MTTR）。记住：预防胜于治疗，定期巡检比紧急抢修更重要！

提示：生产环境操作前，请务必在测试环境中验证命令与流程。