Ubuntu集群脑裂处理方法（高可用集群脑裂故障排查与修复指南）

什么是脑裂？

脑裂是指在高可用集群中，由于网络分区（Network Partition）导致集群被分割成两个或多个互不通信的子集，每个子集都认为自己是主节点并尝试控制共享资源。这种情况极易造成数据损坏，例如两个数据库实例同时写入同一文件。

Ubuntu 高可用集群常用架构

在 Ubuntu 系统中，我们通常使用 Corosync + Pacemaker 构建高可用集群。Corosync 负责节点间通信，Pacemaker 负责资源管理。因此，Corosync脑裂解决方案 是处理此类问题的关键。

步骤一：检测是否发生脑裂

首先，在任意节点执行以下命令查看集群状态：

sudo pcs status# 或者sudo crm_mon -1

如果输出中显示多个节点都处于“Online”状态但彼此无法通信，或者资源在多个节点上同时运行，则很可能发生了脑裂。

步骤二：配置仲裁机制（Quorum）

防止脑裂最有效的方法是启用仲裁机制。Corosync 默认启用了 quorum，但在双节点集群中需特殊处理（因为 2 节点无法形成多数派）。

编辑 Corosync 配置文件（通常位于 /etc/corosync/corosync.conf），确保包含以下内容：

quorum {    provider: corosync_votequorum    expected_votes: 2    two_node: 1}

其中 two_node: 1 表示这是一个双节点集群，允许在仅有一个节点在线时继续运行（需配合 STONITH 使用，见下文）。

步骤三：启用 STONITH（Shoot The Other Node In The Head）

STONITH 是一种“ fencing ”机制，当检测到脑裂时，会自动关闭或隔离故障节点，防止数据冲突。这是 高可用集群故障处理 中不可或缺的一环。

以 IPMI 为例，配置 STONITH 设备：

# 添加 STONITH 资源sudo pcs stonith create ipmi-fencing fence_ipmilan \    ipaddr=192.168.1.100 \    login=admin \    passwd=your_password \    pcmk_host_list="node1"# 启用 STONITHsudo pcs property set stonith-enabled=true

请根据你的硬件选择合适的 fencing agent（如 fence_virt、fence_scsi 等）。

步骤四：手动修复已发生的脑裂

如果脑裂已经发生，请按以下顺序操作：

1. 确定哪个节点的数据是最新的（例如检查数据库日志时间戳）。
2. 在“错误”节点上停止集群服务：
   sudo systemctl stop pacemaker corosync
3. 在“正确”节点上强制恢复集群：
   sudo pcs cluster start --all
4. 同步数据后，再启动另一节点。

最佳实践建议

• 始终使用奇数个节点（3、5…）以避免双节点仲裁问题。
• 配置冗余网络（如使用两个独立网卡绑定）减少网络分区风险。
• 定期测试 fencing 机制是否有效。
• 监控工具（如 Nagios、Zabbix）集成集群状态告警。

结语

通过合理配置仲裁机制和 STONITH，你可以有效预防和处理 Ubuntu HA集群配置 中的脑裂问题。记住，高可用不是“永不宕机”，而是“快速安全地恢复”。希望本教程能帮助你构建更稳定的 Ubuntu 高可用集群！