news 2026/4/23 14:37:54

记一次集群网络异常后节点启动失败处理情况

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
记一次集群网络异常后节点启动失败处理情况

故障背景概述

某集群环境因网络异常,导致整个集群网络中断。待网络恢复后,对集群环境状态进行全面核查,发现集群节点出现差异化异常,具体表现为节点一集群状态正常但数据库异常,节点二集群无法正常启动。

故障现象详情

网络恢复后,运维人员对集群两个节点分别进行状态检查,具体现象如下:

  1. 节点一(正常节点):
    执行crsctl stat res -t命令后,显示集群整体状态正常,但数据库服务处于停止状态,未随集群自动恢复。但启动数据库
  2. 节点二(异常节点):
    集群状态显示异常,尝试重启节点二集群服务时,启动失败,无法恢复正常运行。

故障排查过程

日志分析定位方向

针对节点二集群无法启动的问题,优先查看集群日志,提取关键日志信息如下(日志时间:2026-02-08 21:40:09.550):

2026-02-08 21:40:09.550: [GIPCHALO][1754568448] gipchaLowerSend: deffering startup of hdr 0x7fc0540191c8 { len 232, seq 0, type gipchaHdrTypeSend (1), lastSeq 0, lastAck 0, minAck 0, flags 0x0, srcLuid 00000000-00000000, dstLuid 00000000-00000000, msgId 0 }, node 0x7fc05400ba70 { host 'racdg1', haName '6679-1757-bd75-cd56', srcLuid fa3097b8-9355029c, dstLuid 00000000-00000000 numInf 0, contigSeq 0, lastAck 0, lastValidAck 0, sendSeq [211 : 211], createTime 6527914, sentRegister 1, localMonitor 0, flags 0x4 }

结合日志关键字段分析,推测故障核心原因大概率为网络通信异常:节点二(racdg2)无法找到可用的网络接口,用于连接目标节点一(racdg1),导致集群启动过程中节点间通信失败,进而启动受阻。

网络接口与连通性验证

基于日志定位的网络通信问题,重点对节点二的网络接口及节点间连通性进行验证:

  1. 网卡状态检查:通过查看两个节点网卡信息,确认所有网卡均处于正常状态,无网卡离线、禁用等异常情况,排除网卡硬件或配置异常导致的通信问题。

  2. 节点间连通性测试:在节点二执行ping命令,测试与节点一的连通性,结果显示双方可正常ping通,节点间网络链路通畅,排除网络链路中断、路由异常等问题。

经过上述验证,节点二的网卡状态及节点间连通性均无异常,排除了基础网络故障的可能性,说明故障并非简单的网络链路或网卡问题。

故障处理参考

由于节点二的基础网络无异常,但集群仍无法启动,结合节点一集群状态正常、仅数据库挂掉的现象,推测故障根源为:网络中断后,节点一与节点二的集群通信同步异常,仅重启异常节点(节点二)无法解决节点间的通信同步问题,需同步重启正常节点(节点一)的集群服务,实现集群节点间的状态同步。

处理结果

节点一,节点二集群成功启动,两个节点的集群状态均显示正常;节点一的数据库服务启动后,运行稳定,集群整体恢复正常,业务可正常接入。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 6:52:13

9.1 WebSocket网关架构设计竟然可以这样做?

震撼!WebSocket网关架构设计竟然可以这样做? WebSocket网关作为现代实时通信应用的核心组件,承担着连接管理、消息转发、协议转换等关键职责。一个设计良好的WebSocket网关不仅需要支持海量连接,还需要具备高可用、高性能、可扩展等特性。本章将深入探讨WebSocket网关的架…

作者头像 李华
网站建设 2026/4/20 6:47:41

Java毕设项目推荐-基于springboot的软件开发项目任务跟踪系统的设计与实现基于springboot的软件协作跟踪平台的设计与开发【附源码+文档,调试定制服务】

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/4/12 12:00:09

看看如何用 Redis实现微博好友(关注,取关,共同关注)

求分析好友功能是目前社交场景的必备功能之一,一般好友相关的功能包含有:关注/取关、我(他)的关注、我(他)的粉丝、共同关注、我关注的人也关注他等这样一些功能。类似于这样的功能我们如果采用数据库做的话…

作者头像 李华
网站建设 2026/4/18 6:23:03

扫描全能王 7.12.0 | 解锁无限OCR 最强文档扫描软件

扫描全能王(CamScanner)是全球智能扫描的引领者。这款软件集成了文件扫描、图片文字提取识别、PDF内容编辑、PDF分割合并、PDF转Word、电子签名等功能于一体,是您的专业办公助手。自动扫描功能能够生成高清扫描件,并支持JPEG、PDF…

作者头像 李华
网站建设 2026/4/16 18:18:16

基于springboot+vue的个人健康诊断评估建议系统设计

目录系统架构设计核心功能模块技术实现亮点应用价值项目技术支持可定制开发之功能亮点源码获取详细视频演示 :文章底部获取博主联系方式!同行可合作系统架构设计 采用前后端分离架构,后端基于SpringBoot框架提供RESTful API,前端…

作者头像 李华
网站建设 2026/4/17 19:43:43

基于SSM框架城市生活e家平台 社区物业服务系统

目录系统概述技术架构核心功能创新点应用价值项目技术支持可定制开发之功能亮点源码获取详细视频演示 :文章底部获取博主联系方式!同行可合作系统概述 城市生活e家平台基于SSM(SpringSpring MVCMyBatis)框架开发,旨在…

作者头像 李华