#你处理过openstack中计算节点nova-compute服务假死的问题吗，正常状态下，突发指定到该节点的云主机创建失败，本篇介绍两个案例。#
在openstack云计算平台，nova计算节点经常出现nova-compute服务假死的状态，重启也起不来。创建云主机指定该节点创建云主机失败。该问题在我运维过程当中遇到过几次，在节点正常状态下，突然出现指定到该节点的云主机创建失败，但是其已存在的云主机是没有任何影响的时候，可能是存在脏数据，以下故障问题可以借鉴。
实例脏数据导致nova-compute服务启动异常
底层kvm的虚拟机和数据库中的云主机对应不上关系，导致nova-compute服务启动失败
1. 重启nova-conpute服务失败，查看nova-compute日志，因为数据库中的instances表中的数据和kvm层的信息不一致导致
根据uuid确认 instance-ID。
确认该实例状态，如果确实不一致了，定义为脏数据，查询示列ID的UUID，从kvm层销毁该云主机。
virsh dumpxml 实例ID | grep "<entry name='uuid'>"
nova show 379121c9-6ce2-49bc-8fec-a3fb9cbfb588 //没有该uuid virsh list --all |grep instance-00000015 //确认的实例状态 virsh destroy instance-00000015 //关机 virsh undefine instance-00000015 //销毁该云主机然后重启libvirt服务和nova-compute服务
systemctl restart libvirtd.service systemctl restart openstack-nova-compute在重新加入computeha 监控
consul members|grep server //登录server节点执行haclient.sh list-dangling haclient.sh list-dangling //加入fence的节点，也就是consul 隔离的节点重新加入monitor架空 haclient.sh monitor node-xx修复nova-compute服务异常
1.确认libvirt服务运行情况
nova-compute服务异常的原因和ceph存储有关，可能存储网络连通异常。
//nova-compute服务在部分节点启动失败 systemctl stop openstack-nova-compute.service computeha-slave.service wdmd nova service-force-down --unset node-24 nova-compute nova service-enable node-24 nova-compute systemctl start openstack-nova-compute.service sys //重启libvirtd可以修复 systemctl restart libvirtd //检查是否受HAcomputer检测 haclinet.sh list-dangling //如果存在，执行重新加入 haclient.sh monitor node-242.查看异常节点nova-compute.log日志
nova-compute如果还是没法恢复，查看节点上nova-compute日志，确认有没有阻碍nova-compute服务启动的虚拟机资源，然后从数据库中
cat /var/log/nova/nova-compute.log|grep -i "InstanceNotFound"
tailf /var/log/nova/nova-compute.log //确认有没有阻碍nova-compute服务启动的虚拟机资源，然后从数据库中 cat /var/log/nova/nova-compute.log|grep -i "InstanceNotFound" mysql -uroot -p set foreign_key_checks = 0 delete from nova.instances where uuid="对应的UUID" //脚本 #!/bin/bash a=($(cat /var/log/nova/nova-compute.log | grep -Eo 'InstanceNotFound: Instance .* could not be found.' | awk '!a[$3]++ {printf"\"%s\"\n",$3}')) passwd=`consul kv get settings/cluster/database_password` echo "${a[@]}" for i in "${a[@]}" ;do mysql -u root -p${passwd} -e"set foreign_key_checks = 0; delete from nova.instances where uuid="$i";" done3.重新启动nova-compute，接触节点隔离
如果重新加入force监控之后，服务启动正常，但是在server节点执行haclient.sh list-dangling，显示节点还在的问题。可以通过控制节点查看nova-monitor.log日志，很可能是该节点的租户网卡异常。
往期推荐
云计算平台 分析云主机迁移过程
openstack常用命令集
openstack 计算节点nova-compute配置优化
云计算：什么是云计算
云计算：openstack架构
你用的云计算，底层其实是虚拟化
云计算 云平台虚拟机镜像定制化生成方案
关注订阅不迷路
云计算 | 市场分析 | 为梦想启航 | linux命令大全 | linux技术博客
