【信创】华为昇腾大模型部署

一、系统与硬件环境说明

二、模型来源与基本结构

三、模型格式转换流程

模型部署前需统一格式，昇腾平台推荐使用MindIR 或 OM格式。

1️⃣ 从 PyTorch 格式转换到 MindIR 格式

方法 1：通过MindConverter

MindConverter 是昇腾官方提供的跨框架模型转换工具。

mindconverter --in_framework pytorch\--model_file /models/qwen32b/pytorch_model.bin\--input_shape'[1,1024]'\--output_file /models/qwen32b/qwen32b.mindir

方法 2：通过ONNX 中转

如果MindConverter转换失败，可通过ONNX作为中间层：

# PyTorch -> ONNXimporttorch dummy_input=torch.ones(1,1024,dtype=torch.int64)torch.onnx.export(model,dummy_input,"qwen32b.onnx",opset_version=17)

# ONNX -> MindIRatc --model=qwen32b.onnx\--framework=5\--output=qwen32b_mindir\--soc_version=Ascend910B2

2️⃣ MindIR → OM（部署优化格式）

OM（Offline Model）是昇腾芯片的离线执行优化格式，部署时加载性能更优。

atc --model=qwen32b.mindir\--framework=1\--output=qwen32b_om\--input_format=ND\--input_shape="input_ids:1,1024"\--soc_version=Ascend910B2\--precision_mode=allow_mix_precision

⚙️ 注意：

• soc_version必须与昇腾芯片型号一致。
• MindIR 格式支持训练和部署；OM 格式仅支持推理。

四、模型部署方式

我们希望部署两个模型（Base 与 Finetuned），并可在XInference中动态切换。

1️⃣ 环境目录结构

/models/ │ ├── qwen32b_base/ │ ├── qwen32b_om.om │ └── config.json │ └── qwen32b_finetune/ ├── qwen32b_finetune_om.om └── config.json

2️⃣ 启动 XInference 服务

# 启动 Base 模型xinf start --model Qwen3-32B-Base\--model-path /models/qwen32b_base\--device ascend\--precision bf16\--port8081# 启动 Finetuned 模型xinf start --model Qwen3-32B-Finetuned\--model-path /models/qwen32b_finetune\--device ascend\--precision int8\--port8082

✅ 支持使用 Docker 容器化部署（xinf ascend-runtime官方镜像）

3️⃣ 模型注册配置（xinf.json）

{"models":[{"name":"Qwen3-32B-Base","path":"/models/qwen32b_base/qwen32b_om.om","device":"ascend","port":8081,"precision":"bf16"},{"name":"Qwen3-32B-Finetuned","path":"/models/qwen32b_finetune/qwen32b_finetune_om.om","device":"ascend","port":8082,"precision":"int8"}]}

五、XInference 模型切换与调用

1️⃣ 模型动态切换（REST API）

curl-X POST http://localhost:8000/api/models/select\-H"Content-Type: application/json"\-d'{"model_name": "Qwen3-32B-Finetuned"}'

切换回原始模型：

curl-X POST http://localhost:8000/api/models/select\-d'{"model_name": "Qwen3-32B-Base"}'

2️⃣ 推理调用示例（Python）

importrequestsdefquery_model(port,prompt):url=f"http://localhost:{port}/v1/completions"payload={"prompt":prompt,"max_tokens":256,"temperature":0.8}headers={"Content-Type":"application/json"}response=requests.post(url,headers=headers,json=payload)returnresponse.json()["choices"][0]["text"]print("Base模型回答：")print(query_model(8081,"介绍一下鲲鹏920的CPU架构优势"))print("\nFinetuned模型回答：")print(query_model(8082,"解释一下信创生态下AI算法的优势"))

六、模型推理性能与优化

七、常见问题与解决建议

八、总结