GPT-OSS-20B运维监控方案：GPU利用率可视化教程
在部署和使用大型语言模型的过程中，如何实时掌握硬件资源的运行状态，尤其是GPU的负载情况，是保障推理服务稳定高效的关键。本文将围绕GPT-OSS-20B模型的实际部署环境——基于 vLLM 的网页推理系统（WebUI），详细介绍一套轻量、可落地的GPU利用率可视化监控方案。无论你是刚完成模型部署的新手，还是希望优化线上服务性能的运维人员，都能通过本教程快速搭建属于自己的监控看板。
我们将以实际可操作的方式，结合 Python 脚本、NVIDIA SMI 工具与前端图表展示，实现从数据采集到可视化呈现的完整闭环。整个过程无需复杂配置，适合集成进现有的 AI 推理服务平台。
1. 环境准备与部署回顾
在开始监控之前，我们先确认当前模型运行环境是否已正确部署。根据你提供的信息，本次使用的镜像为支持GPT-OSS-20B的 WebUI 版本，底层采用vLLM实现高性能推理，并兼容 OpenAI API 接口标准。
1.1 部署前提条件
- 显卡要求：至少双卡 NVIDIA 4090D（或等效算力设备）
- 显存要求：单卡显存 ≥ 24GB，总可用显存 ≥ 48GB（用于微调场景）
- 模型规模：20B 参数级别，FP16 推理模式下需约 40GB 显存
- 推理框架：vLLM（已内置在镜像中）
- 访问方式：通过“我的算力”平台点击“网页推理”进入交互界面
提示：该镜像已预装 CUDA、PyTorch、vLLM 及 Streamlit 或 Gradio 类前端框架，开箱即用。
1.2 启动流程简要回顾
- 在 CSDN 星图或 GitCode 平台选择
gpt-oss-20b-webui镜像； - 分配具备双 4090D 支持的算力节点；
- 完成镜像部署并等待初始化完成；
- 进入“我的算力”页面，找到对应实例，点击【网页推理】按钮；
- 打开 WebUI 界面，即可进行对话测试。
此时模型已在 GPU 上加载完毕，接下来我们要做的就是对这些 GPU 的运行状态进行持续监控。
2. 监控目标与核心指标定义
为了有效评估模型服务的健康状况，我们需要关注以下几个关键指标：
| 指标 | 说明 |
|---|---|
| GPU 利用率（GPU-Util） | 表示 GPU 核心计算单元的占用百分比，反映计算压力 |
| 显存使用量（Memory-Used） | 当前已使用的显存大小，超过阈值可能导致 OOM 错误 |
| 温度（Temperature） | GPU 工作温度，过高可能触发降频或安全保护 |
| 功耗（Power Draw） | 实际功耗水平，有助于评估能效比 |
其中，GPU 利用率是最核心的性能指标。低利用率可能意味着请求不足或存在瓶颈；而长时间满载则需警惕过热或调度延迟问题。
3. 数据采集：从 nvidia-smi 获取实时信息
NVIDIA 提供的nvidia-smi命令行工具是获取 GPU 状态最直接的方式。我们可以利用其 JSON 输出格式，方便地被 Python 解析。
3.1 测试基础命令
nvidia-smi --query-gpu=timestamp,name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,power.draw --format=json执行后会输出类似如下结构的数据：
{ "timestamp": "2025/04/05 10:23:45.123", "gpu": [ { "name": "NVIDIA GeForce RTX 4090D", "temperature.gpu": 67, "utilization.gpu": 85, "utilization.memory": 70, "memory.used": 22560, "power.draw": 325.6 }, { "name": "NVIDIA GeForce RTX 4090D", "temperature.gpu": 69, "utilization.gpu": 88, "utilization.memory": 72, "memory.used": 23100, "power.draw": 330.1 } ] }这为我们后续的数据处理提供了结构化输入。
4. 构建监控脚本：Python + Matplotlib 实时绘图
下面我们编写一个简单的 Python 脚本来实现自动采集与绘图功能。
4.1 安装依赖库
确保环境中安装了以下包：
pip install matplotlib psutil注：
psutil用于补充系统级监控（如 CPU、内存），可根据需要添加。
4.2 编写监控脚本gpu_monitor.py
import time import json import subprocess import matplotlib.pyplot as plt from datetime import datetime # 设置中文显示（可选） plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False def get_gpu_info(): try: result = subprocess.run([ 'nvidia-smi', '--query-gpu=timestamp,name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,power.draw', '--format=json' ], capture_output=True, text=True, check=True) return json.loads(result.stdout) except Exception as e: print(f"获取 GPU 信息失败: {e}") return None def monitor(interval=5, duration=60): start_time = time.time() timestamps = [] gpu_utils = [[] for _ in range(8)] # 最多支持8张卡 mem_utils = [[] for _ in range(8)] temperatures = [[] for _ in range(8)] print("开始监控 GPU 状态...") while True: elapsed = time.time() - start_time if elapsed > duration: break data = get_gpu_info() if data is None: time.sleep(interval) continue current_time = datetime.now().strftime("%H:%M:%S") timestamps.append(current_time) for i, gpu in enumerate(data['gpu']): gpu_utils[i].append(gpu['utilization.gpu']) mem_utils[i].append(gpu['utilization.memory']) temperatures[i].append(gpu['temperature.gpu']) print(f"[{current_time}] GPU{i}: {gpu['utilization.gpu']}% | Mem: {gpu['memory.used']}MB | Temp: {gpu['temperature.gpu']}°C") time.sleep(interval) return timestamps, gpu_utils, mem_utils, temperatures def plot_results(timestamps, gpu_utils, mem_utils, temperatures): fig, axs = plt.subplots(3, 1, figsize=(12, 10)) # 过滤出有数据的 GPU active_gpus = [i for i in range(len(gpu_utils)) if len(gpu_utils[i]) > 0] # GPU 利用率曲线 for i in active_gpus: axs[0].plot(timestamps, gpu_utils[i], label=f'GPU {i}') axs[0].set_title('GPU Utilization Over Time') axs[0].set_ylabel('Utilization (%)') axs[0].legend() axs[0].grid(True) # 显存利用率 for i in active_gpus: axs[1].plot(timestamps, mem_utils[i], label=f'GPU {i}') axs[1].set_title('Memory Utilization Over Time') axs[1].set_ylabel('Utilization (%)') axs[1].legend() axs[1].grid(True) # 温度变化 for i in active_gpus: axs[2].plot(timestamps, temperatures[i], label=f'GPU {i}') axs[2].set_title('GPU Temperature Over Time') axs[2].set_ylabel('Temperature (°C)') axs[2].set_xlabel('Time') axs[2].legend() axs[2].grid(True) plt.tight_layout() plt.savefig('gpu_monitoring_result.png', dpi=150) plt.show() if __name__ == "__main__": # 每5秒采集一次，持续监控2分钟 ts, gu, mu, temp = monitor(interval=5, duration=120) plot_results(ts, gu, mu, temp)4.3 脚本功能说明
- 自动调用
nvidia-smi获取多卡数据； - 每隔指定时间间隔记录一次；
- 实时打印日志便于调试；
- 最终生成包含三条趋势图的汇总图像；
- 支持扩展为后台服务长期运行。
5. 集成到 WebUI：打造可视化监控面板
虽然上述脚本能独立运行，但更理想的情况是将其集成进现有的WebUI 推理界面，让用户在使用模型的同时也能查看资源状态。
5.1 使用 Streamlit 快速构建仪表盘
如果你的镜像使用的是 Streamlit 作为前端框架，可以新增一个monitor.py页面：
import streamlit as st import matplotlib.pyplot as plt import json import subprocess st.title("📊 GPU 运行状态监控面板") def get_gpu_info(): try: result = subprocess.run([ 'nvidia-smi', '--query-gpu=name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total', '--format=json' ], capture_output=True, text=True, check=True) return json.loads(result.stdout)['gpu'] except Exception as e: st.error(f"无法获取 GPU 数据: {e}") return [] gpus = get_gpu_info() if gpus: for i, gpu in enumerate(gpus): st.subheader(f"🎮 {gpu['name']} (GPU {i})") col1, col2, col3 = st.columns(3) with col1: st.metric("GPU 利用率", f"{gpu['utilization.gpu']}%", delta=None) with col2: st.metric("显存使用", f"{gpu['memory.used']}MB / {gpu['memory.total']}MB") with col3: st.metric("温度", f"{gpu['temperature.gpu']}°C") # 进度条展示 mem_percent = float(gpu['memory.used']) / float(gpu['memory.total']) * 100 st.progress(int(mem_percent), text="显存占用进度") else: st.warning("未检测到可用 GPU 数据，请检查驱动或权限设置。")5.2 效果说明
该页面会在 WebUI 中新增一个“监控”标签页，实时显示每张 GPU 的：
- 名称与编号
- 计算利用率
- 显存使用占比
- 当前温度
- 可视化进度条
用户无需切换终端即可全面了解系统负载。
6. 高级建议：自动化告警与日志留存
对于生产级部署，仅靠可视化还不够。以下是几个值得考虑的增强方向：
6.1 设置利用率阈值告警
可以在脚本中加入判断逻辑：
if gpu['utilization.gpu'] > 95 and duration > 300: st.warning("⚠️ GPU 长时间高负载，可能存在请求堆积！")或者发送邮件/SMS 提醒管理员。
6.2 日志持久化存储
将每次采集的数据保存为 CSV 文件，便于后期分析：
import csv with open('gpu_log.csv', 'a') as f: writer = csv.writer(f) writer.writerow([timestamp, gpu_id, util, mem_used, temp])6.3 多节点聚合监控（适用于集群）
若未来扩展为多机部署，可引入 Prometheus + Grafana 方案，统一收集所有节点的 GPU 指标，构建企业级监控平台。
7. 总结
本文围绕GPT-OSS-20B模型的实际部署环境，提供了一套完整且易于实施的GPU 利用率可视化监控方案。我们从基础的nvidia-smi命令出发，逐步实现了：
- 实时数据采集
- Python 脚本绘制趋势图
- Streamlit 集成嵌入 WebUI
- 可视化仪表盘展示
- 进阶建议：告警机制与日志留存
这套方法不仅适用于 GPT-OSS 系列模型，也可广泛应用于其他基于 vLLM 或 HuggingFace Transformers 的大模型推理服务。无论是本地开发、教学演示还是小型生产部署，都能显著提升系统的可观测性与运维效率。
更重要的是，整个方案完全基于开源工具链，无需额外成本，代码简洁易懂，小白也能快速上手。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
