简介
这是一份以工作站为先的实用指南，介绍如何在NVIDIA最新的AI工作站硬件上使用vLLM和Open WebUI。
当我第一次接触到NVIDIA DGX Spark时，我兴奋不已。这台紧凑型机器搭载了GB10 Grace Blackwell超级芯片，配备128GB统一内存，软件栈直接来自数据中心，听起来简直是本地运行大型语言模型的完美之选。
为了便于理解，DGX Spark 处于一种不寻常的中间位置。它将数据中心级架构集成到工作站大小的单个机箱中，CPU、GPU 和内存紧密集成。它的性能足以媲美小型 AI 服务器，但它的设计初衷是放在桌面上，而不是机架中。一旦你开始在上面运行实际工作负载，这种双重特性就显得至关重要了。
NVIDIA 确实提供了 vLLM 的官方安装教程，而且它确实如宣传的那样有效。不过，我想要的是一个更完善的解决方案。我需要一个可以直接集成到我自己的应用程序中的 API，同时还需要一个类似 ChatGPT 的界面，用于个人使用和实验。这促使我将 vLLM 与 Open WebUI 集成，目标是构建一个能够完美胜任这两个角色的方案，而无需将机器当作专用的无头服务器来使用。
推荐文章
《微软的 BioGPT：用于生物医学文本处理的基于 GPT 的语言模型(教程含源码)》 权重2，医学类
