官方提供的 vLLM 推理需要一系列安装配置步骤才可正常运行以下基于开源大模型服务平台GPUStack结合自定义安装的vLLM版本完成 GPT OSS 系列模型的生产部署推理。同时我们还选择了Ollama作为对比基于EvalScope进行压测对比两种引擎在生产并发场景下的吞吐性能差异。测试结果显示vLLM 在资源利用率、并发能力和扩展效率方面均大幅领先。尤其在企业级部署场景中Ollama 的多实例架构容易造成显存浪费而 vLLM 则能以更小的显存占用支撑更多并发连接投资回报率ROI远高于前者。以下为具体的安装部署教程和测试过程安装 GPUStack首先参考 GPUStack 官方文档完成安装https://docs.gpustack.ai/latest/installation/nvidia-cuda/online-installation/。推荐容器化部署方式在 NVIDIA GPU 服务器上根据文档要求完成对应版本的 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit 安装后通过 Docker 启动 GPUStack 服务。以下测试在 NVIDIA H20 GPU 上进行docker run -d --name gpustack \--restartunless-stopped \--gpus all \--networkhost \--ipchost \-e HF_ENDPOINThttps://hf-mirror.com \-v gpustack-data:/var/lib/gpustack \gpustack/gpustack \--port 9090查看容器日志确认 GPUStack 是否已正常运行docker logs -f gpustack若容器日志显示服务启动正常使用以下命令获取 GPUStack 控制台的初始登录密码docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password在浏览器中通过服务器 IP 和自定义的 9090 端口访问 GPUStack 控制台http://YOUR_HOST_IP:9090使用默认用户名 admin 和上一步获取的初始密码登录。登录 GPUStack 后在资源菜单即可查看识别到的 GPU 资源安装自定义 vLLM 版本目前GPUStack 0.7.0 版本集成的 vLLM 版本为 0.9.2vLLM 的最新版本为 0.10.0但 0.10.0 版本仍不支持 openai/gpt-oss-120b 和 openai/gpt-oss-20b 模型的推理运行。查看模型介绍https://huggingface.co/openai/gpt-oss-120b模型的 README 中已说明需要安装vLLM 0.10.1 gptoss分支版本才能运行为了提前体验gpt-oss-120b和gpt-oss-20b模型我们需要手动安装该开发分支。GPUStack 支持推理引擎多版本并行使用用户可以在保留默认稳定版本的同时灵活安装并使用自定义的 vLLM 版本实现对新发布模型的推理。进入 GPUStack 容器创建一个独立的 Python 虚拟环境来安装vllm 0.10.1gptoss版本docker exec -it gpustack bash由于vllm_0.10.1gptoss依赖 Python 3.12而 GPUStack 镜像内置版本为 3.11安装 Miniconda 用于提供 Python 3.12。到持久化目录下创建 Python 虚拟环境这样在容器重建后仍然可以使用该环境# 在持久化路径下创建目录mkdir -p /var/lib/gpustack/miniconda3# 下载 Miniconda Minicondawget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O /var/lib/gpustack/miniconda3/miniconda.sh# 安装 Miniconda 到持久化目录bash /var/lib/gpustack/miniconda3/miniconda.sh -b -u -p /var/lib/gpustack/miniconda3# 删除 Miniconda 安装包rm /var/lib/gpustack/miniconda3/miniconda.sh# 激活 base 环境source /var/lib/gpustack/miniconda3/bin/activate# 接受使用协议conda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/mainconda tos accept --override-channels --channel https://repo.anaconda.com/pkgs/r创建 Python 3.12 虚拟环境# 创建环境conda create -n vllm_0.10.1gptoss python3.12 -y# 激活环境conda activate vllm_0.10.1gptoss# 检查 Python 版本python -V安装vllm_0.10.1gptoss# 设置清华 PyPI 源pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple# 安装 vLLM 0.10.1gptosspip install --pre vllm0.10.1gptoss \--extra-index-url https://wheels.vllm.ai/gpt-oss/ \--extra-index-url https://download.pytorch.org/whl/nightly/cu128# 将 vllm_0.10.1gptoss 虚拟环境的 vllm 可执行文件链接到 /var/lib/gpustack/bin/ 下用于 GPUStack 调用ln -sf /var/lib/gpustack/miniconda3/envs/vllm_0.10.1gptoss/bin/vllm /var/lib/gpustack/bin/vllm_0.10.1gptoss离线环境可以参考以下命令打包 wheel 包到离线环境安装注意安装时如果有 wheel 包损坏重新下载该 wheel 包到内网替换并安装pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simplepip download --pre vllm0.10.1gptoss \--extra-index-url https://wheels.vllm.ai/gpt-oss/ \--extra-index-url https://download.pytorch.org/whl/nightly/cu128 \--dest ./vllm_0.10.1_gptosstar -zcvf vllm_0.10.1_gptoss.tar vllm_0.10.1_gptoss/下载 GPT OSS 模型在 GPUStack UI 点击模型文件菜单选择添加模型文件可以从 Hugging Face 或 ModelScope 联网下载模型文件。国内网络建议从 ModelScope 搜索并下载gpt-oss-120b和gpt-oss-20b模型。