一键登录 更安全快捷
获取验证码
密码登录
验证码登录
登录
登录/注册
0
收藏
在基于Minisforum MS‑A2搭建的VCF小型私有AI（PAIS）实验环境中，内置RTX4000显卡高负载跑本地大模型会出现严重热节流，推理性能剧烈波动。William Lam测试AOOSTAR AG01带内置800W PSU的OCuLink外置显卡扩展坞，无需额外电源，实现ESXi DirectPath I/O硬件直通，供VKS（vSphere Kubernetes Service）集群调用GPU算力。本文介绍硬件选型、接线注意事项、ESXi配置步骤、性能优化点以及社区反馈风险，适合家庭实验室、边缘私有AI平台的VMware运维人员参考。
有三星手机和平板刷机固件需求的可以移步：
作者在Minisforum MS‑A2迷你主机上部署VCF私有AI服务PAIS，用来本地部署大模型，给Agent编码工具提供算力。当RTX4000显卡持续高负载做推理任务时，狭小机箱散热不足，会触发GPU热节流降频，直接导致token输出速率忽高忽低，AI服务性能不稳定。
早期方案需要额外购买独立电源给外置显卡供电，后来发现AOOSTAR AG01这款OCuLink显卡坞，内置最高800W电源，整套套件含MS‑A2专用PCIe OCuLink子卡、OCuLink数据线，套件售价179美元（不含运费），体积小巧，可直接堆叠放置在VCF Mini‑Rack上面。
OCuLink接口不支持热插拔，连接/拔插线缆前必须完全关闭MS‑A2主机电源；
上电逻辑：显卡坞接通市电，再开启MS‑A2主机，显卡坞会跟随主机自动上电；关闭MS‑A2，显卡坞同步自动断电；
硬件链路：MS‑A2加装配套OCuLink PCIe子卡，通过OCuLink线缆连接AG01扩展坞，扩展坞内部安装NVIDIA GPU；
ESXi识别：ESXi启动后在PCI设备列表中识别到外接GPU，可以像普通PCIe设备一样开启DirectPath I/O直通。
整机断电，完成OCuLink硬件线缆连接，确认物理安装到位；
开机进入ESXi Web Client，打开【主机】→【管理】→【PCI设备】；
选中外接NVIDIA GPU设备，启用 DirectPath I/O 直通；
重启ESXi主机，使PCI直通配置生效；
在vSphere Supervisor集群中配置GPU资源分配，VKS Guest集群就可以消费直通出来的GPU，用于本地大模型推理（PAIS私有AI服务）。
经过外置坞改造之后，GPU脱离迷你机箱狭小空间，散热条件大幅改善，彻底消除高负载下的热节流，推理性能稳定性显著提升。
除了解决硬件散热问题，作者还启用llamaCPP服务端的 MTP（Multi‑Token Prediction，多令牌预测），以Qwen3.8‑27B模型为例，开启MTP之后，每秒输出token（TPS）获得明显提升，进一步释放GPU推理能力。
同时使用OpenAI Codex辅助排查PAIS环境的性能异常，定位最初性能抖动根因就是GPU温度过高触发降频。
硬件风险：OCuLink线缆接头比较脆弱，不适合反复左右扭动，物理磕碰容易损坏PCIe连接器；布线需要做好线缆固定，防止意外拉扯；
同类用户实践：有爱好者同样在MS‑A2使用RTX2000做本地AI，同样观察到密闭机箱高温降频现象；
后续升级方向：可以考虑RTX5000、L4等更高规格GPU，未来测试vGPU虚拟化能力；Open‑WebUI搭配多块GPU，向量数据库做模型增强也是热门实践方向。
重要声明：整套属于家庭Homelab实验方案，不是VMware官方认证企业硬件，生产环境谨慎使用。OCuLink直通属于高级ESXi配置，操作前做好整机备份。
Q1：OCuLink可以热插拔显卡坞吗？
A：不支持热插拔，必须完全关闭MS‑A2主机电源再插拔线缆，带电插拔会损坏硬件。
Q2：是不是插上eGPU之后VKS就自动识别GPU？
A：不是，需要在ESXi开启DirectPath I/O PCI直通，重启主机，再在Supervisor层面完成GPU资源配置，VKS才能使用。
Q3：MTP多令牌预测是什么，能带来多大收益？
A：MTP多令牌预测是llamaCPP的推理优化特性，可以一次性预测多个输出token，显著提高TPS吞吐，效果取决于大模型本身是否支持该特性，例如Qwen3.8‑27B原生支持。
Q4：这套方案能不能直接用于企业生产环境？
A：AOOSTAR AG01、Minisforum MS‑A2都属于实验室DIY硬件，不在VMware硬件兼容列表HCL，只适合Homelab家庭实验，不建议直接上生产。
Q5：GPU放到外置坞，会有带宽性能损失吗？
A：OCuLink提供PCIe4.0 x4带宽，对于AI推理负载基本够用；3D游戏渲染场景会有一定损耗。
针对Minisforum MS‑A2这类小体积VCF实验平台，内置GPU高负载跑本地AI模型很容易因为散热不足触发热节流，推理性能剧烈抖动。借助AOOSTAR AG01集成电源的OCuLink外置显卡坞，可以把GPU移出迷你主机，通过ESXi DirectPath I/O直通，供VKS集群消费GPU算力，彻底解决散热瓶颈；再配合llamaCPP MTP多令牌预测调优，可以进一步拉高本地大模型推理吞吐。整套方案适合VMware爱好者搭建私有AI PAIS家庭实验室，但硬件不在官方HCL兼容清单，生产环境不建议直接复用。
