選 GPU 顯卡

學習重點

• 全 GPU 路線才把整份模型權重計入顯存。混合推論要按實際放置方式，分別核算主機 DRAM 與 GPU VRAM。
• 顯存頻寬、PCIe 頻寬和 CPU 的 DRAM 頻寬是三件事。還要核對引擎支援、電力、保固與價格。
• Strata 的支援模式可在 DRAM 存 MoE 專家，GPU 保留當前模式需常駐的權重、專家快取、KV cache 的 GPU 部分與工作空間。依模式由 CPU 執行部分專家，或讓 GPU 存取。
• 選型以模型架構、量化、引擎版本、上下文及併發為條件。測啟動、DRAM／VRAM 峰值、延遲與輸出品質，才知道這套配置是否好用。
• 驗證容量說法：70B × BF16 每參數 2 bytes，權重約 140 GB，另計 KV cache 與執行暫存。Evetech 提到的 24 GB 不能作為未量化、全放 VRAM 的需求。

這一關怎麼選

候選 Coding 模型能完成工作，但完整權重超過單卡顯存。你要優先降低哪一種代價？

1. 改用可全放單卡的模型或量化

   適合互動延遲優先，且較小模型或量化仍可通過工作驗收。

   代價與限制 · 架構較簡單，但省下記憶體可能換來品質下降與更多人工修正。

   驗收 · 固定任務比較通過率、首字延遲與人工修正時間，不能只看 token/s。

2. 用 Strata 評估 DRAM／GPU 混合推論

   適合支援的 MoE 模型、主機 DRAM 充足且能接受調校。

   代價與限制 · 降低顯存容量門檻，瓶頸可能移到 DRAM、CPU、PCIe 或專家快取。

   驗收 · 記錄模型、量化、版本與放置方式，再測冷啟動、長上下文和多人負載。

3. 增配 GPU，評估跨卡切分

   適合需要保留模型品質、希望更多權重常駐 GPU 且有擴充條件。

   代價與限制 · 增加硬體與功耗，也增加跨卡通訊與後端相容性成本。

   驗收 · 先確認引擎的切分方式，在實際 PCIe 拓撲測延遲和吞吐。

實作驗收

記錄 DRAM／VRAM 放置、兩側尖峰容量、併發、通過率、用時與報價。

資料來源

• 看顯卡頻寬圖卡
• Strata
• 硬體入門參考｜Evetech

圖卡來源

• GPU RESIDENCY · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
• HYBRID MoE · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
• MULTI-GPU · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。

← 返回七關實戰