01 / 07 · 主機硬體
選主機硬體
Host Hardware Selection
學習重點
- 先定任務、候選模型、上下文與尖峰同時請求，再決定全 GPU 或混合推論。主機 RAM 和 GPU VRAM 的配置一起估。
- 查 CPU 的 PCIe 通道、主機板實際走線、DIMM 槽數和支援的記憶體類型。4 個 DIMM 槽和 4 個記憶體通道是不同規格。
- 核對機殼、電源、散熱與擴充空間。主機與 GPU 選型要一起檢查。
這一關怎麼選
公司要在四週內驗證 Coding Agent，先由兩位開發者使用，三個月後可能擴到部門。你的第一筆硬體投資要押在哪裡？
- 沿用工作站，先測出採購依據
適合已有設備、模型與用量尚未確定的團隊。
代價與限制 · 前期投入小，但舊平台的 PCIe、RAM、電力和維修風險會限制擴充。
驗收 · 用同一組修 Bug 任務測成功率、人工介入與多人排隊，作為升級依據。
- 買可擴充工作站，保留雙卡與 RAM 空間
適合放在辦公室、需要持續調校且會逐步擴充的團隊。
代價與限制 · 要為擴充先付成本，也要核對雙卡後的走線、間距、供電和噪音。
驗收 · 要求供應商提供實際插卡圖、DIMM 配置與持續負載測試。
- 建置企業 Server，按部門服務規劃
適合已有機房、維運窗口與部門共用需求。
代價與限制 · 遠端管理與維修設計有價值，但整機、機房與支援成本都要算。
驗收 · 驗收 GPU 支援清單、散熱、故障通知和服務恢復，規格依實際型號確認。
實作驗收
交出一份設備配置表，標出插卡後的 PCIe 寬度、可用 RAM、電源與散熱。
資料來源
圖卡來源
- PILOT WORKSTATION · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
- EXPANDABLE WORKSTATION · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
- ENTERPRISE SERVER · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。