05 / 07 · 應用部署
從筆電把 AI 程式部署到 Server
AI Application Deployment
學習重點
- 開發時程式可留在筆電，透過推論 API 使用 Server 的模型與 GPU。團隊服務則把應用或 Agent 的執行環境部署到可持續運行的主機。
- 交付程式版本、依賴或容器映像。把推論網址、金鑰、資料路徑和網路規則設定在 Server，並安排服務啟動、日誌、健康檢查與回滾。
- 兩個獨立 Agent 需要標準化互通時，再評估 Agent2Agent（A2A）。
這一關怎麼選
你的 AI 應用已在筆電跑通，接下來要交給同事每天使用。你願意承擔哪種部署複雜度？
- 應用與推論同機部署
適合小規模服務、維運人力有限且可接受維護窗口。
代價與限制 · 部署路徑短，但應用與模型會共享資源和故障範圍。
驗收 · 測資源限制、重啟、自動啟動與整機還原時間。
- 應用主機與 GPU Server 分開
適合不同團隊維護應用與模型，或多個應用共用推論。
代價與限制 · 可獨立更新，但新增網路、認證和跨服務追蹤成本。
驗收 · 模擬推論服務逾時、更新與斷線，確認應用能正確降級。
- 準備替代節點與版本回滾
適合中斷會影響工作、已有恢復時間要求的服務。
代價與限制 · 需備用容量、狀態備份及切換流程，兩台機器不會自動變成高可用。
驗收 · 演練停機與回滾，測真實恢復時間和可接受的資料損失。
實作驗收
關掉開發筆電後，另一台機器仍可用服務完成一項工作。服務重啟後再驗一次。
資料來源
圖卡來源
- SINGLE HOST · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
- SPLIT SERVICES · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
- RECOVERY CAPACITY · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。