提供推論 API

學習重點

• API 是應用程式呼叫模型的介面。支援 OpenAI 相容介面時，常見基底路徑為 /v1。
• 先測 GET /v1/models 與 POST /v1/chat/completions，再逐項驗證串流、工具呼叫、embeddings 與錯誤回應。各工具支援項目有差異。
• 從使用者或應用程式實際所在的機器測試連通、認證、逾時與延遲。

這一關怎麼選

Coding Agent 需要即時串流，文件整理可能跑十分鐘。你希望團隊怎麼呼叫這套模型？

1. 先建內網直連，限制試用範圍

   適合少數受控開發端快速驗證串接。

   代價與限制 · 部署簡單，但每個客戶端仍要處理連線、憑證與錯誤，擴大共用要再設計。

   驗收 · 從實際筆電驗證授權、斷線、串流和工具呼叫。

2. 統一 API Gateway，管理部門用量

   適合多個應用、需要金鑰輪替、配額和請求追蹤。

   代價與限制 · 新增管理層與維運責任，必須確認代理不會破壞串流或逾時。

   驗收 · 測不同使用者配額、串流中斷、拒絕存取與日誌的敏感內容遮蔽。

3. 互動走 API，長任務走佇列

   適合夜間批次、長文件及需要重試的工作。

   代價與限制 · 需新增任務狀態、取消、重試與去重設計。

   驗收 · 中斷 Worker 後確認任務可恢復，重試不會重複寄信或寫資料。

實作驗收

筆電端完成一筆經授權的推論請求，並記下 base URL、模型 ID 與支援功能。

資料來源

• vLLM API
• Ollama API

圖卡來源

• PRIVATE API · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
• API GATEWAY · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
• JOB QUEUE · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。

← 返回七關實戰