選 LLM 推論引擎與服務框架

學習重點

• Inference engine／runtime 負責執行模型。Serving framework 再處理請求、排程、併發及服務端點。工具的功能可以重疊。
• llama.cpp 可做本機推論，也有 HTTP 伺服器。Ollama 把模型管理與執行整合在一起。
• SGLang 與 vLLM 可評估用於模型服務。Strata 適合納入支援的 MoE 與 RAM／VRAM 配置測試。先核對 GPU 後端、格式、量化、版本與 API 支援。

這一關怎麼選

同事要用本機模型寫程式與讀文件。你目前最需要引擎解決哪一件事？

1. 快速導入與模型管理 · Ollama

   適合先建立可重現的安裝與常用工具串接。

   代價與限制 · 操作便利仍需核對模型、功能與版本支援，正式共用要補認證與監控。

   驗收 · 從乾淨環境重建一次，驗證本機執行、API 與實際工具呼叫。

2. 掌控量化與放置 · llama.cpp／Strata

   適合需要逐項調整後端、上下文、量化或支援的 MoE 混合路線。

   代價與限制 · 可調項多，版本鎖定、啟動參數與測試紀錄也成為維護工作。

   驗收 · 保存可重現指令，測相同任務的品質、兩側記憶體峰值與延遲。

3. 多人服務與排程 · vLLM／SGLang

   適合尖峰多請求、需要衡量服務吞吐與延遲的情境。

   代價與限制 · 要核對模型與加速器支援，並投入服務部署及容量規劃。

   驗收 · 用實際長短請求混合壓測，分別看排隊、首字與完整回答的延遲分布。

實作驗收

記下可跑的模型、引擎版本與啟動方式，完成一次可重現的本機推論。

資料來源

• SGLang
• vLLM
• llama.cpp
• Ollama
• Strata

圖卡來源

• MODEL MANAGEMENT · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
• RUNTIME TUNING · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。
• CONCURRENT SERVING · AI 生成情境插圖，用於解釋選型方向。實際規格請查產品文件。

← 返回七關實戰