Groq

Groq 是為開發者與團隊打造的推論平台，透過 Groq LPU 與 GroqCloud 提供快速、低成本的模型服務。支援 OpenAI 相容 API、按需模型計費、提示快取、批次處理與企業級部署方案。

Groq 是什麼

Groq 是一個以 Groq LPU 為核心打造的推論平台，這是一套專為快速且以可預測成本執行 AI 模型而設計的客製晶片與軟體堆疊。網站將 GroqCloud 定位為讓開發者存取模型與推論的服務，提供 OpenAI 相容 API，並支援從既有程式碼快速開始使用。

此產品的目標對象是需要低延遲模型回應、可擴充推論，以及被描述為線性且可預測的定價的開發者與團隊。定價頁面顯示可按需存取公開可用模型、提示快取、供複合系統使用的內建工具，以及用於大型工作負載的 Batch API；而企業頁面則為較大型組織提供部署彈性與專屬支援。

核心功能

基於 LPU 的推論架構

Groq 的 LPU 是一款自訂推論晶片，專為可決定性的、以 token 為基礎的執行而設計。架構頁面指出，此設計移除了傳統軟體複雜度，並旨在維持可預測的效能。

跨文字、音訊與視覺的模型存取

定價頁面顯示可按需存取多種公開可用模型，包括 GPT-OSS、Llama、Qwen、Kimi 與 Whisper 變體，並提供依模型而定的 token 計價。

提示快取定價

Groq 說明了提示快取，並分別列出已快取與未快取的輸入 token 價格。頁面註明快取功能本身不收取額外費用，折扣則在快取命中時適用。

複合系統的內建工具使用

複合 AI 系統可使用內建工具，例如網頁搜尋、造訪網站、程式碼執行與瀏覽器自動化。費用會依底層模型與伺服器端工具的成本轉嫁。

非同步批次處理

Batch API 支援非同步的大規模請求處理，並標示可降低 50% 成本、不影響標準速率限制，以及 24 小時到 7 天的處理窗口。

OpenAI 相容 API 存取

網站指出 Groq 的 API 與 OpenAI 相容，只需使用 Groq 的 base URL 與 API key，再搭配幾行程式碼即可開始。

團隊使用 Groq 的常見方式

即時對話應用程式
打造聊天或助理產品的團隊，可使用 GroqCloud 以低延遲與可預測的每 token 計價來提供模型回應，特別適合回應時間會影響使用體驗的情境。
快速 API 遷移
已使用 OpenAI 風格用戶端函式庫的開發者，只要更改 base URL 並使用 Groq API key，就能切換到 Groq，降低遷移阻力。
使用工具的 AI 工作流程
需要檢索、網路查詢或程式碼執行的產品，可使用具備內建工具的複合 AI 系統，例如網頁搜尋、造訪網站與程式碼執行。
高流量批次工作負載
執行大型工作的組織可使用 Batch API，以較低成本非同步處理請求，且不影響標準速率限制。
企業級推論部署
具有自訂容量、部署或支援需求的企業，可透過 Enterprise API Solutions 流程進行更大規模的推論規劃。

Pros and Cons

Pros

提供快速的推論基礎架構，明確聚焦於延遲與成本。
支援多種公開可用模型，並提供依模型而定的定價。
包含提示快取，可在快取命中時降低輸入 token 成本。
提供內建工具與批次處理，適合更大型或更複雜的工作負載。
為較大型部署與部署彈性提供企業級路徑。

Cons

公開頁面除 OpenAI 相容存取與少量程式碼外，沒有提供更詳細的整合說明。
網站在所提供的頁面中，未公布完整的支援 SDK、雲端整合或部署模式清單。
Enterprise API Solutions 與部分模型需要聯絡銷售，無法完全自行完成結帳。

FAQ

Groq 是用來做什麼的？

Groq 為需要快速、低成本模型服務的開發者與團隊提供推論基礎架構。網站顯示其支援 OpenAI 相容存取，並可透過變更 Groq API base URL 以少量程式碼開始使用。

開發者可以用 GroqCloud 做什麼？

定價頁面列出核心模型存取、僅限企業的模型、提示快取、內建工具與批次 API 處理。首頁也將 GroqCloud 指向作為開發者進行推論的地方。

Groq 只提供定價頁面上列出的模型嗎？

定價頁面顯示多個公開可用模型的按需定價，並指出另有其他模型可依特定客戶需求提供，包括微調模型。

有企業方案嗎？

有。企業頁面提供 Enterprise API Solutions 流程，適用於更大型的部署、自訂解決方案與專屬支援，並提及部署彈性。

團隊可以在沒有企業合約的情況下開始使用嗎？

網站表示你可以免費開始使用，並在需求成長時升級；定價頁面也提供企業 API 解決方案或 on-prem 部署的聯絡途徑。

Quick Facts

分類: AI 基礎架構 / 開發者工具
主要產品: GroqCloud 推論平台
核心技術: Groq LPU
存取模式: OpenAI 相容 API
定價模式: 按需 token 計價加上企業銷售流程
網站: groq.com