基于 LPU 的推理架构
Groq 的 LPU 是一款专用推理芯片，旨在实现确定性的基于令牌的执行。架构页面称，该设计减少了传统软件的复杂性，并致力于保持性能的可预测性。
什么是 Groq？
Groq 是一个围绕 Groq LPU 构建的推理平台。Groq LPU 是一款专用芯片及软件栈，专注于以较快速度和可预测的成本运行 AI 模型。该网站将 GroqCloud 定位为面向开发者的模型访问与推理服务，支持 OpenAI 兼容 API，并支持通过现有代码快速开始使用。
该产品面向需要低延迟模型响应、可扩展推理能力以及线性且可预测定价的开发者和团队。定价页面展示了对公开可用模型的按需访问、提示词缓存、用于复合系统的内置工具，以及面向大型工作负载的 Batch API；企业页面则为大型组织提供了部署选项和专属支持。
Groq 能做什么？
覆盖文本、音频和视觉的模型访问
定价页面展示了对多个公开可用模型的按需访问，包括 GPT-OSS、Llama、Qwen、Kimi 和 Whisper 的不同版本，并采用按模型区分的令牌定价。
提示词缓存定价
Groq 对提示词缓存提供了单独的缓存输入令牌和未缓存输入令牌定价说明。页面指出，缓存功能本身不收取额外费用，折扣会在命中缓存时生效。
用于复合系统的内置工具调用
复合 AI 系统可以使用网页搜索、访问网站、代码执行和浏览器自动化等内置工具。费用会按底层模型和服务端工具的实际费用转嫁。
异步批处理
Batch API 支持异步的大规模请求处理，标明可降低 50% 的成本，不影响标准速率限制，处理时间窗口为 24 小时至 7 天。
OpenAI 兼容 API 访问
该网站表示 Groq 的 API 兼容 OpenAI，只需使用 Groq 基础 URL 和 API 密钥，通过几行代码即可开始使用。
使用场景
“实时对话应用”
构建聊天或助手产品的团队可以使用 GroqCloud，以低延迟和可预测的按令牌定价提供模型响应，尤其适合响应速度会影响用户体验的场景。
“快速迁移 API”
已经使用 OpenAI 风格客户端库的开发者，可以通过更改基础 URL 并使用 Groq API 密钥切换到 Groq，从而降低迁移难度。
“使用工具的 AI 工作流”
需要检索、网页查询或代码执行的产品，可以使用带有网页搜索、访问网站和代码执行等内置工具的复合 AI 系统。
“高容量批处理工作负载”
运行大型任务的组织可以使用 Batch API 以较低成本异步处理请求，同时不影响标准速率限制。
“企业级推理部署”
有定制容量、部署或支持需求的企业，可以通过 Enterprise API Solutions 流程规划更大规模的推理部署。
常见问题
Groq 可用于什么？
Groq 为需要快速、低成本模型服务的开发者和团队提供推理基础设施。该网站展示了 OpenAI 兼容访问，并支持通过使用 Groq API 基础 URL 进行少量代码修改来开始使用。
开发者可以使用 GroqCloud 做什么？
定价页面列出了核心模型访问、仅限企业使用的模型、提示词缓存、内置工具和 Batch API 处理。主页还将 GroqCloud 指向开发者使用推理服务的地方。
Groq 只提供定价页面上显示的模型吗？
定价页面展示了多个公开可用模型的按需定价，并表示可根据特定客户请求提供其他模型，包括微调模型。
Groq 是否提供企业选项？
是。企业页面提供面向更大规模部署、定制解决方案和专属支持的 Enterprise API Solutions 流程，同时也提到了部署选项。
团队可以在没有企业合同的情况下开始使用吗？
该网站表示可以免费开始，并随着需求增长进行升级；定价页面还提供了企业 API 解决方案或本地部署的联系入口。
快速信息
- 类别
- AI 基础设施 / 开发者工具
- 主要产品
- GroqCloud 推理平台
- 核心技术
- Groq LPU
- 访问方式
- OpenAI 兼容 API
- 定价模式
- 按需令牌定价加企业销售流程
- 网站
- groq.com
Groq 流量分析
流量数据仅供参考。
- 域名评分
- 85
Groq 替代品
AakarDev AI
aakar-ai.dev
在一个仪表板中管理 AI 供应商、项目配置、日志和分析，支持 BYOK 工作流。
DDS Hub
ddshub.cc
面向 Claude 和 OpenAI 系列模型工作流的 AI API 平台，提供按 Token 计费与设置指南
thisorthis.ai
thisorthis.ai
在一个工作区比较 AI 模型输出、整理对话并复用提示词。
NavtoAI API
sub2api.navtoai.com
统一 AI API 网关，通过一个账户路由 200 多个模型
EvoLink
evolink.ai
AI 模型 API 平台，通过一个兼容 OpenAI 的端点访问文本、图像、视频和音乐模型
GMI Cloud
gmicloud.ai
面向 NVIDIA GPU 的生产推理、训练与微调 AI 基础设施。