基于网关的模型可观测性
通过单一集成入口路由 LLM 流量，以捕获请求、追踪、延迟、成本和提供商行为，无需更改底层模型栈。
什么是 Inference.net？
Inference.net 是面向运营生产环境模型工作负载团队的 AI 基础设施平台。其产品涵盖模型部署、LLM 可观测性、追踪、持续评估和专用微调工作流。团队可以通过 LLM 网关路由流量、检查请求和智能体运行情况、比较模型行为，并从目录中部署模型或部署针对自身工作负载训练的模型。
该平台旨在将生产数据与模型改进连接起来。Observe 可捕获跨提供商的模型调用遥测数据，而 Trace 会记录智能体执行详情，例如提示词、工具调用、框架步骤、输出、元数据和错误。Evaluate 可将生产追踪转换为评估数据集，并根据选定标准对行为进行评分。训练工作流可以使用已观察到的追踪和评估失败记录来创建适用于训练的数据，依据基线验证不同模型变体，并随着产品需求变化重新训练模型。
Inference.net 还提供生产模型托管，配备专用基础设施、模型权重可移植性、受控的模型变更，以及明确的 99.99% 正常运行时间目标。定价包括免费按量付费层级（含每月额度）、Growth 方案，以及通过定制合同和专用基础设施提供的 Enterprise 方案。
Inference.net 能做什么？
智能体追踪与分析
将 LLM 调用、工具调用、框架步骤和自定义跨度捕获为 OpenTelemetry 追踪。Trace 视图会保留输入和输出、消息历史、工具数据、模型元数据、智能体结构及错误。
生产环境搜索与监控
搜索生产事件，并通过追踪、模型、用户或自定义属性调查延迟、可靠性、使用情况、质量信号、漂移、异常和故障模式。
持续评估
将生产追踪转换为评估数据集，使用自动检查、特定任务指标或人工审核为模型评分，并在发布前将新变体与基线行为进行比较。
微调与重新训练工作流
从已观察到的追踪和评估失败记录生成适用于训练的样本，然后围绕领域、任务、质量、成本或延迟目标微调模型，并使用新的生产数据重新训练。
生产模型部署
在面向持续工作负载的基础设施上部署目录模型或自定义模型，支持公有云、私有云或混合环境，并可控制模型替换。
使用场景
“调试多步骤智能体”
工程团队可以检查完整运行记录，包括框架跨度、工具参数和结果、模型元数据及异常，然后使用 Halo 分析识别反复出现的故障模式，并将拟议修复与追踪 ID 关联。
“比较提供商和模型路由”
运行 OpenAI、Anthropic、开源来源或 Inference.net 模型的团队可以使用网关比较提供商性能，按路由或工作流归因支出，并发现无需重建管线即可更换模型的机会。
“利用真实流量改进模型”
产品和 ML 团队可以将具有代表性的生产追踪及评估失败记录转化为数据集，针对现有行为测试候选变体，并基于实际用户工作负载建立改进闭环。
“在生产环境中运行自定义模型”
拥有专用或微调模型的团队可以将其部署在专用基础设施上，自主控制模型变更时间，并在受支持的部署环境之间保持权重可移植性。
常见问题
如何将可观测性添加到现有模型管线中？
对于与提供商无关的请求监控，团队可以通过 Inference.net 网关路由 LLM 流量。网关连接下游提供商，并在统一仪表板中捕获请求；官网称设置大约五分钟即可开始。在 Inference.net 上部署的模型会自动获得观测，无需额外 SDK。
Trace 会捕获哪些内容？
Trace 会将 LLM 调用、工具调用、框架步骤和自定义跨度捕获为 OpenTelemetry 追踪。记录的信息可能包括输入和输出、有序的用户/系统/助手/工具消息、工具调用参数和结果、模型及令牌元数据、智能体或图结构，以及错误或异常。
团队可以使用自己的智能体框架吗？
Trace 页面列出了对 OpenAI、Anthropic、LangChain、LangGraph、Vercel AI SDK、OpenAI Agents、LiveKit Agents、Claude Agent SDK 和 Pydantic AI 的支持，并表示还在添加其他框架。官网还介绍了 AI 辅助 CLI，该工具可以为代码库添加检测，并允许用户在应用更改前进行审核。
评估和训练如何融入工作流？
生产追踪可以转换为评估数据集，并通过自动评分、特定任务检查或人工审核进行评分。评估结果和已观察到的追踪随后可以用于生成适用于训练的样本、模型微调、基线验证，并随着产品发展进行后续重新训练。
有哪些方案可供选择？
定价页面列出了免费按量付费方案、每月 250 美元的 Growth 方案，以及通过销售团队提供的 Enterprise 方案。各方案的包含额度和限额不同；Enterprise 可包含定制合同、专用基础设施、部署限额和直接支持。
快速信息
- 类别
- AI 基础设施和开发者平台
- 主要用户
- AI 原生工程、产品和 ML 团队
- 核心工作流
- 观察生产流量、评估模型行为、训练改进方案并部署模型
- 追踪格式
- OpenTelemetry 追踪和跨度
- 部署环境
- 公有云、私有云或混合环境
- 定价模式
- 免费按量付费层级、Growth 订阅和定制 Enterprise 方案
Inference.net 流量分析
流量数据仅供参考。
- 域名评分
- 60