# Future AGI Future AGI 为开发和运营 AI 智能体的团队提供评测、模拟对话、运行时护栏和生产追踪工具，帮助定位故障并在发布前验证改动。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 可观测性, 大语言模型评测 ## 什么是 Future AGI？ Future AGI 是面向 AI 智能体的开发和运营平台。它结合评测、模拟对话、运行时护栏和生产追踪，帮助团队识别故障并调查其原因。数据集管理、提示词版本控制、实验和智能体演练场支持在发布前测试改动。 团队可以通过控制台、API 和 SDK 使用这些功能，在开发过程中或针对持续产生的历史活动数据运行评测。该平台还包括 AI 网关，用于模型路由、缓存和成本追踪。 ## Future AGI 能做什么？ ### 多种评测方法 结合启发式检查、代码评测、LLM-as-judge 评分和智能体评测代理，用于 RAG、工具、提示词和错误定位。可在请求内、持续运行、针对历史数据或在 CI/CD 中执行评测。 ### 文本和语音模拟 使用预定义或自定义的角色，以及脚本、数据集或图场景测试智能体。检查对话记录并比较会话，以了解对话展开的过程。 ### 可配置的运行时护栏 针对个人身份信息（PII）、提示词注入、有害内容、机密信息和幻觉应用输入与输出检查。可配置每条规则以执行拦截、监控或记录，并设置分数阈值和 PII 修复方式。 ### 生产环境可观测性 检查追踪、跨度、会话和智能体图。使用筛选条件进行搜索、构建自定义仪表板，并通过 Slack 或电子邮件发送提醒，以跟踪运营问题。 ### 数据集和智能体实验 管理数据集、在实验中比较模型，并对提示词模板进行版本控制。可视化智能体演练场支持工具调用和格式验证；AI 功能可生成合成数据或改进提示词。 ### 模型网关控制 借助负载均衡、自动故障转移和重试，在受支持的 LLM 提供商之间路由请求。精确缓存和语义缓存、预算、速率限制及虚拟密钥支持使用管理。 ## 使用场景 ### 在发布前验证支持智能体 使用知识库示例评测事实准确性、相关性和完整性。在选择部署版本前，通过实验比较提示词或检索改动。 ### 演练困难的语音对话 模拟具有不同角色和情境的来电者，以测试升级处理、打断和敏感对话分支。查看对话记录和会话比较，找出薄弱回应。 ### 调查生产环境故障 沿着智能体图和追踪记录跟踪问题会话，然后使用错误分析和评测解释，定位检索、工具使用或提示词中的问题。 ### 与人工标注员一起审核示例 将追踪、跨度或数据集项目分配到标注队列。收集数值、分类、文本、星级或点赞/点踩标签，以支持团队审核和评分。 ## 常见问题 ### 免费套餐包括哪些内容？ 无需信用卡。每月额度包括 50 GB 存储空间、2,000 个共享 AI 积分、100,000 次网关请求、100 万个文本模拟令牌和 60 分钟语音模拟。超出额度的用量按实际使用量计费。 ### 可以使用自己的模型 API 密钥吗？ 可以。在实验和演练场中，BYOK 的 LLM-as-judge 评测及模型调用不收取平台费用。如有模型提供商费用，则需另行支付。启发式评测始终免费；托管模型评测和代码评测使用 AI 积分。 ### 团队访问权限和数据保留如何处理？ 公开套餐包括不限数量的团队成员和项目。免费方案列出 30 天数据保留期，同时单独列出持久化数据集和标注。存储仍计入用量。付费附加项可延长保留期并提高标注队列限额。 ### 评测和护栏能保证输出安全且正确吗？ 请将分数和护栏作为已配置的检查项使用，然后根据你自己的示例和人工标注进行验证。检查误报和漏报，并在强制执行规则前对其进行监控。模拟和评分不能替代对真实部署的审核。 ## 快速信息 - **类别**: AI 智能体测试和可观测性 - **访问方式**: Web 控制台、API 和 SDK - **主要用户**: 开发和运营 AI 智能体的团队 - **计费**: 每月免费额度，超出部分按用量计费 - **网站**: https://futureagi.com