真实标签数据集创建
从合成数据、开发数据和实时生产数据中构建数据集，并添加领域专家标注，使评估标准能够反映目标环境。
Galileo
Freemium
Galileo 是一个用于测试、调试和治理大语言模型及智能体系统的 AI 可观测性与评估平台，覆盖开发和生产环境，帮助团队将评估结果转化为生产防护措施，并规模化监控 AI 行为。
什么是 Galileo？
Galileo 是一个面向构建大语言模型应用和 AI 智能体团队的 AI 可观测性与评估平台。它支持从数据集创建和领域专家标注，到离线测试、生产监控、故障分析及防护措施部署的完整评估生命周期。Galileo 的定位是帮助团队识别并解决幻觉、策略漂移、安全漏洞和智能体故障等问题，避免这些问题在大规模影响用户之前造成影响。
该平台将评估与可观测性结合起来，而不是将二者视为彼此独立的工作流。团队可以从合成数据、开发数据和实时生产数据中创建真实标签数据集，运行预构建或自定义评估，检查智能体行为，并利用评估结果定义生产控制措施。Galileo 表示，Luna 模型可用于在生产流量中运行经过优化的评估，从而降低延迟和成本。
Galileo Signals 会分析生产追踪数据，以发现现有评估或人工搜索可能未覆盖的故障模式。其 Insights 引擎进一步分析智能体行为及相关执行数据，以支持根因调查和纠正行动。Galileo 列出的部署选项包括 SaaS、虚拟私有云和本地部署环境。
Galileo 能做什么？
预构建和自定义评估
从适用于 RAG、智能体、安全和安保的 20 多项评估开始，然后创建自定义评估器，以编码特定领域的要求。
生产信号检测
Galileo Signals 分析生产追踪数据，发现未知故障模式，包括安全漏洞、策略漂移和级联故障等问题，无需团队先搜索某个问题。
智能体行为分析
Insights 引擎检查智能体行为及相关执行数据，包括追踪数据、提示词、函数、上下文、数据集和信号，以识别故障模式并支持调试。
从评估到防护措施的工作流
经过优化的评估可以提炼为 Luna 模型，用于低延迟生产监控；同时，评估分数可以通过防护策略控制智能体操作、工具访问权限和升级路径。
使用场景
“在发布前验证 RAG 和智能体应用”
开发团队可以组建数据集、添加专家标注，并在部署应用前运行面向 RAG 或智能体的评估。
“调查生产环境中的故障”
AI 工程师可以使用 Signals 检测生产追踪数据中的模式，并使用 Insights 分析可能的原因，而不只是依赖人工搜索日志。
“监控安全与安保行为”
团队可以应用安全和安保评估，在实时 AI 交互中识别有害行为、数据泄露或策略漂移等问题。
“治理多步骤智能体执行”
运营智能体的团队可以使用评估分数定义工具访问权限、智能体操作和升级路径的控制措施，作为生产治理的一部分。
常见问题
Galileo 监控哪些内容？
Galileo 通过评估、生产追踪数据和智能体执行数据监控大语言模型及智能体系统。该网站介绍的覆盖范围包括 RAG、智能体、安全、安保、提示词、函数、上下文、数据集及相关信号。
Galileo 能检测现有评估未覆盖的问题吗？
Galileo Signals 旨在从生产追踪数据中发现未知故障模式，包括团队可能不知道该搜索，或尚未将其编码为评估的问题模式。识别出的信号可用于生成 LLM 评判器。
Galileo 如何将评估与生产防护措施连接起来？
Galileo 描述了一种工作流：将经过优化的评估提炼为 Luna 模型，用于生产监控。随后，评估分数可以用于防护策略，以控制智能体操作、工具访问权限和升级路径。
Galileo 如何部署？
该网站列出了三种部署选项：SaaS、虚拟私有云和本地部署。适合的选项取决于团队的部署方式和企业要求。
Galileo 有免费方案吗？
有。定价页面列出的免费方案为每月 0 美元，包含每月 5,000 条追踪数据、无限用户和不限量自定义评估。页面还列出了 Pro 方案和定制 Enterprise 方案。
快速信息
- 类别
- AI 可观测性与评估平台
- 主要用户
- 开发者、AI 工程师、数据科学家，以及运营大语言模型或智能体应用的团队
- 评估覆盖范围
- RAG、智能体、安全、安保和自定义评估
- 部署选项
- SaaS、虚拟私有云和本地部署
- 免费方案
- 每月 0 美元；每月 5,000 条追踪数据、无限用户和不限量自定义评估
- 生产工作流
- 离线评估可以连接到监控和防护策略