# Galileo Galileo 是一个用于测试、调试和治理大语言模型及智能体系统的 AI 可观测性与评估平台，覆盖开发和生产环境，帮助团队将评估结果转化为生产防护措施，并规模化监控 AI 行为。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 可观测性, AI 测试助手, 大语言模型评测 ## 什么是 Galileo？ Galileo 是一个面向构建大语言模型应用和 AI 智能体团队的 AI 可观测性与评估平台。它支持从数据集创建和领域专家标注，到离线测试、生产监控、故障分析及防护措施部署的完整评估生命周期。Galileo 的定位是帮助团队识别并解决幻觉、策略漂移、安全漏洞和智能体故障等问题，避免这些问题在大规模影响用户之前造成影响。 该平台将评估与可观测性结合起来，而不是将二者视为彼此独立的工作流。团队可以从合成数据、开发数据和实时生产数据中创建真实标签数据集，运行预构建或自定义评估，检查智能体行为，并利用评估结果定义生产控制措施。Galileo 表示，Luna 模型可用于在生产流量中运行经过优化的评估，从而降低延迟和成本。 Galileo Signals 会分析生产追踪数据，以发现现有评估或人工搜索可能未覆盖的故障模式。其 Insights 引擎进一步分析智能体行为及相关执行数据，以支持根因调查和纠正行动。Galileo 列出的部署选项包括 SaaS、虚拟私有云和本地部署环境。 ## Galileo 能做什么？ ### 真实标签数据集创建 从合成数据、开发数据和实时生产数据中构建数据集，并添加领域专家标注，使评估标准能够反映目标环境。 ### 预构建和自定义评估 从适用于 RAG、智能体、安全和安保的 20 多项评估开始，然后创建自定义评估器，以编码特定领域的要求。 ### 生产信号检测 Galileo Signals 分析生产追踪数据，发现未知故障模式，包括安全漏洞、策略漂移和级联故障等问题，无需团队先搜索某个问题。 ### 智能体行为分析 Insights 引擎检查智能体行为及相关执行数据，包括追踪数据、提示词、函数、上下文、数据集和信号，以识别故障模式并支持调试。 ### 从评估到防护措施的工作流 经过优化的评估可以提炼为 Luna 模型，用于低延迟生产监控；同时，评估分数可以通过防护策略控制智能体操作、工具访问权限和升级路径。 ## 使用场景 ### 在发布前验证 RAG 和智能体应用 开发团队可以组建数据集、添加专家标注，并在部署应用前运行面向 RAG 或智能体的评估。 ### 调查生产环境中的故障 AI 工程师可以使用 Signals 检测生产追踪数据中的模式，并使用 Insights 分析可能的原因，而不只是依赖人工搜索日志。 ### 监控安全与安保行为 团队可以应用安全和安保评估，在实时 AI 交互中识别有害行为、数据泄露或策略漂移等问题。 ### 治理多步骤智能体执行 运营智能体的团队可以使用评估分数定义工具访问权限、智能体操作和升级路径的控制措施，作为生产治理的一部分。 ## 常见问题 ### Galileo 监控哪些内容？ Galileo 通过评估、生产追踪数据和智能体执行数据监控大语言模型及智能体系统。该网站介绍的覆盖范围包括 RAG、智能体、安全、安保、提示词、函数、上下文、数据集及相关信号。 ### Galileo 能检测现有评估未覆盖的问题吗？ Galileo Signals 旨在从生产追踪数据中发现未知故障模式，包括团队可能不知道该搜索，或尚未将其编码为评估的问题模式。识别出的信号可用于生成 LLM 评判器。 ### Galileo 如何将评估与生产防护措施连接起来？ Galileo 描述了一种工作流：将经过优化的评估提炼为 Luna 模型，用于生产监控。随后，评估分数可以用于防护策略，以控制智能体操作、工具访问权限和升级路径。 ### Galileo 如何部署？ 该网站列出了三种部署选项：SaaS、虚拟私有云和本地部署。适合的选项取决于团队的部署方式和企业要求。 ### Galileo 有免费方案吗？ 有。定价页面列出的免费方案为每月 0 美元，包含每月 5,000 条追踪数据、无限用户和不限量自定义评估。页面还列出了 Pro 方案和定制 Enterprise 方案。 ## 快速信息 - **类别**: AI 可观测性与评估平台 - **主要用户**: 开发者、AI 工程师、数据科学家，以及运营大语言模型或智能体应用的团队 - **评估覆盖范围**: RAG、智能体、安全、安保和自定义评估 - **部署选项**: SaaS、虚拟私有云和本地部署 - **免费方案**: 每月 0 美元；每月 5,000 条追踪数据、无限用户和不限量自定义评估 - **生产工作流**: 离线评估可以连接到监控和防护策略