Lunary

什么是 Lunary？

Lunary 是面向大语言模型应用的可观测性与提示词管理平台，旨在帮助团队监控、改进并保障 AI 聊天机器人及其他 LLM 工作流的安全，助力这些应用从开发阶段迈向生产环境。

Lunary 将日志、追踪记录、提示词模板、人工审核、分析和防护机制整合在一个平台中。该产品还强调自托管选项、企业级控制以及基于 SDK 的集成，让团队能够添加监控，而无需将 Lunary 直接置于请求链路中。

Lunary 能做什么？

LLM 可观测性

跟踪提示词、追踪记录、错误、运行记录及相关元数据，帮助团队检查 LLM 应用在生产环境中的运行情况。

提示词管理

创建提示词模板，与团队成员协作，并通过版本控制和 A/B 测试迭代提示词变更。

评估与反馈工作流

审核响应、标记数据，并将日志导出为 JSONL，用于后续微调工作流。

分析与探索

通过分析功能和自定义仪表板搜索、筛选并分析使用情况、成本、主题和满意度。

安全与访问控制

屏蔽个人信息、管理角色和访问权限，并支持 SSO/SAML，以实现受控的数据访问。

集成选项

通过 SDK、HTTP API 以及 OpenAI、LangChain、LiteLLM、Flowise 等工具的集成进行连接。

使用场景

“生产环境调试”

使用 Lunary 检查生产环境中的 LLM 流量、审核追踪记录和错误，并了解真实用户如何与聊天机器人或智能体互动。

“提示词迭代”

创建模板、比较提示词版本，并在迭代系统提示词或聊天流程时运行 A/B 测试。

“评估与数据准备”

在准备模型微调或分析数据集时，标记日志、审核响应，并将数据导出为 JSONL。

“以安全为重点的部署”

处理敏感用户数据或合规敏感型工作负载时，应用个人身份信息（PII）屏蔽、访问控制和自托管。

“团队协作”

共享项目、邀请团队成员，并利用人工审核和仪表板，协调技术及非技术协作者之间的反馈。

常见问题

Lunary 是什么？

Lunary 是一个用于监控、改进和保障 AI 聊天机器人安全的平台。其常见问题说明显示，该平台涵盖可观测性、提示词管理、评估和 LLM 防护机制。

什么算作一个事件或一次运行？

根据常见问题说明，一次运行可以是 llm、trace、chain、embedding 或 chat 等类型。对于 LLM，一次运行通常是对推理 API 发起的一次 API 调用，或线程中的一条聊天消息。

Lunary 会降低 LLM 调用速度吗？

不会。常见问题说明称，Lunary SDK 以异步方式运行，而不是位于代码与推理 API 之间，因此不应影响请求延迟。

数据会保留多长时间？

常见问题说明称，免费版数据可使用 30 天，付费版数据会无限期保留，自托管数据也会无限期保留在你自己的环境中。

自托管免费吗？

是的。常见问题说明称，你可以通过 Community Edition 免费进行自托管；Enterprise Edition 支持 Docker、Kubernetes 等更多功能，并且是付费版本。