Promptfoo

Freemium

Promptfoo 是一个用于评估大语言模型应用、智能体、模型及工作流的 AI 安全与测试平台，帮助开发者和安全团队发现漏洞、验证防护措施并跟踪修复。

什么是 Promptfoo？

Promptfoo 是一个用于评估大语言模型应用、智能体、模型及相关工作流的 AI 安全与测试平台。其核心工作流是连接应用，生成结合上下文的攻击与评估，并返回漏洞发现结果及修复指导。测试可用于开发期间、CI/CD 流水线中，或作为持续监控的一部分。

该平台结合了应用红队测试、防护措施验证、模型文件筛查、行为测试和合规映射。它面向需要在部署前后评估 AI 系统的开发者和安全团队，而不是仅依赖静态提示词或模型测试。

生成针对特定应用的动态攻击，而不只是依赖静态越狱测试。覆盖 50 多种漏洞类型，包括提示词注入、RAG 文档窃取、个人身份信息泄露、未授权数据访问以及工具或函数发现。

在测试后返回详细发现结果，并提供可执行的修复步骤。企业工作流可以在拉取请求中展示安全发现结果，跨团队跟踪修复进度，并维护可搜索的扫描历史记录。

独立测试现有防护系统，并利用红队攻击数据持续改进防御能力。防护措施可通过最少的代码更改部署在云端或本地环境中，并支持主要的 LLM 提供商和自定义模型。

筛查模型文件中的恶意代码、后门、可疑操作和风险配置，列出的支持格式包括 PyTorch、TensorFlow、Keras、Pickle 以及 JSON/YAML。同时针对越狱、注入和其他现实攻击场景测试基础模型与微调模型。

将发现结果映射到 OWASP、NIST、《欧盟人工智能法案》、MITRE ATLAS 或自定义政策。CI/CD 集成、定期测试、实时警报和自动化评估有助于持续了解应用的安全状况。

开发和安全团队可以连接应用、智能体或工作流，并针对其业务逻辑、RAG 设置、集成和工具运行结合上下文的攻击。生成的发现结果可帮助团队在部署前处理漏洞。

团队可以在开发流水线中运行评估，并利用拉取请求中的发现结果和修复指导，将安全变更与代码一起审查。定期或持续测试可以在应用演进过程中维护风险时间线。

已经使用防护产品的组织可以将 Promptfoo 的红队测试能力作为独立验证层。攻击结果可揭示防御缺口，并为改进针对新兴威胁的防御措施提供数据。

模型团队可以在部署前检查模型文件，测试模型抵御注入和越狱的行为韧性，并在为 AI 流水线选择基础模型或微调模型之前比较其安全性。

安全与合规团队可以将评估结果映射到 OWASP、NIST、《欧盟人工智能法案》、MITRE ATLAS 或组织特定政策，然后使用报告和集中式仪表板进行审查与跟踪。

Promptfoo 测试哪些内容？

Promptfoo 会测试 AI 应用、智能体、工作流和模型，以发现包括提示词注入、越狱、RAG 文档窃取、系统提示词覆盖、恶意资源获取、个人身份信息泄露、有害内容生成、未授权数据访问以及工具或函数发现等漏洞。该网站还介绍了模型文件安全扫描和行为测试。

典型的红队评估如何进行？

文档所述流程是描述或连接应用，让 Promptfoo 生成针对该应用的攻击，查看详细的漏洞报告，并应用建议的修复措施。测试可以集成到 CI/CD 中，也可以按计划运行。

Promptfoo 能验证其他提供商的防护措施吗？

可以。Promptfoo 将第三方防护验证描述为独立的测试层。其红队测试能力可以测试现有防护系统，并利用观察到的攻击数据帮助改进防御措施。

有哪些部署和方案选项？

开源 Community 版本支持本地测试和自托管，并包含核心评估功能、集成和漏洞扫描。Enterprise 增加了协作、监控、仪表板、SSO、权限、API 访问以及托管云或本地部署选项。Enterprise 和 Enterprise On-Premise 的价格需定制。

Community 红队测试有数量限制吗？

Community 方案每月最多包含 10,000 次红队探测。定价页面说明，部分插件需要推理来生成和评分动态测试；Enterprise 客户可以购买额外探测次数，以支持更大规模的测试。