# Promptfoo Promptfoo 是一个用于评估大语言模型应用、智能体、模型及工作流的 AI 安全与测试平台，帮助开发者和安全团队发现漏洞、验证防护措施并跟踪修复。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 测试助手, 大语言模型评测 ## 什么是 Promptfoo？ Promptfoo 是一个用于评估大语言模型应用、智能体、模型及相关工作流的 AI 安全与测试平台。其核心工作流是连接应用，生成结合上下文的攻击与评估，并返回漏洞发现结果及修复指导。测试可用于开发期间、CI/CD 流水线中，或作为持续监控的一部分。 该平台结合了应用红队测试、防护措施验证、模型文件筛查、行为测试和合规映射。它面向需要在部署前后评估 AI 系统的开发者和安全团队，而不是仅依赖静态提示词或模型测试。 ## Promptfoo 能做什么？ ### 针对应用的红队测试 生成针对特定应用的动态攻击，而不只是依赖静态越狱测试。覆盖 50 多种漏洞类型，包括提示词注入、RAG 文档窃取、个人身份信息泄露、未授权数据访问以及工具或函数发现。 ### 漏洞报告与修复指导 在测试后返回详细发现结果，并提供可执行的修复步骤。企业工作流可以在拉取请求中展示安全发现结果，跨团队跟踪修复进度，并维护可搜索的扫描历史记录。 ### 自适应防护措施验证 独立测试现有防护系统，并利用红队攻击数据持续改进防御能力。防护措施可通过最少的代码更改部署在云端或本地环境中，并支持主要的 LLM 提供商和自定义模型。 ### 模型文件与行为安全测试 筛查模型文件中的恶意代码、后门、可疑操作和风险配置，列出的支持格式包括 PyTorch、TensorFlow、Keras、Pickle 以及 JSON/YAML。同时针对越狱、注入和其他现实攻击场景测试基础模型与微调模型。 ### 合规与持续监控 将发现结果映射到 OWASP、NIST、《欧盟人工智能法案》、MITRE ATLAS 或自定义政策。CI/CD 集成、定期测试、实时警报和自动化评估有助于持续了解应用的安全状况。 ## 使用场景 ### 在发布前测试 AI 应用 开发和安全团队可以连接应用、智能体或工作流，并针对其业务逻辑、RAG 设置、集成和工具运行结合上下文的攻击。生成的发现结果可帮助团队在部署前处理漏洞。 ### 将安全测试加入 CI/CD 团队可以在开发流水线中运行评估，并利用拉取请求中的发现结果和修复指导，将安全变更与代码一起审查。定期或持续测试可以在应用演进过程中维护风险时间线。 ### 验证现有防护系统 已经使用防护产品的组织可以将 Promptfoo 的红队测试能力作为独立验证层。攻击结果可揭示防御缺口，并为改进针对新兴威胁的防御措施提供数据。 ### 筛查和比较 AI 模型 模型团队可以在部署前检查模型文件，测试模型抵御注入和越狱的行为韧性，并在为 AI 流水线选择基础模型或微调模型之前比较其安全性。 ### 记录安全与合规状况 安全与合规团队可以将评估结果映射到 OWASP、NIST、《欧盟人工智能法案》、MITRE ATLAS 或组织特定政策，然后使用报告和集中式仪表板进行审查与跟踪。 ## 常见问题 ### Promptfoo 测试哪些内容？ Promptfoo 会测试 AI 应用、智能体、工作流和模型，以发现包括提示词注入、越狱、RAG 文档窃取、系统提示词覆盖、恶意资源获取、个人身份信息泄露、有害内容生成、未授权数据访问以及工具或函数发现等漏洞。该网站还介绍了模型文件安全扫描和行为测试。 ### 典型的红队评估如何进行？ 文档所述流程是描述或连接应用，让 Promptfoo 生成针对该应用的攻击，查看详细的漏洞报告，并应用建议的修复措施。测试可以集成到 CI/CD 中，也可以按计划运行。 ### Promptfoo 能验证其他提供商的防护措施吗？ 可以。Promptfoo 将第三方防护验证描述为独立的测试层。其红队测试能力可以测试现有防护系统，并利用观察到的攻击数据帮助改进防御措施。 ### 有哪些部署和方案选项？ 开源 Community 版本支持本地测试和自托管，并包含核心评估功能、集成和漏洞扫描。Enterprise 增加了协作、监控、仪表板、SSO、权限、API 访问以及托管云或本地部署选项。Enterprise 和 Enterprise On-Premise 的价格需定制。 ### Community 红队测试有数量限制吗？ Community 方案每月最多包含 10,000 次红队探测。定价页面说明，部分插件需要推理来生成和评分动态测试；Enterprise 客户可以购买额外探测次数，以支持更大规模的测试。 ## 快速信息 - **产品类型**: AI 安全与测试平台 - **主要用户**: AI 开发者、安全团队和模型团队 - **核心工作流**: 连接、攻击、查看发现结果并修复 - **安全覆盖范围**: 50 多种 AI 漏洞类型 - **部署方式**: 根据方案不同，可选择本地部署、自托管、托管云或本地部署 - **Community 方案**: 开源且免费，每月最多 10,000 次红队探测