开源且可扩展
Captum 是专为 PyTorch 上的可解释性研究打造的开源库，因此团队可以将其调整到自己的归因与解释工作流中。
Captum 的作用
Captum 是基于 PyTorch 构建的开源模型可解释性库。它旨在帮助用户理解哪些特征、层、神经元或其他模型组件对模型输出有贡献。
该项目将自己定位为面向研究者、模型开发者和应用工程师的工具，用于解释预测、排查异常行为，并在一系列基于 PyTorch 的模型上评估可解释性算法。
网站文档和教程显示，Captum 可用于视觉、文本、多模态、问答、回归、推荐、分割和语言模型工作流，示例主要围绕 Integrated Gradients 及相关技术等归因方法展开。
主要功能
支持多模态
网站强调支持对包括视觉、文本和多模态输入在内的多种模态模型进行解释。
PyTorch 原生工作流
Captum 基于 PyTorch 构建，旨在以最少对原始网络的修改适配大多数 PyTorch 模型类型。
多种可解释性算法
教程展示了多种归因方法，例如 Integrated Gradients、DeepLIFT、GradientShap、Occlusion、LRP、GradCAM、TCAV 和 LIME。
层级与神经元级分析
文档显示它不仅可用于最终输出，还可用于层、神经元、嵌入和注意力组件的分析。
分布式归因示例
教程集合包含使用 `torch.distributed` 和 `DataParallel` 进行分布式执行的示例。
常见用例
为预测进行特征归因
当你想查看某个特定输出中哪些输入最重要时，可使用 Captum 将模型预测归因回输入特征。
跨模态解释模型
当你需要针对所处理模态定制解释工作流时，可将 Captum 应用于视觉、文本或多模态模型。
内部模型分析
当问题在于模型内部如何做决策时，可使用该库检查层、神经元、嵌入和注意力模式。
生产中的调试与解释
可在生产训练好的模型上使用 Captum，以排查意外输出，并帮助以更易理解的方式向终端用户解释结果。
可解释性研究与基准测试
可将教程示例作为起点，把新的可解释性思路与库中的现有算法进行基准比较。
Pros and Cons
Pros
- 开源，且专为 PyTorch 上的可解释性而构建。
- 支持多种模态，包括视觉、文本和多模态模型。
- 提供多种归因与解释方法，而不只是单一算法。
- 包含超越输出归因的示例，覆盖层、神经元、嵌入和注意力。
- 提供面向实际工作流和不同模型类型的教程。
Cons
- 公开网站未提供定价详情，而且定价页面当前会跳转到 404。
- 教程默认用户熟悉 PyTorch，因此新用户在跟随之前可能需要先具备基础的 PyTorch 知识。
FAQ
Captum 是用来做什么的？
Captum 是基于 PyTorch 的开源模型可解释性库。它提供归因方法和相关工作流，用于理解哪些输入或内部组件对模型输出有贡献。
Captum 可以帮助解释哪些类型的模型？
来源内容强调 Captum 可用于视觉、文本、多模态模型、问答、语义分割、回归、推荐系统以及 LLM 归因。
Captum 适合哪些人使用？
介绍页面说明 Captum 面向模型开发者、可解释性研究者，以及在生产中使用训练后模型的应用工程师。
如何开始使用 Captum？
主页显示可通过 `conda install captum -c pytorch` 或 `pip install captum` 安装，且教程默认用户熟悉 PyTorch。
Captum 有列出价格吗？
公开网站未展示定价信息，而且定价 URL 当前返回 GitHub Pages 的 404 页面。
Quick Facts
- 类别
- 开发者工具
- 平台
- PyTorch
- 主要用户
- 模型开发者、可解释性研究者、应用工程师
- 来源域名
- captum.ai
- 许可/状态
- 开源
- 定价
- 公开网站未列出