開源且可擴充
Captum 是一套用於模型可解釋性研究的開源 library，因此團隊可以將它調整為符合自身的 attribution 與解釋工作流程。
Captum
認領Captum 是一套基於 PyTorch 的開源模型可解釋性 library，協助開發者與研究人員解釋模型預測、檢視內部元件，並比較視覺、文字、多模態等工作流程的 attribution 方法。
Captum 的用途
Captum 是一套基於 PyTorch 的開源模型可解釋性 library。它旨在協助使用者理解哪些 feature、layer、neuron 或其他模型元件會對模型輸出產生貢獻。
此專案將自己定位為一個工具，供研究人員、模型開發者與應用工程師用來解釋預測、排查非預期行為，並在多種基於 PyTorch 的模型上比較可解釋性演算法。
網站文件與教學顯示，Captum 可用於視覺、文字、多模態、問答、迴歸、推薦、分割與語言模型工作流程，範例則以 Integrated Gradients 及相關技術等 attribution 方法為核心。
主要功能
支援多模態
網站強調其支援多種模態的模型解釋，包括視覺、文字與多模態輸入。
PyTorch 原生工作流程
Captum 建構於 PyTorch 之上，並設計為可在大多數 PyTorch 模型類型上運作，且對原始網路只需極少修改。
多種可解釋性演算法
教學內容展示了多種 attribution 方法，例如 Integrated Gradients、DeepLIFT、GradientShap、Occlusion、LRP、GradCAM、TCAV 和 LIME。
層級與神經元層級分析
文件顯示，它不僅可用於最終輸出，也可用於 layer、neuron、embedding 與 attention 元件的分析。
分散式 attribution 範例
教學集包含使用 `torch.distributed` 與 `DataParallel` 進行分散式執行的範例。
常見使用案例
預測的 feature attribution
當你想知道哪些輸入對特定輸出最重要時，使用 Captum 將模型預測歸因回輸入特徵。
跨模態解釋模型
當你需要針對所處理的模態建立解釋工作流程時，將 Captum 套用於視覺、文字或多模態模型。
內部模型分析
當問題在於模型如何在內部做出決策時，使用這個 library 檢視 layer、neuron、embedding 與 attention pattern。
生產環境中的除錯與說明
將 Captum 用於生產環境中訓練過的模型，以排查非預期輸出，並以更易理解的方式協助向終端使用者說明結果。
可解釋性研究與 benchmarking
以教學範例作為起點，將新的可解釋性想法與 library 中既有的演算法進行 benchmarking。
Pros and Cons
Pros
- 開源且專為 PyTorch 上的可解釋性而打造。
- 支援多種模態，包括視覺、文字與多模態模型。
- 提供多種 attribution 與解釋方法，而非單一演算法。
- 包含超越輸出 attribution 的範例，涵蓋 layer、neuron、embedding 與 attention。
- 提供實作工作流程與不同模型類型的教學。
Cons
- 公開網站未提供價格細節，而且價格頁目前會導向 404。
- 教學假設使用者熟悉 PyTorch，因此新手可能需要先具備基本的 PyTorch 知識才能跟上。
FAQ
Captum 用於什麼？
Captum 是一套基於 PyTorch 的開源模型可解釋性 library，提供 attribution 方法與相關工作流程，用於理解哪些輸入或內部元件對模型輸出有貢獻。
Captum 可以幫助解釋哪些類型的模型？
來源內容顯示，Captum 可用於視覺、文字、多模態模型、問答、語意分割、迴歸、推薦系統，以及 LLM attribution。
Captum 適合誰使用？
介紹頁指出，Captum 主要面向模型開發者、可解釋性研究人員，以及在生產環境中使用已訓練模型的應用工程師。
要如何開始使用 Captum？
首頁顯示可透過 `conda install captum -c pytorch` 或 `pip install captum` 安裝，而教學內容預設使用者具備 PyTorch 基礎。
Captum 有列出價格嗎？
公開網站未顯示價格資訊，而且價格網址目前會回傳 GitHub Pages 的 404 頁面。
Quick Facts
- 類別
- 開發者工具
- 平台
- PyTorch
- 主要使用者
- 模型開發者、可解釋性研究人員、應用工程師
- 來源網域
- captum.ai
- 授權／狀態
- 開源
- 價格
- 公開網站未列出