分散式訓練協調
在不需要單一集中式叢集的情況下,協調跨越閒置、分散式硬體的大型語言模型訓練。
NOUS RESEARCH 是專注於開源語言模型與去中心化訓練基礎架構的 AI 研究公司。Psyche 專案協調分散式訓練,並提供即時訓練進度供貢獻者查看。
NOUS RESEARCH 是一家 AI 研究公司,專注於開源語言模型與訓練它們所需的基礎架構。首頁指出,公司訓練世界級的開源模型,並打造用於協調式、分散式且無偏訓練的系統。
Psyche 專案在網站上有詳細說明,是去中心化 AI 開發的開放式基礎架構層。它旨在將訓練分散到閒置率較高的硬體上,透過 DeMo 與 DisTrO 等以壓縮為主的方法降低資料傳輸成本,並透過 Solana 區塊鏈協調整個網路。
從實務角度來看,這使 Nous Research 與關注開放模型訓練、分散式運算參與,以及高效率大規模訓練系統研究的團隊與貢獻者相關。公開網站也提到其他相關工作,包括 Hermes 模型、Atropos,以及涵蓋模型、論文與模擬器的各項發佈。
在不需要單一集中式叢集的情況下,協調跨越閒置、分散式硬體的大型語言模型訓練。
運用 Decoupled Momentum Optimization 與 DisTrO 的概念,減少訓練期間節點之間傳送的資料量。
依賴 Solana 區塊鏈進行協調,來源將此設計描述為具容錯性且可抗審查。
提供即時訓練進度與即時統計,讓貢獻者可以檢視訓練進度與運作中的模型。
支援分階段路線圖,先從有權限控制的測試網開始,並逐步邁向更廣泛的去中心化。
在後續階段中,將網路定位為可支援強化學習與推理模型能力。
想研究或建立在去中心化訓練之上的研究人員,可以將 Psyche 作為參考,了解閒置硬體、以壓縮為主的通訊,以及網路協調如何彼此配合。
擁有閒置或地理上分散加速器的組織,可以將算力貢獻到共享訓練網路,而不只是運行集中式基礎架構。
對開源語言模型有興趣的模型開發者,可以追蹤 Nous Research 的發佈,掌握訓練工作、新模型、論文與基礎架構變更。
探索後期能力(例如強化學習或推理模型)的團隊,可以利用公開路線圖了解網路未來的發展方向。
Nous Research 將 Psyche 描述為用於去中心化 AI 開發的開放基礎架構。該頁面指出,它協調跨分散式、異質硬體的訓練,並旨在讓參與大型語言模型訓練變得更容易。
該頁面表示,Psyche ابتدا 於受權限控制的測試網,並正朝向完全去中心化的環境發展。頁面也提到其路線圖包含可近用的推理,以及強化學習和推理模型等進階能力。
來源未列出託管式定價模式或使用分級。`/pricing` 頁面回傳 404,因此無法從目前可用的網站內容確認任何定價資訊。
該頁面邀請使用者查看即時訓練進度並為 Psyche Network 提供算力,這表示其工作流程以共享硬體來進行分散式訓練為核心。