CPU 推論
在 CPU 上執行模型,並讓推論依機器可用的執行緒自動調整。首頁也列出 q4、5.1、8 與 f16 的 GGML 量化支援。
Local AI Playground 是一款原生桌面應用程式,可零技術設定在本機執行與管理 AI 模型。支援離線、免 GPU 推論,並提供模型管理與摘要驗證工具。
Local AI Playground 是一款原生桌面應用程式,用於在本機試用 AI 模型。它著重於本機 AI 管理、驗證與推論,並以將流程簡化到使用者可零技術設定即可開始為目標。
首頁說明此應用程式支援離線使用,且不需要 GPU。網站也將此產品呈現為免費且開源,並提供 Mac、Windows 與 Linux 的下載。
在 CPU 上執行模型,並讓推論依機器可用的執行緒自動調整。首頁也列出 q4、5.1、8 與 f16 的 GGML 量化支援。
將模型集中管理,並讓應用程式指向任何目錄。網站強調可續傳、並行下載、依使用率排序,以及與目錄無關的模型管理。
使用基於 BLAKE3 與 SHA256 的摘要工具檢查已下載的模型。首頁也提到已知良好的模型 API、授權與使用標籤,以及 BLAKE3 快速檢查。
載入模型後,只需兩次點擊即可啟動本機串流伺服器。介面包含快速推論 UI、推論參數,並支援寫入 .mdx。
使用具 Rust 後端的精簡原生應用程式。首頁表示它記憶體效率高,且在 Mac M2、Windows 與 Linux .deb 建置上小於 10MB。
當你想要離線執行與私密處理,而不是將資料送往遠端服務時,可在本機電腦上試用 AI 模型。
即使下載的模型分散在不同目錄中,也能將其集中整理,並依使用率排序,以更快找到正在使用的模型。
在使用前,透過 BLAKE3 或 SHA256 檢查與應用程式的模型中繼資料工具,驗證已下載模型是否符合預期摘要。
載入模型後啟動本機串流伺服器,讓其他 AI 應用程式可透過本機推論端點使用該模型。
使用快速推論 UI 載入模型並進行測試,而不必設定獨立的服務或工作流程。
它是一款原生應用程式,用於在本機零技術設定下試用 AI 模型。首頁說明它旨在讓本機 AI 管理、驗證與推論更簡單,並且可在兩次點擊內開始本機推論工作階段。
首頁說明此應用程式支援 CPU 推論,並會依可用執行緒自動調整。它也列出了 GGML 量化選項,包括 q4、5.1、8 與 f16。
來源顯示支援 Mac、Windows 與 Linux,並可透過首頁上所示的 MSI、EXE、M1/M2、Intel、AppImage 與 .deb 下載。
網站說明在載入模型後,可在兩次點擊內啟動本機串流伺服器。它也提到快速推論 UI 與寫入 .mdx。
首頁將此應用程式描述為免費且開源。