Inkling

什麼是 Inkling？

Inkling 是 Thinking Machines Lab 的開放權重多模態模型。它被定位為通用基礎模型，可接受文字、圖片與音訊輸入並產生文字輸出，支援英文、其他語言與多種程式語言。

模型卡將 Inkling 描述為一個 66 層、僅解碼器的 Transformer，採用稀疏 Mixture-of-Experts 路由，總參數為 975B、啟用參數為 41B，且上下文視窗最高可達 1M tokens。Thinking Machines 將其定位為可自訂的基礎模型，供開發者建立對話系統、代理式工作流程、程式設計工具與檢索增強應用。

Inkling 以 Apache 2.0 授權的開放權重形式發佈，可透過 Hugging Face 取得，並可在 Tinker 上微調。發佈材料也提到同系列中較輕量的 Inkling-Small 作為預覽版本，但來源頁面強調 Inkling 才是主要發布。

Inkling 能做什麼？

支援多模態輸入

Inkling 是一個多模態自回歸 Transformer，可接受文字、圖片與音訊，並產生文字輸出。模型卡說明它適用於英文及其他語言，以及多種程式語言。

稀疏 MoE 架構

此模型採用稀疏 Mixture-of-Experts 架構，總參數為 975B，啟用參數為 41B。根據模型卡，每個 token 會路由到 256 個專家中的 6 個，以及 2 個共享專家。

長上下文處理

Inkling 支援最多 1M tokens 的上下文視窗，適合長篇文件與長對話工作流程。

可控的推理投入

發佈文章指出，Inkling 透過可控的思考投入在成本與效能之間取得平衡。這使它成為一個可依任務不同而採用不同推理投入程度的基礎模型。

透過 Tinker 進行微調

Inkling 可在 Tinker 上進行微調，而 Tinker 的產品頁將訓練說明為四個函式：forward_backward、optim_step、sample 和 save_state。

多種存取方式

模型卡說明權重可透過 Hugging Face 取得，模型也可經由 Tinker 與第三方推理供應商存取。

使用情境

“多模態助理”

開發者可以建立聊天機器人或助理型產品，讓它們不僅能回應文字提示，也能在同一對話中理解圖片或音訊。

“開發者應用”

從事程式碼副駕駛、工具使用型代理，或檢索增強系統的團隊，可以將 Inkling 作為通用基礎模型，用於後續調整與整合。

“模型自訂”

研究人員與產品團隊可以在 Tinker 上微調開放權重，以將模型調整為特定行為或工作流程，例如自訂回應風格或特定領域任務。

“長上下文工作流程”

需要處理長文件、冗長對話，或跨多輪延伸上下文的應用程式，可以利用此模型 1M-token 的上下文視窗。

“部署規劃”

評估開放權重部署選項的組織，可以利用模型卡中的 checkpoint 與硬體指引，在自有系統或支援的供應商上規劃推理。

常見問題

Inkling 是如何發佈與提供的？

Inkling 以開放權重模型形式提供，權重可透過 Hugging Face 取得，模型也可經由 Tinker 與第三方推理供應商存取。公告與模型卡指出，其定位是供下游開發者使用，而非面向一般消費者的聊天應用程式。

Inkling 可以接受哪些輸入，並輸出什麼？

模型卡說明，Inkling 可接受文字、圖片與音訊輸入，並產生文字輸出。它的設計用途涵蓋通用對話、指令遵循、程式碼、代理式工作流程，以及檢索增強生成系統。

Inkling 的微調如何運作？

Tinker 是用來微調 Inkling 的訓練 API。模型卡指出 Inkling 可在 Tinker 上進行微調，而發佈文章則描述了如何使用 Tinker 撰寫、執行並評估自我微調工作，再更新目前啟用的權重。

Inkling 的核心模型特性是什麼？

模型卡將 Inkling 描述為一個 66 層、僅解碼器的 Transformer，採用稀疏 Mixture-of-Experts 路由。它共有 975B 總參數、41B 啟用參數，並支援最多 1M tokens 的上下文視窗。

Inkling 或 Tinker 有公開的定價資訊嗎？

來源資料未提供定價資訊。定價網址目前回傳 404 找不到頁面。