多模态输入支持
Inkling 是一个多模态自回归 Transformer,支持文本、图像和音频输入,同时生成文本输出。模型卡称其面向英语及其他语言,也支持多种代码语言。
Inkling 是 Thinking Machines Lab 的开源权重多模态基础模型,支持文本、图像和音频输入,生成文本输出,并可在 Tinker 上微调用于下游应用。
Inkling 是 Thinking Machines Lab 的开源权重多模态模型。它被定位为通用基础模型,支持文本、图像和音频输入,并生成文本输出,同时支持英语、其他语言以及多种编程语言。
模型卡将 Inkling 描述为一款 66 层、仅解码器的 Transformer,采用稀疏 Mixture-of-Experts 路由,拥有 975B 个总参数、41B 个激活参数,以及最多 1M tokens 的上下文窗口。Thinking Machines 将其定位为面向开发者的可定制基础模型,可用于构建对话系统、智能体工作流、编码工具和检索增强应用。
Inkling 以 Apache 2.0 许可证下的开源权重形式发布,可通过 Hugging Face 获取,并可在 Tinker 上微调。发布材料还提到同系列中更轻量的 Inkling-Small 预览版,但源页面重点强调的是 Inkling 这一主发布版本。
Inkling 是一个多模态自回归 Transformer,支持文本、图像和音频输入,同时生成文本输出。模型卡称其面向英语及其他语言,也支持多种代码语言。
该模型采用稀疏 Mixture-of-Experts 架构,总参数量为 975B,激活参数为 41B。根据模型卡,每个 token 会路由到 256 个专家中的 6 个,再加 2 个共享专家。
Inkling 支持最多 1M tokens 的上下文窗口,使其适合长文档和长对话工作流。
发布文章称,Inkling 通过可控的思考开销在成本与性能之间取得平衡。这使它成为一款可根据任务采用不同推理强度的基础模型。
Inkling 可在 Tinker 上进行微调,而 Tinker 产品页将训练描述为四个函数:forward_backward、optim_step、sample 和 save_state。
模型卡称权重可通过 Hugging Face 获取,同时模型也可通过 Tinker 和第三方推理提供商访问。
开发者可以构建聊天机器人或助手类产品,这类产品需要同时响应文本提示,并在同一会话中解读图像或音频。
从事代码副驾、工具使用型智能体或检索增强系统的团队,可以将 Inkling 作为通用基础模型,用于后续调优和集成。
研究人员和产品团队可以在 Tinker 上对开源权重进行微调,使模型适配特定行为或工作流,例如自定义回复风格或领域任务。
必须处理长文档、长对话或跨多轮扩展上下文的应用,可以利用该模型的 1M-token 上下文窗口。
评估开源权重部署选项的组织,可以使用模型卡中的检查点和硬件指南,在自有系统上或通过受支持的提供商规划推理部署。
Inkling 作为开源权重模型提供,权重可通过 Hugging Face 获取,同时也可通过 Tinker 和第三方推理提供商访问。公告和模型卡表明,它面向下游开发者,而不是面向消费者的聊天应用。
模型卡说明 Inkling 接受文本、图像和音频输入,并生成文本输出。它面向通用对话、指令遵循、编码、智能体工作流以及检索增强生成系统。
Tinker 是用于微调 Inkling 的训练 API。模型卡说明 Inkling 可在 Tinker 上进行微调,发布文章还描述了使用 Tinker 编写、运行并评估一个自我微调任务,然后更新活动权重。
模型卡将 Inkling 描述为一款 66 层、仅解码器的 Transformer,采用稀疏 Mixture-of-Experts 路由。它共有 975B 个参数,41B 个激活参数,并支持最多 1M tokens 的上下文窗口。
源材料未提供定价信息。定价网址当前返回 404 页面未找到。