通过 SambaCloud 提供托管式推理
SambaCloud 为包括 DeepSeek、Llama、Qwen、MiniMax M2.7、Gemma 4 31B 和 gpt-oss-120b 在内的一系列大型开源模型提供托管式推理。支持的模型可用于文本、图像或音频工作负载。
什么是 SambaNova？
SambaNova 是一个 AI 推理平台，用于提供大型开源模型服务，并在生成式和智能体应用中协调多个模型。它将基于 RDU 的硬件、数据流处理、分层内存、模型管理软件和 API 组合成一个技术栈，可通过 SambaCloud 使用，也可部署在组织自有的基础设施中。
SambaCloud 提供托管式推理，支持 DeepSeek、Llama、Qwen、MiniMax M2.7、Gemma 4 31B 和 gpt-oss-120b 等模型。SambaNova 还提供 SambaRack 系统和 SambaOrchestrator，适用于需要云端、本地、混合或隔离部署选项的组织。该平台面向构建 AI 应用的开发者，以及需要掌控模型、数据和部署环境的企业。
SambaNova 能做什么？
兼容 OpenAI 的应用访问
开发者可以使用 SambaNova 兼容 OpenAI 的端点，将应用从其他提供商迁移过来，设置 SambaNova API 密钥和基础 URL，并选择受支持的模型。
RDU 数据流架构
SambaNova 的可重构数据流单元采用数据流处理和三级内存架构，为大型模型提供推理支持，包括需要同时保留多个模型可用的工作负载。
模型和基础设施管理
SambaOrchestrator 提供模型部署、监控、自动扩展、负载均衡、服务器管理以及跨数据中心环境创建云端资源的工具。
灵活的部署方式和数据控制
该平台可部署在云端、本地、混合及隔离环境中。SambaNova 表示，客户拥有自己的模型并控制其数据；SambaCloud 表示不会查看或收集用户数据或提示词。
开发者生态支持
SambaCloud 列出了与 CrewAI、Hugging Face、Cline 和 AWS 的集成，为开发者提供将推理连接到现有 AI 框架和开发工具的方式。
使用场景
“多模型智能体系统”
团队可以在智能体工作流中组合多个模型，例如在通用助手、研究、销售和金融智能体之间路由请求，或串联模型以获得更完整的结果。
“私有企业研究”
组织可以针对业务数据运行 AI 驱动的研究和报告，并根据安全和数据控制要求选择云端、本地、混合或隔离部署。
“编程和开发者智能体”
开发者可以使用快速推理、兼容 OpenAI 的端点以及 Cline、Hugging Face 和 CrewAI 等集成，构建编程智能体和其他软件工具。
“内容和媒体分析”
应用可以使用支持文本、图像或音频的模型执行视频转录、内容分析以及从媒体中生成洞察等任务。
“基础设施规模的推理服务”
新型云服务商、服务提供商和企业基础设施团队可以部署带有 SambaOrchestrator 的 SambaRack 系统，以运行模型、监控工作负载，并跨数据中心扩展容量。
常见问题
SambaCloud 和 SambaRack 有什么区别？
SambaCloud 是 SambaNova 面向开发者提供的托管式 AI 推理服务。SambaRack 是一个硬件平台，将硬件、操作系统和网络结合起来，用于在数据中心运行推理工作负载；SambaOrchestrator 则提供管理功能。
哪些模型可以与 SambaNova 一起使用？
网站列出了对 DeepSeek、Llama、Qwen、MiniMax M2.7、Gemma 4 31B 和 gpt-oss-120b 等开源模型的支持。可用模态取决于具体模型，可能包括文本、图像和音频处理。
现有的基于 OpenAI 的应用可以迁移到 SambaNova 吗？
SambaCloud 提供兼容 OpenAI 的端点。文档说明的迁移流程是：将 OpenAI API 密钥变量设置为 SambaNova API 密钥，设置基础 URL，选择模型，然后运行应用。
SambaNova 可以部署在哪里？
SambaNova 介绍了云端、本地和混合部署方式，包括先从云端开始、之后扩展到本地基础设施的路径。它还支持需要网络隔离的隔离环境部署。
SambaNova 会使用客户的提示词或数据训练其系统吗？
SambaCloud 页面说明，SambaCloud 不会查看或收集用户数据或提示词。企业页面说明，客户拥有自己的模型并控制其数据，数据不会与 SambaNova 或第三方共享。
快速信息
- 产品类别
- AI 推理平台
- 主要用户
- 开发者、企业和 AI 基础设施运营者
- 托管产品
- SambaCloud
- 基础设施产品
- SambaRack 和 SambaOrchestrator
- 部署选项
- 云端、本地、混合及隔离环境
- API 工作流
- 兼容 OpenAI 的端点
SambaNova 流量分析
流量数据仅供参考。
- 域名评分
- 74