# SambaNova 面向开发者、企业和基础设施运营者的 AI 推理平台，支持运行大型开源模型和智能体工作负载，并适用于云端、本地、混合及隔离环境。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 推理平台, AI 模型部署 ## 什么是 SambaNova？ SambaNova 是一个 AI 推理平台，用于提供大型开源模型服务，并在生成式和智能体应用中协调多个模型。它将基于 RDU 的硬件、数据流处理、分层内存、模型管理软件和 API 组合成一个技术栈，可通过 SambaCloud 使用，也可部署在组织自有的基础设施中。 SambaCloud 提供托管式推理，支持 DeepSeek、Llama、Qwen、MiniMax M2.7、Gemma 4 31B 和 gpt-oss-120b 等模型。SambaNova 还提供 SambaRack 系统和 SambaOrchestrator，适用于需要云端、本地、混合或隔离部署选项的组织。该平台面向构建 AI 应用的开发者，以及需要掌控模型、数据和部署环境的企业。 ## SambaNova 能做什么？ ### 通过 SambaCloud 提供托管式推理 SambaCloud 为包括 DeepSeek、Llama、Qwen、MiniMax M2.7、Gemma 4 31B 和 gpt-oss-120b 在内的一系列大型开源模型提供托管式推理。支持的模型可用于文本、图像或音频工作负载。 ### 兼容 OpenAI 的应用访问 开发者可以使用 SambaNova 兼容 OpenAI 的端点，将应用从其他提供商迁移过来，设置 SambaNova API 密钥和基础 URL，并选择受支持的模型。 ### RDU 数据流架构 SambaNova 的可重构数据流单元采用数据流处理和三级内存架构，为大型模型提供推理支持，包括需要同时保留多个模型可用的工作负载。 ### 模型和基础设施管理 SambaOrchestrator 提供模型部署、监控、自动扩展、负载均衡、服务器管理以及跨数据中心环境创建云端资源的工具。 ### 灵活的部署方式和数据控制 该平台可部署在云端、本地、混合及隔离环境中。SambaNova 表示，客户拥有自己的模型并控制其数据；SambaCloud 表示不会查看或收集用户数据或提示词。 ### 开发者生态支持 SambaCloud 列出了与 CrewAI、Hugging Face、Cline 和 AWS 的集成，为开发者提供将推理连接到现有 AI 框架和开发工具的方式。 ## 使用场景 ### 多模型智能体系统 团队可以在智能体工作流中组合多个模型，例如在通用助手、研究、销售和金融智能体之间路由请求，或串联模型以获得更完整的结果。 ### 私有企业研究 组织可以针对业务数据运行 AI 驱动的研究和报告，并根据安全和数据控制要求选择云端、本地、混合或隔离部署。 ### 编程和开发者智能体 开发者可以使用快速推理、兼容 OpenAI 的端点以及 Cline、Hugging Face 和 CrewAI 等集成，构建编程智能体和其他软件工具。 ### 内容和媒体分析 应用可以使用支持文本、图像或音频的模型执行视频转录、内容分析以及从媒体中生成洞察等任务。 ### 基础设施规模的推理服务 新型云服务商、服务提供商和企业基础设施团队可以部署带有 SambaOrchestrator 的 SambaRack 系统，以运行模型、监控工作负载，并跨数据中心扩展容量。 ## 常见问题 ### SambaCloud 和 SambaRack 有什么区别？ SambaCloud 是 SambaNova 面向开发者提供的托管式 AI 推理服务。SambaRack 是一个硬件平台，将硬件、操作系统和网络结合起来，用于在数据中心运行推理工作负载；SambaOrchestrator 则提供管理功能。 ### 哪些模型可以与 SambaNova 一起使用？ 网站列出了对 DeepSeek、Llama、Qwen、MiniMax M2.7、Gemma 4 31B 和 gpt-oss-120b 等开源模型的支持。可用模态取决于具体模型，可能包括文本、图像和音频处理。 ### 现有的基于 OpenAI 的应用可以迁移到 SambaNova 吗？ SambaCloud 提供兼容 OpenAI 的端点。文档说明的迁移流程是：将 OpenAI API 密钥变量设置为 SambaNova API 密钥，设置基础 URL，选择模型，然后运行应用。 ### SambaNova 可以部署在哪里？ SambaNova 介绍了云端、本地和混合部署方式，包括先从云端开始、之后扩展到本地基础设施的路径。它还支持需要网络隔离的隔离环境部署。 ### SambaNova 会使用客户的提示词或数据训练其系统吗？ SambaCloud 页面说明，SambaCloud 不会查看或收集用户数据或提示词。企业页面说明，客户拥有自己的模型并控制其数据，数据不会与 SambaNova 或第三方共享。 ## 快速信息 - **产品类别**: AI 推理平台 - **主要用户**: 开发者、企业和 AI 基础设施运营者 - **托管产品**: SambaCloud - **基础设施产品**: SambaRack 和 SambaOrchestrator - **部署选项**: 云端、本地、混合及隔离环境 - **API 工作流**: 兼容 OpenAI 的端点