# Superlinked SIE 面向智能体的开源推理服务，在您自己的基础设施上运行嵌入模型、重排序模型、信息抽取模型和开放大语言模型。 - Findings24: - 网站: - 价格: Free - 分类: AI 智能体基础设施, AI 向量嵌入 API ## 什么是 Superlinked SIE？ Superlinked SIE 是一个开源推理服务器，可在您掌控的基础设施上运行 AI 模型，从笔记本电脑到 Kubernetes 集群均可使用。它通过统一 API 提供四种模型操作：**Encode** 用于生成文本和图像向量，**Score** 用于对查询与文档配对进行重排序评分，**Extract** 用于抽取实体和结构化数据，**Generate** 用于生成文本。 Superlinked SIE 专为使用多个小型模型的工作负载而设计，例如语义搜索、RAG、文档处理、分类和智能体工作流。它负责批处理、GPU 共享和按需模型切换，支持超过 100 个模型。部署方式包括 Docker、Helm，以及面向 AWS、GCP 和 Azure 的 Terraform，还可通过镜像同步的模型快照在隔离网络中安装。 ## Superlinked SIE 能做什么？ ### 四种统一推理原语 将文本或图像编码为向量，为查询与文档配对评分以进行重排序，抽取实体或结构化数据，并使用托管的开放模型生成文本。 ### 多模型共享 GPU 模型按需加载，GPU 显存耗尽时可卸载最近最少使用的模型，让单个 Superlinked SIE 实例能够服务多种模型。 ### 集群级批处理 Kubernetes 网关将请求路由至工作节点池，共享队列在其中将兼容的任务合并为批次，并在模型之间分配 GPU 资源。 ### 灵活部署 在本地运行同一套基于 Docker 的配置，或通过 Helm 部署至 Kubernetes 并启用自动扩缩容。提供面向 AWS、GCP 和 Azure 的 Terraform 支持。 ### 模型与运行时支持 Superlinked SIE 支持超过 100 个模型，封装了 PyTorch、SGLang 及相关推理后端等运行时，并为每个模型选择推理引擎。 ### 统一推理层的模型评估 通过同一 API 在 NLI、文本或图像嵌入模型以及交叉编码器重排序模型之间切换，无需单独部署模型服务栈即可进行结构化比较。 ## 使用场景 ### 语义搜索与 RAG 对查询和文档进行编码，再对检索到的候选结果进行重排序，在自托管基础设施上构建搜索和检索增强生成流程。 ### 智能体文档处理 从非结构化文本中抽取实体和结构化数据，并在自定义文档处理流程中使用自托管的生成模型。另行公布的 Agent 插件将推出自动任务路由和调用第三方模型前的信息脱敏功能。 ### 多模态商品分类 通过统一推理层，针对分层商品分类体系评估零样本 NLI、文本检索、图像检索和交叉编码器重排序的效果。 ### 商品搜索 利用属性抽取、描述嵌入和候选结果重排序，构建自托管的商品目录搜索工作流。 ### 生产环境推理运维 在 Kubernetes 集群中运行多个模型池，共享 GPU 资源，支持自动扩缩容、模型配置热更新，以及云端或隔离网络部署。 ## 常见问题 ### Superlinked SIE 可以在哪些基础设施上运行？ 本地开发或单台低流量服务器可通过 Docker 在 CPU 或 GPU 上运行。GPU Kubernetes 集群支持在 EKS、GKE 或 AKS 上进行生产环境扩展。仅使用 CPU 的工作节点池用于本地测试，不属于受支持的生产集群部署目标。GPU 显存、配额、模型大小和缓存存储空间必须满足工作负载需求。 ### Superlinked SIE 支持哪些类型的模型？ Superlinked SIE 支持编码器、重排序模型、实体抽取模型和生成模型，提供超过 100 个开箱即用的模型。模型目录涵盖文本、图像和多模态工作负载。 ### Superlinked SIE 能否在一个 GPU 上运行多个模型？ 可以。Superlinked SIE 按需加载模型，并在显存紧张时卸载最近最少使用的模型。可驻留的模型数量取决于模型大小和批处理设置，每个请求使用的模型仍须能装入 GPU 显存。Kubernetes 从零扩容可能产生文档中说明的约 3–7 分钟冷启动时间。 ### Superlinked SIE 是开源的吗？ 是。核心推理服务器是采用 Apache 2.0 许可证的开源软件，自托管始终免费。硬件或云基础设施由您提供并运维；免费服务器许可证不包含免费的 GPU、云资源或运维服务。 ### Superlinked SIE 与 Superlinked 框架是什么关系？ Superlinked SIE 是推理层，可以独立使用，也可以作为 Superlinked 框架的底层服务。Superlinked 框架是用于多属性搜索和推荐系统的更高层 Python SDK。 ### 托管服务和 Agent 插件是否已全面开放？ 两者均标记为即将推出。Superlinked 接受推理资源资助申请，为选定项目提供免费托管资源；这并不意味着每个项目都能获得不受限制的托管套餐。Agent 插件设有候补名单，其计划功能包括自动文档路由，以及在调用第三方模型前进行信息脱敏。 ### 隔离网络安装需要哪些准备？ 需镜像同步容器镜像和模型快照，并配置预先填充的模型缓存。常规部署在首次使用时需要访问镜像仓库和模型下载源；受访问限制的模型需要相应的访问令牌。隔离网络支持是一种部署配置，并不自动保证所有连接的智能体或外部服务都保持离线。 ## 快速信息 - **产品类型**: 开源推理服务器 - **主要操作**: Encode、Score、Extract、Generate - **部署方式**: 笔记本电脑、Docker、Kubernetes 或隔离网络基础设施 - **支持的云平台**: AWS、GCP 和 Azure - **支持的模型数量**: 超过 100 个开箱即用的模型 - **开发方**: Superlinked