# turbopuffer turbopuffer 是一款原生支持对象存储的搜索引擎，支持向量、全文、混合及正则表达式搜索，帮助 AI、搜索和数据团队通过过滤、排序及可扩展的命名空间存储，从大型文档集合中检索内容。 - Findings24: - 网站: - 价格: Freemium - 分类: AI搜索引擎, AI 搜索 API, 向量数据库 ## 什么是 turbopuffer？ turbopuffer 是一款托管式、原生支持对象存储的搜索引擎，支持向量、全文、混合及正则表达式搜索。它将对象存储作为持久化状态的可靠来源，并使用内存和 NVMe SSD 缓存执行查询，因此应用无需将整个索引保留在内存中，也能搜索大型集合。 该服务支持元数据过滤、排序、加权、文档查找及基于命名空间的组织方式。它适用于搜索文本、图像、视频、网页、智能体记忆及其他已建立索引的数据。文档化 API 包含创建、更新和删除文档的操作，以及支持过滤器和排序的查询。 其架构面向大规模工作负载设计：该网站称，生产系统可处理超过 1 万亿份文档、每秒 1,000 万次写入和每秒 25,000 次查询。文档中列出的权衡包括：直接写入对象存储会带来更高的写入延迟；对于未缓存或未固定的数据，偶发查询的速度会更慢。 ## turbopuffer 能做什么？ ### 向量与混合搜索 执行近似最近邻向量搜索，文档化召回率超过 90%；还可将稠密或稀疏向量搜索与全文搜索策略结合使用。 ### 全文与正则表达式搜索 使用倒排索引、BM25 排序和加权搜索文本。快速三元组正则表达式索引支持基于模式的检索，并可与关键词和语义搜索结合使用。 ### 过滤与排序查询 查询文档时应用元数据过滤器，然后使用排序和加权控制匹配结果的排列顺序。 ### 原生支持对象存储的扩展能力 使用对象存储保存持久化状态，并使用内存或 NVMe SSD 缓存执行计算。该架构旨在支持超大型文档集合和高吞吐工作负载的扩展。 ### 命名空间与分支 使用命名空间组织数据，实现多租户或面向特定应用的隔离。写时复制分支可在恒定时间内创建命名空间克隆，同时使后续读写彼此独立。 ### 灵活的部署与安全选项 定价层级显示，各方案均支持多租户部署；Enterprise 提供单租户和 BYOC 选项。更高层级可用的控制项包括 SSO、审计日志、私有网络和按命名空间配置的 CMEK。 ## 使用场景 ### 为 AI 智能体提供依据 为智能体提供语义搜索和全文搜索工具，使其能在任务执行期间检索相关文档、网页内容、记忆、推理记录、工具调用或评估数据。 ### 跨文本与媒体搜索 为大型文档和多媒体文件集合建立索引并进行过滤，帮助应用为用户定位少量相关记录、文件或媒体资源。 ### 网页与研究搜索 构建由新闻、论文或更广泛网页内容索引支持的搜索工具，使智能体和应用能够从持续维护的语料库中检索内容。 ### 语义推荐 使用语义相似度搜索，将文章、产品或其他内容与用户点赞或互动过的项目进行匹配。 ### 大规模模型数据工作流 整理大规模数据集，供模型预训练或后训练，并通过强化学习工作流进行搜索。 ## 常见问题 ### turbopuffer 支持哪些搜索方法？ 根据文档，该产品支持向量搜索、BM25 全文搜索、结合向量与全文搜索策略的混合搜索、元数据过滤，以及使用三元组索引的正则表达式搜索。 ### turbopuffer 如何存储和查询数据？ 对象存储是持久化状态的可靠来源，内存和 NVMe SSD 缓存则为查询提供计算能力。缓存数据可实现较低延迟；未缓存或未固定的命名空间可能产生较慢的冷查询。 ### 主要的架构权衡是什么？ 直接写入对象存储会增加写入延迟；文档给出的 512 KB upsert p90 延迟为 248 毫秒。未缓存或未固定的数据也可能出现偶发的冷查询延迟；在一个包含 100 万份文档的示例中，文档化的 p90 延迟为 1,214 毫秒。 ### 面向多租户应用时，数据如何组织？ 应用可以将数据分隔到不同命名空间中。列出的方案默认支持多租户部署，而 Enterprise 还提供单租户和 BYOC 部署选项。写时复制分支可以创建相互独立的命名空间副本。 ### 有哪些方案和部署选项？ 定价页面列出了 Launch、Scale 和 Enterprise 方案。Launch 起步价为每月 16 美元，Scale 起步价为每月 256 美元，Enterprise 起步价为每月 4,096 美元。Enterprise 还提供单租户、BYOC、私有网络和服务级别承诺等部署与支持选项。 ## 快速信息 - **类别**: 向量与全文搜索数据库 - **存储模式**: 对象存储，配合内存和 NVMe SSD 缓存 - **搜索模式**: 向量、全文、混合、正则表达式及过滤查询 - **文档组织**: 支持写时复制分支的命名空间 - **文档化生产规模**: 超过 1 万亿份文档、每秒超过 1,000 万次写入、每秒超过 25,000 次查询 - **方案**: Launch、Scale 和 Enterprise