Bento

什么是 Bento？

Bento 是面向需要在生产环境中部署和运营 AI 与机器学习模型的团队的推理平台。它提供统一的方式，可跨架构、框架和模态为开源模型及自定义模型提供服务，同时让团队能够掌控部署环境和基础设施。

该平台集成了部署自动化、可观测性、访问控制、资源与配额跟踪以及版本化发布工作流。其计算层支持弹性扩展和跨区域扩展、基于推理工作负载的自动扩缩容、缩容至零以及冷启动加速。

Bento 支持在用户自有云或本地 Kubernetes 环境以及 Bento Cloud 上进行部署。此外，它还提供推理优化控制，可在延迟、吞吐量和成本之间进行平衡，并支持交互式、异步、批处理和多模型工作流的服务模式。

Bento 能做什么？

统一模型服务

跨架构、框架和模态打包并部署开源模型或自定义模型。网站列出的服务示例包括 vLLM、TRT-LLM、JAX、SGLang、PyTorch 和 Transformers。

推理感知型扩缩容

根据推理工作负载模式扩展部署，支持基于流量的自动扩缩容、弹性扩展和跨区域扩展、缩容至零以及冷启动加速。

性能优化

针对延迟、吞吐量或成本目标调整部署组件和配置。分布式 LLM 推理可在多个 GPU 上运行大型模型。

部署与发布运营

通过版本控制、回滚、金丝雀发布、影子测试和 A/B 测试管理部署自动化与 CI/CD。

可观测性与资源控制

监控计算资源、系统运行状况、性能和 LLM 专属指标，同时使用细粒度访问控制以及资源与配额跟踪。

灵活的基础设施选择

在自带云环境、本地 Kubernetes 或 Bento Cloud 上运行推理。网站还介绍了通过 Bento Cloud 使用 NVIDIA 和 AMD GPU 硬件的方式。

使用场景

“交互式 AI 应用”

为聊天机器人、推荐功能及其他面向用户的 AI 功能提供服务，其中亚秒级延迟是明确提出的部署目标。

“异步 AI 工作负载”

运行无需立即响应的长时间任务，使用异步服务模式，而不是交互式请求路径。

“大规模批量推理”

批量处理大型数据集，并针对计算效率而非即时响应优化部署。

“复合 AI 与 RAG 工作流”

串联多个模型，构建更复杂的检索增强生成或复合 AI 系统。

“生产环境 LLM 评估与规划”

使用 LLM 手册和性能探索器研究推理指标，比较模型、GPU 和框架，并在部署前评估优化方案。

常见问题

Bento 可以为哪些类型的模型提供服务？

网站介绍了对常见开源模型以及任意架构、框架或模态的自定义模型的支持。列出的服务技术包括 vLLM、TRT-LLM、JAX、SGLang、PyTorch 和 Transformers。

Bento 部署可以运行在哪里？

文档列出的部署选项包括用户自有云、本地 Kubernetes 和 Bento Cloud。该平台支持自托管部署，同时也介绍了通过 Bento Cloud 托管使用特定 GPU 硬件的方式。

Bento 能处理不同的推理工作负载模式吗？

可以。网站介绍了交互式应用、异步长时间任务、大规模批量推理以及串联多个模型的工作流等服务模式。

Bento 如何支持更安全的模型发布？

其运营功能包括部署自动化与 CI/CD、支持回滚的版本控制，以及金丝雀、影子和 A/B 测试工作流。

有哪些信息可用于优化 LLM 推理？

Bento 提供 LLM 推理手册，涵盖首个 token 生成时间、每秒 token 数、连续批处理和前缀缓存等指标与技术。其性能探索器可比较模型、GPU 和推理框架。