Beam logo

Beam

认领

Beam 是按需 AI 计算平台,可在 GPU 或 CPU 资源上运行沙盒、任务队列、自定义模型推理与训练。结合无服务器执行、自动扩缩容、快照和可选常开工作负载。

Beam preview

概述

Beam 是按需 AI 计算平台,可在 GPU 或 CPU 资源上运行沙盒、任务队列、自定义模型推理与训练工作负载。该产品面向需要快速启动时间、自动扩缩容,并希望在不自行管理完整基础设施栈的情况下更轻松地交付 AI 应用的开发者。

该平台将无服务器执行与常开工作负载选项相结合,因此应用可以在请求完成后自动关闭,也可以在低延迟至关重要时持续运行。Beam 还支持自带云、连接多个云账户,并通过一个运行时跨这些账户运行工作负载。

功能

混合计算工作流

在你拥有的计算资源上运行代理、沙盒、推理和任务队列,然后在需要更多容量时切换到 Beam。

亚秒级冷启动

使用内存快照和检查点恢复快速启动 GPU 容器,旨在缩短 AI 工作负载的冷启动时间。

多区域执行

跨云和区域实时路由工作负载,并在 30 多个区域分布式执行,以实现更低延迟的部署。

快照、分支、恢复

对正在运行的沙盒进行快照、分支,并将其恢复为多个隔离运行,同时支持流式输出,适合并行实验或代理。

任务队列与自动扩缩容

创建具有重试、回调、计划任务的持久队列,并根据队列深度或请求量自动扩缩容。

监控与遥测

通过平台仪表板和内置监控工具跟踪请求量、错误、延迟和资源利用率。

使用场景

  • 自定义模型推理

    使用自定义镜像和自动扩缩容,在 GPU 或 CPU 上构建托管模型端点,以应对变化的请求量。

  • 沙盒化代码执行

    在隔离的沙盒中运行 LLM 生成或用户提交的代码,并使用持久存储、快照和受控执行。

  • 批处理任务

    使用重试、回调和计划任务来排队并处理媒体、音频或其他批量工作负载。

  • 训练与微调

    在需要可扩展环境来承载较长时间运行工作的情况下,使用 GPU 支持的任务来训练或微调模型。

  • 交互式 AI 应用

    部署需要快速启动和托管运行时的 Streamlit、Gradio 或笔记本风格前端。

Pros and Cons

Pros

  • 在一个平台中同时支持沙盒、推理、任务队列和训练。
  • 提供无服务器执行,并在需要时可选择让工作负载 24/7 持续运行。
  • 在已发布的定价和功能摘要中包含存储、内置监控、日志和密钥管理。
  • 支持现有的 Docker 镜像和自定义 GPU 工作负载。
  • 为 AI 工作负载提供自动扩缩容、快照和多区域执行。

Cons

  • 公开页面没有详细说明许多集成信息或支持的第三方平台。
  • 在所提供的来源中,功能级文档并未完整覆盖所有能力,因此一些实现细节不够明确。
  • 定价页面展示了按使用量计费和付费层级,但在所提供文本中并未为每种工作负载给出完整的成本全貌。

FAQ

Beam 只支持无服务器工作负载吗?

Beam 按需运行沙盒、推理和任务队列。它默认支持无服务器执行,定价页面还说明,当低延迟工作负载需要时,你也可以让应用 24/7 持续运行。

Beam 如何处理存储和容器镜像?

定价页面说明存储免费包含在内,FAQ 也指出用户不会因冷启动而被收费。Beam 还支持从第三方镜像仓库导入现有的 Docker 镜像。

这个平台有多安全?

Beam 提供隔离的非 root 容器。其 FAQ 还提到一个完全在你自有环境中运行的自托管产品,因此在该部署选项下不会有数据离开你的 VPC。

有哪些定价选项?

Beam 为无服务器资源、沙盒和 GPU 提供按使用量计费,同时也为团队提供用量层级。定价页面展示了 Developer 层、Team 层,以及需要联系销售的 Growth 层。

Quick Facts

类别
开发者工具
主要用途
面向沙盒、推理和队列的按需 AI 计算
平台支持
可与 Python SDK 示例配合使用;首页还展示了 TypeScript 和 Go
定价
按使用量计费,定价页面显示每月免费额度
公司信号
由 Y Combinator 支持
来源域名
beam.cloud