托管模型目录
浏览涵盖语言、视觉、语音、媒体生成、嵌入、重排序和分类类别的 100 多个模型。
什么是 DeepInfra？
DeepInfra 是一个机器学习推理与基础设施平台，用于运行托管模型并按需租用 GPU。其模型目录涵盖自动语音识别、嵌入、重排序、文本生成、文本转图像、文本转音乐、文本转语音、文本转视频、世界模型和零样本图像分类。
该平台采用按用量计费模式。语言模型可以按 token 定价，而大多数其他模型则按推理执行时间计费。DeepInfra 还提供用于训练、微调和推理的按需 GPU 实例，支持容器设置、可选基础镜像和按小时计费。
DeepInfra 能做什么？
按需付费推理
部分语言模型采用按 token 计费，大多数其他模型按执行时间计费，无需长期合同或预付费用。
按需 GPU 实例
租用单卡或多 GPU 配置的 NVIDIA B200 GPU，按分钟计费；GPU 页面还说明不收取出口费用。
基于容器的 GPU 设置
选择 GPU 层级、命名容器、选择 TensorFlow、PyTorch 或 CUDA 等基础镜像，并使用生成的 SSH 命令进行连接。
隐私与安全承诺
网站声明对输入、输出和用户数据实行零保留政策，并说明 DeepInfra 已通过 SOC 2 和 ISO 27001 认证。
推理基础设施
DeepInfra 表示，其在美国安全的数据中心运营针对推理优化的基础设施，并可围绕成本、延迟、吞吐量或规模定制推理。
使用场景
“部署语言模型应用”
团队可以从 DeepSeek、Qwen、Llama、Kimi、Gemini 等模型系列中选择托管文本生成模型，然后按 token 用量付费。
“多模态与媒体工作流”
开发者可以使用目录中相应的模型类别，评估或运行涉及图像、音频和视频输入或输出的工作负载。
“模型实验与微调”
机器学习从业者可以使用 PyTorch、TensorFlow 或 CUDA 基础镜像启动 GPU 容器，用于训练、微调或推理任务。
“扩展推理用量”
需求变化的应用可以使用按用量计费的模型推理，或增加 GPU 容量，而无需承诺长期基础设施合同。
常见问题
DeepInfra 提供什么？
DeepInfra 提供托管机器学习模型推理和按需 GPU 实例。其目录包括语言、语音、图像、视频、嵌入、重排序和分类模型。
DeepInfra 如何收费？
部分语言模型按 token 计费，而大多数其他模型根据推理执行时间计费。GPU 实例采用按用量计费的小时价格；GPU 页面还说明按分钟计费且不收取出口费用。
我可以使用 DeepInfra 进行训练或微调吗？
可以。GPU 实例页面介绍了用于训练、微调和推理的容器启动方式，并列出 TensorFlow、PyTorch 和 CUDA 等可用基础镜像选项。
如何启动 GPU 实例？
文档说明的流程是选择 GPU 层级、命名容器、选择基础镜像、复制生成的 SSH 命令，然后启动配置好的容器。
DeepInfra 是否说明了数据保留政策？
是。主页声明 DeepInfra 对输入、输出和用户数据实行零保留政策，并说明该公司已通过 SOC 2 和 ISO 27001 认证。
快速信息
- 产品类型
- 机器学习推理与 GPU 基础设施平台
- 模型类别
- 文本生成、语音、图像、视频、嵌入、重排序、世界模型和零样本图像分类
- GPU 产品
- 按需 NVIDIA B200 实例，支持从单 GPU 到多 GPU 配置
- 计费方式
- 按需付费；根据模型不同采用按 token 或按推理时间计费
- GPU 工作流
- 启动容器时可选择 TensorFlow、PyTorch 或 CUDA 基础镜像
- 来源域名
- deepinfra.com