# Qualcomm AI Hub Qualcomm AI Hub 面向开发者，支持将 PyTorch 或 ONNX 模型转换并优化为适用于高通设备的运行时格式，还可在托管设备上运行推理和分析性能。 - Findings24: - 网站: - 价格: Freemium - 分类: AI 模型部署, AI 模型平台 ## 什么是 Qualcomm AI Hub？ Qualcomm AI Hub 面向开发者，支持将 PyTorch 或 ONNX 模型转换并优化为适用于高通设备的运行时格式，还可在托管设备上运行推理和分析性能。 该平台还提供包含 300 多个经过优化的 ML 和生成式 AI 模型的目录、内置模型的示例应用，以及 GenieX——一个用于在 NPU、GPU 或 CPU 上本地运行生成式 AI 模型的开源工具包。这四个组件既可独立使用，也可组合使用。 ## Qualcomm AI Hub 能做什么？ ### 模型转换与优化 将训练好的 PyTorch 或 ONNX 模型导入 Workbench，转换为适用于 LiteRT、ONNX Runtime 或 Qualcomm AI Runtime 的格式，并通过量化或微调提升准确性。 ### 托管设备性能分析 在 50 多种类型的托管高通设备上运行推理并分析模型性能。 ### 优化模型目录 浏览 300 多个经过优化的 ML 和生成式 AI 模型，比较性能指标，并查找适用于高通设备的模型资源。模型许可各不相同。 ### 示例应用与 GenieX 基于已内置模型的示例应用代码仓库进行定制，或使用 GenieX——一个为 NPU、GPU 和 CPU 提供统一运行时的开源工具包。 ## 使用场景 ### 为高通设备准备训练好的模型 将 PyTorch 或 ONNX 模型导入 Workbench，转换为设备端运行时格式并进行优化。 ### 集成前分析推理性能 在托管的高通设备类型上运行并分析模型，了解其特定设备上的性能，然后再将其用于应用。 ### 比较候选模型 使用模型目录中的性能指标，比较适用于高通设备的优化 ML 和生成式 AI 模型。 ### 构建设备端应用原型 从包含模型的示例应用代码仓库开始，或使用 GenieX 在 NPU、GPU 或 CPU 上本地运行兼容的生成式 AI 模型。 ## 常见问题 ### Qualcomm AI Hub 包含哪些内容？ 它整合了 Workbench、Models、Apps 和 GenieX，用于在高通设备上进行设备端 AI 开发。这四个组件既可独立使用，也可组合使用。 ### 如何开始使用 Workbench？ 创建 Qualcomm ID，安装 qai-hub Python 软件包，并在 Workbench 账户设置中使用 API 令牌进行配置。运行 qai-hub list-devices 以验证设置。 ### Workbench 和 AI Hub 中的模型是否免费？ Workbench 目前可免费使用。模型提供方提供的部分模型需根据其许可购买；标记为“立即下载”的模型免费且开放。请查看每个模型页面上的许可信息。 ### Workbench 支持哪些模型输入和运行时？ Workbench 可以将训练好的 PyTorch 或 ONNX 模型转换为适用于 LiteRT、ONNX Runtime 或 Qualcomm AI Runtime 的格式。它还支持在托管高通设备上进行量化、微调、推理和性能分析。 ## 快速信息 - **产品**: 面向高通设备的设备端 AI 开发 - **Workbench 输入**: 训练好的 PyTorch 和 ONNX 模型 - **托管设备覆盖范围**: 50 多种类型的高通设备 - **模型目录**: 300 多个经过优化的 ML 和生成式 AI 模型 - **Workbench 设置**: Qualcomm ID 和 AI Hub API 令牌