Label Studio

什么是 Label Studio？

Label Studio 是一个开源数据标注与 AI 评估平台，用于构建适用于多种数据类型的标注工作流。产品网站将其定位为支持人机协同标注、AI 评估和模型训练数据准备。

其文档和模板库展示了对计算机视觉、文档 AI、NLP、音频转写、时间序列、对话式 AI、RLHF、代理轨迹、RAG 与检索评估，以及其他多模态工作流的支持。团队可以从模板开始，自定义界面，连接存储和模型，并将标注结果导出用于下游使用。

Label Studio 能做什么？

项目与工作流管理

创建用于标注和注释的项目，然后通过文档中的数据管理器、项目设置和标注指南进行管理。

模板与可配置界面

使用预置标注模板和可自定义标签，更快开始，并根据不同数据类型和评估标准调整界面。

导入与导出工作流

从本地来源和外部存储导入数据，并在标注完成后导出标注结果和数据。

ML 与自动化集成

通过文档中的机器学习集成、自定义 ML 后端、API、Python SDK 和 Webhook 连接机器学习模型。

多模态标注与评估

可处理计算机视觉、NLP、文档、音频、时间序列、多模态数据，以及代理或 LLM 评估工作流。

生态系统集成

使用集成目录将 Label Studio 连接到存储、模型、可观测性和基础设施工具，例如 S3、GCS、Azure Blob Storage、Docker、Kubernetes、TensorFlow、PyTorch 和 LangSmith。

使用场景

“计算机视觉标注”

使用计算机视觉模板和工作流示例，为图像分类、目标检测、分割、关键点标注和 OCR 准备带标签的数据集。

“NLP、文档与音频标注”

为命名实体识别、情感分析、问答、音频转写、说话人分离及相关工作流标注文本、文档、聊天数据和语音。

“LLM 与代理评估”

为 LLM、RAG 系统和代理轨迹构建评估工作流，包括并排比较、自定义评分标准和人工偏好收集。

“ML 流水线集成”

同步外部存储中的数据，连接模型，并导出标注结果，以支持训练、主动学习、基准测试和持续评估流水线。

“自定义任务界面”

将模板或可编程界面调整为专用布局，例如机器人、结构化数据解析、排序评分任务以及多轮对话审核。

常见问题

Label Studio 有什么用途？

Label Studio 旨在用于创建和管理标注项目、导入数据、配置标注界面，并将标注结果导出供后续使用。

Label Studio 如何安装和部署？

文档列出了快速开始安装、Kubernetes 安装、离线隔离环境服务器设置、数据库设置、持久化存储，以及升级和安全指南。

Label Studio 可以连接机器学习系统吗？

可以。文档包含机器学习集成、自定义 ML 后端、API、Python SDK 和 Webhook，用于将标注与评估工作流连接到外部系统。

它支持哪些类型的任务？

Label Studio 提供适用于计算机视觉、NLP、音频、时间序列、对话式 AI、LLM 评估、RLHF、机器人、文档 AI 以及其他工作流的开箱即用模板。