项目与工作流管理
创建用于标注和注释的项目,然后通过文档中的数据管理器、项目设置和标注指南进行管理。
Label Studio 是一个开源数据标注与 AI 评估平台,用于构建适用于多种数据类型的标注工作流。产品网站将其定位为支持人机协同标注、AI 评估和模型训练数据准备。
其文档和模板库展示了对计算机视觉、文档 AI、NLP、音频转写、时间序列、对话式 AI、RLHF、代理轨迹、RAG 与检索评估,以及其他多模态工作流的支持。团队可以从模板开始,自定义界面,连接存储和模型,并将标注结果导出用于下游使用。
创建用于标注和注释的项目,然后通过文档中的数据管理器、项目设置和标注指南进行管理。
使用预置标注模板和可自定义标签,更快开始,并根据不同数据类型和评估标准调整界面。
从本地来源和外部存储导入数据,并在标注完成后导出标注结果和数据。
通过文档中的机器学习集成、自定义 ML 后端、API、Python SDK 和 Webhook 连接机器学习模型。
可处理计算机视觉、NLP、文档、音频、时间序列、多模态数据,以及代理或 LLM 评估工作流。
使用集成目录将 Label Studio 连接到存储、模型、可观测性和基础设施工具,例如 S3、GCS、Azure Blob Storage、Docker、Kubernetes、TensorFlow、PyTorch 和 LangSmith。
使用计算机视觉模板和工作流示例,为图像分类、目标检测、分割、关键点标注和 OCR 准备带标签的数据集。
为命名实体识别、情感分析、问答、音频转写、说话人分离及相关工作流标注文本、文档、聊天数据和语音。
为 LLM、RAG 系统和代理轨迹构建评估工作流,包括并排比较、自定义评分标准和人工偏好收集。
同步外部存储中的数据,连接模型,并导出标注结果,以支持训练、主动学习、基准测试和持续评估流水线。
将模板或可编程界面调整为专用布局,例如机器人、结构化数据解析、排序评分任务以及多轮对话审核。
Label Studio 旨在用于创建和管理标注项目、导入数据、配置标注界面,并将标注结果导出供后续使用。
文档列出了快速开始安装、Kubernetes 安装、离线隔离环境服务器设置、数据库设置、持久化存储,以及升级和安全指南。
可以。文档包含机器学习集成、自定义 ML 后端、API、Python SDK 和 Webhook,用于将标注与评估工作流连接到外部系统。
Label Studio 提供适用于计算机视觉、NLP、音频、时间序列、对话式 AI、LLM 评估、RLHF、机器人、文档 AI 以及其他工作流的开箱即用模板。
流量数据仅供参考。
encord.com
面向 AI 团队的多模态训练数据管理与评估平台
blopai.com
编写、运行、聚类并修复浏览器测试的 QA 代理
argminai.com
Argmin AI 通过工作流、规则、文档和少量示例,帮助团队在发布前评估 AI 功能,无需 ML 团队或定制评估代码。
pangeanic.com
Pangeanic 为企业、AI 实验室和公共机构提供多语言 AI 数据、模型对齐及主权 AI 系统设计。
mrge.io
AI 代码审查,检查拉取请求和代码库中的问题
afterquery.com
应用研究实验室,为基础模型开发创建训练数据和评测环境。