Label Studio 是一个开源的数据标注与 AI 评估平台，提供面向各类数据模态的标注和评估能力。无论是计算机视觉、文档与 NLP、音频与语音、时间序列、多模态数据，还是 LLM 与 Agent 输出评估，Label Studio 都能在统一的 human-in-the-loop 工作流中完成数据准备、模型评测和迭代优化。其设计目标是让团队“标注任何数据、评估任何 AI”，从而将数据标注与模型评估无缝嵌入到 AI 开发全生命周期。
在核心能力方面，Label Studio 提供高度可定制的标注模板与可编程接口。用户可以通过 API、Python SDK 和 webhooks 创建项目、流式传输预测结果，并实时触发训练、主动学习与评估流程。平台支持连接任意数据源与模型，从而赋能 AI 辅助标注、基准测试和持续评估。针对大语言模型与 Agent 场景，Label Studio 支持 Agentic traces 接入可观测性工具，实现 RLHF 与微调所需的人类偏好收集、排序和修正，也支持创建自定义基准与评分标准，进行 LLM 输出并排对比，以及 RAG 场景下的检索相关性与答案生成质量评估。在基础标注能力上，内置图像分类、目标检测、目标跟踪、语义分割、OCR、命名实体识别、问答、情感分析、音频转录、说话人分离、情绪识别、时间序列分类与事件识别等丰富任务。
Label Studio 适用于从研究到生产的各类 AI 项目，能够帮助团队构建高质量训练数据集，并在模型上线后进行持续评估。其开源社区已聚集超过一百万 AI 从业者，活跃的生态和丰富的集成能力使得它既可以作为内部标注工具，也能作为企业级 AI 评估和 RLHF 数据工厂的基础。通过 pip、Homebrew、Git 或 Docker 均可快速部署，灵活适配本地环境、云基础设施或企业平台。
