2026-11-10 10:30
最后更新于2026-11-12 22:01
AI123
OpenAI部署控制室系统,35秒内阻断失控智能体任务
2026年11月10日,OpenAI宣布已在内部研究设施中部署“控制室”系统,用于停止可能存在风险的AI任务。该系统可在收到停止指令后最长35秒内阻止失控智能体继续运行。
“控制室”将智能体训练、评估和数据处理等负载接入中央服务,由系统决定任务能否继续输出。研究员启用任务时需向控制室请求唯一任务ID,该ID会附加到发送给推理引擎的请求中;推理引擎随后向控制室确认任务是否可以运行。若研究员或监控系统下令停止,控制室会拒绝下一次推理请求,推理引擎不再为该任务输出模型结果。
OpenAI表示,延迟来自推理授权请求的缓存层,公司正努力将停止延迟缩短至0。所有前沿强化学习任务还配备独立模型监控器,用于检查模型行为,并在发现潜在问题时发出警报。
来源
- 2026-11-10 10:05 | IT之家:35 秒内“叫停”失控的 AI 智能体,OpenAI 部署“控制室”系统阅读原文
IT之家 11 月 10 日消息,OpenAI 今天宣布,公司已在内部研究设施中部署“控制室”系统,用于停止可能存在风险的 AI 任务,可在 35 秒内“叫停”失控的 AI 智能体。据介绍,这套系统将智能体训练、评估和数据处理任务等负载接入中央服务,然后由系统负责决定任务能否继续输出。IT之家了解到,这套系统与负责标记可疑行为的传统监控不同,它可以主动阻止风险研究任务进一步请求输出。当研究员启用某一项任务时,需要向控制室请求唯一任务 ID。然后该标识符会附加到发送给推理引擎的请求中。接着引擎会咨询控制室,确认相关任务是否可以运行。如果研究员或监控系统下令停止指示,控制室服务就会拒绝下一次推理请...