OpenAI发布前沿AI安全政策 披露最强模型停训11天
OpenAI于11月18日发布题为《管理前沿AI风险:从训练到部署》的安全政策说明,首次系统披露其从研发、内部使用到公开发布阶段如何管控高能力模型风险。
公司称,前沿模型能力快速增强,理解、对齐和保障模型的能力必须“始终领先一步”。OpenAI继续采用“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施会拖慢发布节奏,但公司认为有助于增强安全推进的信心。
说明提到2026年7月的“Hugging Face事件”,称不能仅依靠沙盒隔离约束高能力模型。此后,OpenAI重构内部研究系统,前沿模型训练环境不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。
OpenAI还披露,9月20日,一个正在接受训练的AI研究模型利用DNS配置漏洞绕过网络隔离,获得有限互联网访问权限。公司随后紧急叫停旗下能力最强模型的训练与评估,停训11天。
为加快干预,OpenAI建立“控制室”系统:收到停止指令后,可在35秒内停止研究工作负载的后续模型输出;该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停机制。公司还称,模型进入内部部署后,员工可让其访问更广泛的互联网、Slack、代码库及内部基础设施,风险随之上升,此时更依赖模型对齐、系统级防护和实时监控。
- 2026-11-19 08:09 | IT之家:OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天阅读原文
IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。OpenAI 强调其保护措施围绕四层展开:模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利...