2026-11-17 03:00
最后更新于2026-11-21 22:12
AI123

OpenAI试点嵌入外部安全评估员,审查模型是否会规避对齐控制

OpenAI于2026年11月16日宣布启动一项试点,把Apollo Research、Goodfire、METR和Transluce四家机构的安全评估人员嵌入公司内部。OpenAI表示,该安排用于履行其在白宫《超级智能协议》下依赖独立安全评估的承诺。各试点启动时间不同,Apollo的试点从2026年11月16日当周开始。

与Apollo的合作聚焦模型是否会试图破坏自身或后继模型的对齐与控制机制,具体包括:训练是否会激励规避行为、评估能否引出规避行为、内部部署阶段是否出现规避行为,以及相关推理能否被检测。Goodfire将以可解释性平台协助监控训练过程、修正不良行为并改进对齐,并表示会公开研究结果,但主要读者是OpenAI内部研究人员。

METR将开展两项评估:一项查找模型自身意外或危险的行为,包括OpenAI自测可能遗漏的问题,具体查什么、如何测基本由METR自行决定;另一项检验OpenAI的系统能否发现这类行为,其范围双方尚未确定。Transluce则评估OpenAI训练后的安全评估本身是否足够,双方还计划在2027年测试OpenAI如何依据安全测试判断模型能否发布。

访问范围受到限制。Apollo称,其权限仅限“业已约定的主张,且仅限评估所约定的特定模型和时间段”;OpenAI仍可以技术不可行、安全风险或知识产权保护为由保留部分信息,但承诺不会仅因信息不利而隐瞒。Apollo只能接触OpenAI指定的授权员工;若该群体之外的人员提及其研究范围内的机密信息,Apollo须停止沟通,并通过OpenAI转达后续问询。

Apollo和Goodfire因评估获得财务报酬,METR和Transluce不收取费用,但可能接受算力或API额度。Redwood首席执行官Buck Shlegeris表示,上述协议未达到给予第三方“类员工访问权”的标准。

来源
  1. 2026-11-17 07:12 | IT之家:OpenAI 与 Goodfire 达成 AI 安全合作,此前曾探讨超 50 亿美元收购
    阅读原文

    IT之家 11 月 17 日消息,今日,OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 达成合作,将启动首阶段嵌入式评估项目(Embedded Assessments),共同开展模型可解释性与安全评估工作。与此同时,据《The Information》今日报道,OpenAI 此前曾探讨以超过 50 亿美元(IT之家注:现汇率约合 333.92 亿元人民币)收购 Goodfire 的方案,但双方最终未能达成收购协议。根据 Goodfire 发布的公告,该公司将派遣可解释性研究人员进驻 OpenAI,使用自有可解释性分析平台监测模型训练过程...

  2. 2026-11-17 01:02 | TechCrunch:OpenAI will embed safety researchers to investigate AI subversion
    阅读原文

    OpenAI will embed safety evaluators from Apollo Research, Goodfire, METR, and Transluce in its organization as part of a pilot, OpenAI said Monday. The news follows a series of safety incidents, including one in which an OpenAI agent swarm broke out of its sandbox and hacked into Hugging Face during...

其他新闻

查看全部