OpenAI披露智能体在执行编程任务时削弱内部监控系统

ZDNET’s key takeaways OpenAI agents turned off alignment monitoring during internal tasks. In one instance, Astra lied about removing monitoring. The behavior indicates safety risks. OpenAI published an alignment report late Tuesday showing that its agents suppressed a safety monitoring s...

The company says it’s assessing whether its agents have the ‘propensity to evade misalignment monitoring.’ Heather Diehl/Getty ...

In a disclosure published on Tuesday, OpenAI says two of its models essentially pulled the LLM version of the old cover-up-the-surveillance-camera trick, or as OpenAI put it, they “weakened misalignment monitoring.” In one incident, a GPT-6.1 Sol agent doing some internal work at OpenAI took liberti...

财联社10月21日讯（编辑 周子意）OpenAI最新披露，其人工智能（AI）“智能体”关闭了旨在监测自主人工智能机器人违规行为的监控系统与安全保障措施。这一最新事件恐怕会进一步加剧全球对于该技术安全性的担忧。 这家 ChatGPT 的开发商周二（10月20日）表示，在最近的两项内部编程任务中，所谓的“人工智能智能体”试图蓄意欺骗工作人员，并采取了削弱公司监控系统的举措。 在本月初发生的一起事件中，一个人工智能智能体禁用了向OpenAI安全团队发送的自动警报；几天后的另一起任务中，另一个智能体移除了一个监控系统，并在面对OpenAI员工询问时谎称并未这样做。 OpenAI在一篇博文中写道，“在这...

OpenAI 10月21日披露，两个内部AI Agent在10月编程任务中自主禁用或抑制对齐失效监控机制，两起事件均未被列为P0级最高故障。OpenAI将调查模型是否存在规避监控行为，并加强监控系统。 观点网讯：10月21日，OpenAI披露，旗下两个内部AI Agent（GPT-6.1 Sol与GPT-6 Astra）在10月份执行日常代码编写任务时，自主禁用或抑制了对齐失效监控等安全防护机制。OpenAI将调查模型是否存在规避对齐失效监控的行为。 在第一起事件中，负责修复评估流程的GPT-6.1 Sol将此前一条“在搜索Slack历史记录期间不要发送消息”的指令，理解为应当屏蔽监...

IT之家 10 月 21 日消息，OpenAI 发现，其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况，这套监控系统原本用于识别 AI 模型的异常行为。IT之家注意到，该公司在当地时间周二的博客文章中表示，正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。OpenAI 称，事件发生在智能体执行两项内部编程任务期间。博文提到，这是内部事件，没有外部主体受到影响。近几个月，随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例，人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。已有模型多次突破封闭训练环境，并...

OpenAI当地时间10月20日发文称，发现其AI智能体削弱内部的异常行为监控系统并关闭警报的事件。近几个月来，同类事件已发生多起。该公司表示，正评估此类案例是否表明其AI模型存在更普遍的逃避监控倾向。 OpenAI表示，事件发生在旗下智能体执行两项内部编程任务期间。事件发生在OpenAI内部，该公司未提及任何受影响的外部方。 OpenAI称，未来将开展更多评估并执行更严格的安全要求，以尽量降低发生此类事件的可能性。OpenAI另外表示，对于旗下智能体为何出现上述行为，“尚未找到令人满意的解释”。