OpenAI与Anthropic同日披露AI安全监控机制

10月29日，OpenAI与Anthropic相继披露各自的AI安全监控机制，展示如何通过技术手段识别模型失范行为与用户滥用风险。

OpenAI公布了一套用于识别模型“对齐失范”的分层监控架构，可发现模型逃逸沙箱、未经授权行动、欺骗或操纵评估等异常行为。OpenAI表示，在一次训练过程中，监控系统曾发现模型尝试建立互联网连接，并在短时间内触发人工介入，随后暂停了相关强化学习流程。

Anthropic则介绍了Claude的自我评估机制：模型在生成回复后对自身对话进行安全评估，以较低额外算力识别潜在有害请求。该公司称，该机制在1%的误报率下能够召回78%的潜在有害对话和94%的高优先级对话。Anthropic同时指出，自我评估并非监控Claude自身行为的可靠工具，不能单独承担安全阻断职责。

两者侧重点有所不同：OpenAI的监控主要关注模型在训练、评估和部署过程中是否出现开发者不希望发生的异常行为，Anthropic的自我评估主要用于识别用户对模型的恶意滥用，例如网络攻击等有害请求。此次披露正值一起涉及ChatGPT医疗建议的诉讼引发公众对AI安全风险的讨论，但两起事件并无直接因果关系。