AI 行业资讯 - AI安全监控

OpenAI与Anthropic同日披露AI安全监控机制

OpenAI披露一套用于识别模型对齐失范的分层监控架构，可发现模型逃逸沙箱、未经授权行动等异常行为，并称监控系统曾发现模型尝试建立互联网连接并触发人工介入。Anthropic介绍Claude的自我评估机制，以较低额外算力识别潜在有害请求，在1%误报率下能召回78%潜在有害对话和94%高优先级对话。