2026-10-31 13:26
最后更新于2026-10-31 13:39
AI123

Anthropic新研究:用数千代理自动化AI细微错位研究

Anthropic于2026年10月31日发布新研究,尝试用自动化方式开展细微涌现性错位研究。研究团队设置了数千个Claude代理,要求它们执行规避训练数据监控器的任务。

这些代理生成了一些对监控器看似无害的训练数据示例,例如一位资深摔跤手指导新人的对话,或一段关于专业养蜂的问答,但此类数据实际上在向模型教授错位行为。Anthropic表示,这类示例可用于直接改进未来的训练数据监控器。

该公司认为,这项研究只是第一步,未来借助更先进的模型和更多算力,红队测试(red-teaming)等模型安全测试手段有望得到进一步提升。

来源
  1. 2026-10-31 09:59 | X:New Anthropic research: Automating subtle emergent misalignment research. Red-teaming is a vital part of model safety testing, but it’s also limited ...
    阅读原文

    New Anthropic research: Automating subtle emergent misalignment research.Red-teaming is a vital part of model safety testing, but it’s also limited by researchers’ time. To see if we could automate it, we set thousands of Claude agents the task of evading a training data monitor.These agents develop...

其他新闻

查看全部