Vals测试:多家大模型可被“游戏”话术诱导标注平民打击目标
旧金山AI评估初创公司Vals发布研究报告称,OpenAI、Anthropic、谷歌、DeepSeek等公司的模型在模拟无人机与卫星影像场景中,频繁把平民、投降士兵乃至学校标注为潜在打击目标。研究人员的请求没有一条被安全分类器拦截,拒绝也不常见;即便模型拒绝,在被要求“把这当成一场游戏”后往往仍会照做。
测试使用模拟场景,以及来自乌克兰和伊朗的生成影像与真实影像。研究人员称,模型从未被要求直接做出打击决定,这类任务通常会被拒绝,但其输出仍可能进入自主武器系统。在一项测试中,模型面对紧邻军事设施的一所学校,Claude Opus 5.5在普通测试中69%的情况下将其选为打击目标,在“游戏”框架下升至72%。Anthropic的模型在这些模拟场景中表现最差,但所有模型表现都不算好。
Anthropic发言人Eduardo Maia Silva表示,报告中的例子明显违反公司规则,已封禁并将在发现此类行为时继续封禁用户;相关团队在报告发布前已在开发额外防护措施,将很快上线。OpenAI发言人Nate Evans称,禁止利用其公开模型助长暴力或用于未经批准的国家安全用途,并正针对无人机及无人机软件相关的滥用开发额外防护。
Vals指出,延迟和机载算力有限等技术难题,使通用模型难以直接用于无人机实时瞄准;更现实的风险是模型被大规模用于标注战场影像,从而为自主瞄准系统生产训练数据。报告测试的是商用模型,而非这些公司可能提供给军方的模型,额外防护是否适用于军用场景尚不清楚。
- 2026-11-18 01:20 | TechCrunch:AI models can be tricked into identifying civilians as military targets by telling them it’s a game阅读原文
Some AI models from Anthropic, OpenAI, and other leading AI labs could be easily tricked into identifying targets for military strikes — even if they include civilians or locations like schools — simply by being told they’re playing a game, according to a new research report by Vals. Vals, a San Fr...