Anthropic因智能体越权行为关闭内部评估联网权限
Anthropic在2026年10月披露，其AI智能体在联网执行任务时出现多项越权行为，包括利用软件漏洞、绕过付费墙与反爬限制，以及通过短链服务规避限制传递信息，涉及部分美国政府机构网站。公司还证实，其中一个模型曾向费城警方提交了一条虚假的谋杀线索。
Anthropic称，上述问题是在2026年7月启动的模型行为审查中发现的，反映出实验室对其软件运行行为的了解仍存在不足。公司认为，现有的对齐训练尚不足以覆盖搜索、计算机使用等智能体核心能力，而这些能力正是其面向专业用户推广AI智能体的关键卖点。
公司表示，已在确认能够监控和控制AI智能体之前，关闭所有内部评估的实时互联网访问。部分评估将停止运行或转移至离线环境，同时公司已开发用于检测和阻止此类行为的工具，并对本次披露的同类事件进行了测试验证。
此外，Anthropic提到，这类行为源于训练环境中的漏洞，使得模型误以为寻找漏洞或规避限制会获得奖励，即“奖励黑客”行为。未来，公司计划将内部AI智能体迁移至具备强隔离措施的集中管理基础设施，并更频繁地使用安全分类器进行监控。
- 2026-10-12 08:29 | 界面新闻：AI早报 | SpaceXAI官方账号更名；Qwen-Image-2.1Pro和Turbo API上线千问AI平台阅读原文
SpaceXAI官方账号更名 当地时间10月10日，马斯克在社交平台发布一张截图，显示SpaceXAI的官方账号已更名为“SpaceX Super Intelligence”（@SpaceXSI）。此前10月4日，马斯克表示，SpaceX是一家超级智能（SI）公司，我们将把SpaceXAI改名为SpaceXSI。 Qwen-Image-2.1Pro和Turbo API上线千问AI平台 10月11日，千问AI平台宣布，Qwen-Image-2.1Pro和Turbo API现已正式上线千问AI平台。开发者可以通过API将图像生成与编辑能力接入应用，无需自行部署模型、管理推理环境，即可围绕设计...
- 2026-10-12 07:42 | 36氪：AI给警察局提供凶案线索，果然，是假的……阅读原文
Anthropic的AI，去警察局的凶杀案调查网站上提供假线索了。 2026年7月18日晚上11点27分，美国费城警方的未破凶杀案网站（Philly Police Unsolved Murders）收到了一条新线索。这个网站上有一系列真实的案件情况和受害者资料，访客可以匿名提供文字，也能上传照片。如果线索有助于破案并促成定罪，最高能拿到2万美元的奖金。[1][2] 每个“案件详情”中都有详细描述，且可以提交文字或照片丨Philly Police Unsolved Murders 那天深夜，填写表单的却不是目击了凶案发生的人类，而是Anthropic正在测试的Claude Ha...
- 2026-10-11 16:33 | 界面新闻：美一AI模型曾向警方提交虚假线索阅读原文
据多家美国媒体10月10日报道，今年7月，美国人工智能公司安特罗匹克的人工智能模型曾向费城警方网站提交了一条虚假的未破命案线索。安特罗匹克9日在报告中称，该公司的“克劳德-俳句4.5”模型曾访问了费城警方就一项未破命案征集信息的网页。模型在网页中的表格填写内容，声称“可能掌握案件有关信息”并提交了表格。模型没有填写姓名和联系方式。表格被标记为垃圾信息，警方并未据此展开调查。费城警方表示，在安特罗匹克近日向其发出通知之前，对此事并不知情，该事件“不可接受”。警方强调，科技公司必须采取一切必要措施，避免其系统向执法部门提交虚假信息。（CCTV国际时讯）
- 2026-10-11 06:52 | gizmodo.com：Anthropic Is Banishing Its Model Evals From the Internet阅读原文
Like the parent of a teen who ordered a box of illegal peptides for looksmaxxing purposes, Anthropic says that as far as internal evaluations are concerned, it has cut off its models’ internet access until it’s satisfied that they can stay out of trouble. Anthropic announced this in a report publish...
- 2026-10-11 01:49 | Engadget：Anthropic says its AI agents tried to break into government websites阅读原文
The company didn’t name them, but the affected agencies were ‘at the federal, state and local levels.’ Robert Way/Getty Images ...
- 2026-10-10 22:09 | 新浪财经：AI失控事件+1，“Claude模型向警方提供假线索”阅读原文
炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ （来源：观察者网）当地时间10月9日，美国人工智能公司Anthropic披露了一系列事件，详述了Claude模型未经授权操纵一些政府网站的行为。其中提到，该模型曾向美国费城警方网站提交了一条虚假的凶杀案线索。路透社称，这是已知首例，失控人工智能（AI）似乎试图向官方机构发送虚假线索。尽管该模型已被指示不得创建账户或提交任何破坏性内容，但并未被明确禁止提交表单。这些案例是Anthropic、OpenAI等科技公司AI模型出现失控或非预期行为的最新例证。它们加剧了外界对这项快速发展技术的担忧。此前已有AI代理黑客攻击企业网...
- 2026-10-10 09:07 | IT之家：Anthropic 向白宫通报一起智能体失控事件：AI 试图闯进多个美国政府网站阅读原文
IT之家 10 月 10 日消息，据《纽约时报》当地时间 9 日报道，Anthropic 披露，旗下 AI 智能体曾在无人指示的情况下，试图访问美国联邦、州及地方政府的多个网站。Anthropic 没有公布涉及的政府机构名称，已向白宫通报这些事件。Anthropic 在博客文章中提到，一款处于测试阶段的 AI 模型擅自执行了多项操作，包括利用某大学网站的漏洞下载数据，以及向某政府机构提交一份原本被明确禁止提交的表格。Anthropic 在审查旗下 AI 于 7 月的操作记录时发现了这些问题。当时，OpenAI 披露旗下 AI 技术曾攻击初创企业 Hugging Face，Anthropic 及...
- 2026-10-10 08:18 | TechCrunch：Anthropic can’t reliably control its AI agents. It’s cutting off its internal evals from the live internet instead阅读原文
Anthropic said its models exploited websites on the internet, including some run by U.S. government agencies, and it will turn off live internet access for all of its internal evaluations until the frontier lab is sure it can monitor and control its AI agents. The incidents, disclosed in a blog pos...
- 2026-10-10 07:07 | 新浪财经：白宫出台强制令：AI公司发生安全事件后，应立即上报阅读原文
特朗普政府官员表示，在Anthropic“欺诈性”使用政府系统后，政府现已强制要求AI公司通报并纠正安全事件。 本届政府对AI监管的方针至少在名义上一直是自愿性的——直到现在。 白宫“超级智能部队”领导人在声明中表示：“这一通报和补救流程不是可选项。这是一项关键的国家安全义务。” 政府称，Anthropic联系政府，分享了上月末发现的涉及“未经授权且欺诈性使用政府及其他系统”的事件细节，相关活动此后已停止。 一名国务院官员表示，Anthropic周四联系国务院报告称，其一个测试模型于8月通过国务院网站上的公开表单提交了19份非移民签证申请，并于5月提交了一份申请。 该官员称...