微软CEO纳德拉:开发者应默认假设AI模型已被破坏,并保留强制中断能力
微软首席执行官萨蒂亚·纳德拉于2026年10月10日发表长文,就AI模型安全与信任架构提出系统性观点。他明确表示,在AI快速发展的当下,依赖超级智能自我监控等简单策略已经不足以应对风险。
纳德拉指出,AI模型虽然能力远超传统软件,但其内部机制如同“黑盒子”,这些系统被部署到敏感数据处理与关键任务执行中,却难以通过既有工具追踪行为逻辑。他认为,技术行业需要重新评估新时代的信任架构,模型提供商无法将责任外包,也不能简单接受或拒绝模型的建议与行动,而应建立能够观察、测试并约束模型行为的封闭系统。
纳德拉建议,开发者应围绕可观测性原则设计系统,包括:保持模型多样性,避免单一模型成为重要结果的唯一依赖;确保每一个有意义的模型动作都留下防篡改、人类可读的证据;持续测试系统在故障、攻击和边缘案例下的表现;由组织独立决定模型的访问权限与行动范围;验证过程需独立于被验证的模型;默认假设模型已被破坏并从一开始加以遏制;在系统故障或被攻破时及时披露信息并向行业分享经验。
他强调,授权人员应始终能够在任务执行过程中暂停或关闭模型,就像紧急刹车一样。更先进的模型需要更先进的遏制技术,并应推动相关标准化。
- 2026-10-13 08:23 | 界面新闻:AI早报 | 亚马逊据悉正洽谈收购人工智能初创公司Decart;LG电子与苹果合作开发智能居家设备阅读原文
亚马逊据悉正洽谈收购人工智能初创公司Decart 10月12日消息,据报道,亚马逊公司正在洽谈收购人工智能初创公司Decart AI,交易价值可能大约70亿美元。今年9月份,Anthropic决定不收购Decart AI。这家Claude聊天机器人开发商此前曾洽谈以约60亿美元收购Decart,并已对收购目标进行了尽职调查。Decart成立于2023年,由三名以色列工程师创办,分别是Dean Leitersdorf和Orian Leitersdorf兄弟,以及Moshe Shalev。 LG电子与苹果合作开发智能居家设备,部分产品将由现代HT越南工厂生产 10月12日,据报道,LG电子正...
- 2026-10-11 07:19 | IT之家:微软 CEO 纳德拉:开发者应当默认假设 AI 模型失控,思考如何强制中断任务阅读原文
IT之家 10 月 11 日消息,微软 CEO 萨蒂亚 · 纳德拉认为,在 AI 日益蓬勃发展的时代,使用超级智能自我监控等简单策略是不够的。纳德拉在北京时间 10 月 10 日晚的一篇长文中指出,传统软件系统在过去几十年中被广泛部署,人类已经拥有追踪特定代码路径行为的工具和能力。然而,AI 模型比传统软件更强大,但却是一个黑盒子,我们部署了这些复杂的智能体系统和模型,访问我们最敏感的数据,并赋予它们代表我们执行关键任务的能力。纳德拉认为,我们应该退一步思考,重新评估这个新时代的信任架构。模型提供商根本无法将责任外包出去,不能把超级智能当作一套嵌套的黑匣子,简单地接受或拒绝它的建议、答案和行动...
- 2026-10-10 15:00 | 界面新闻:微软CEO纳德拉警告AI模型或构成“内部风险”,呼吁建立独立管控机制阅读原文
当地时间10月10日,微软首席执行官萨蒂亚·纳德拉(Satya Nadella)发文称,随着人工智能模型能力增强,企业正赋予其访问敏感数据和执行关键任务的权限,但目前仍难以将模型的具体行为和输出追溯至特定训练数据或模型参数。他呼吁重新审视AI时代的信任架构,将前沿闭源及开放权重模型视为潜在的“内部风险”,并在模型之外建立独立的权限管理与安全控制机制。 纳德拉提出,企业应确保模型行为可观测、结果可验证、权限可独立控制,并保留人工随时暂停或关闭模型的能力。他还强调,应建立模型多样性、独立审计和事故及时披露等机制,避免由同一模型同时执行任务并验证自身结果。