2026-11-04 11:58
AI123

上海人工智能实验室等发布PrivacyTrace:工具调用轨迹可泄露国籍和宗教

上海人工智能实验室联合电子科技大学、悉尼大学于11月4日发布研究《工具调用能在多大程度上暴露你?来自工具调用轨迹的隐私泄露》,构建基准PrivacyTrace,量化AI Agent工具调用轨迹的隐私泄露风险。在基于MCP等标准接口的主流Agent架构中,工具服务器看不到对话,却能完整看到每次调用的工具名、参数、返回结果和调用顺序。研究合成1,000个虚拟用户、4,000条Agent轨迹和67,950条工具调用记录,让四个主流大模型仅凭轨迹推断用户的17项属性。

结果显示,盲猜成功率17.97%,拿到单域轨迹后升至26.25%;将同一用户跨四个领域的轨迹串联后可达32.77%。论文提醒,三组数字来自不同统计口径,只能视为关联而非因果;同一口径配对实验中,从单服务器视角扩大到单域视角仅提升3.09个百分点。分属性看,国籍(57.73%)和宗教信仰(50.03%)泄露最明显,邮箱和政府身份标识的正确猜测次数为零。消融实验表明,工具参数是最大的信息通道:仅加入参数时成功率升至27.71%,高于完整轨迹的26.25%;只有元数据和调用顺序时仅14.53%。

研究提出模糊化查询参数、限制轨迹留存、切断跨服务会话关联三道防御方向,但论文声明其有效性尚未经实验验证。此外,GPT-5.5跑完实验约需US$1,080,DeepSeek-V4-Flash仅约US$46,效果几乎持平。(论文:https://arxiv.org/abs/2610.41885)

来源
  1. 2026-11-04 11:27 | 新浪:你的 AI 助手正在“出卖”你:67950 条工具调用记录的隐私实验
    阅读原文

    (来源:钛媒体APP)  AI时代最私密的对话,可能不是你发出的那一句,而是 Agent 帮你发起的那一次工具调用。  你让 AI 助手查下周去伦敦的路线,它顺手调了地图服务;你让它整理体检报告,它连上了健康数据库。你和它的对话内容,理论上只有你和模型厂商能看到。但上海人工智能实验室 AgentDoG 团队最近发布的一项研究提醒我们:即便对话全程保密,AI Agent 在后台调用工具时留下的“作业痕迹”,也足以让观察者拼出你住哪里、信什么教、身体怎么样,勾出一幅相当完整的画像,虽然猜不出你的名字。  这项题为《工具调用能在多大程度上暴露你?来自工具调用轨迹的隐私泄露》的研究,由上海人工智能实验...

其他新闻

查看全部