2026-11-14 02:21
最后更新于2026-11-21 14:35
AI123

XYBench基准发布:8115个问题测试大模型识别误解

研究团队发布XYBench基准,包含8115个真实问题,用于测试AI助手能否识别用户提问中的隐含误解,并引导其转向真正目标。该基准由卡内基梅隆大学、英伟达和约翰斯·霍普金斯大学研究者共同开发,获EMNLP 2026最佳资源论文奖。

XYBench覆盖编程以及烹饪、家居维修等日常场景,衡量三个层面:是否分别给出表面请求和真实目标的解决方案、回答重点放在哪一侧,以及是否识别误解并劝阻错误做法。

Claude Sonnet 4.5担任自动评判,两名人类评审独立评估500条回答,一致率在是否给出解决方案上为97.5%—100%,误解识别为84.6%—93.3%,回答重点为74.2%—79.8%。

在单轮测试中,研究团队评估了Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro。所有模型都更常给出表面请求的解决方案。以Stack Overflow问题为例,这类回答占75%—86%,针对真实目标的解决方案占59%—71%;主要聚焦真实目标的回答仅占35%—41%,聚焦表面请求的占47%—57%。

研究团队称,五个模型都不如人类参考答案那样更可能把用户引离错误做法。另一项二选一实验中,六个模型有71%—84%选择聚焦真实目标的答案,但主测试中生成此类答案的比例只有35%—41%。基准目前主要覆盖英语查询和程序性问题。

来源
  1. 2026-11-14 01:02 | Huggingface:XYBench: Helping with the problem behind the question
    阅读原文

    📄 Paper | 🤗 Data | 💻 Code Truly useful AI assistants need to be able to help users who ask misguided questions—not just users who ask the right question with the right amount of detail. We’re releasing XYBench, a benchmark of 8K+ questions that tests how AI assistants respond to requests based o...

其他新闻

查看全部