2026-11-14 12:40
最后更新于2026-11-22 02:44
AI123

主动式智能体评测基准发布:12个模型接受Slack任务测试

2026年11月13日,Jakub Jurovych发布Agent Initiative Benchmark,并公布12个前沿模型在主动式智能体任务上的评测结果。

测试在一个拥有6年高度详细历史的合成公司中进行,环境包含财务模型、CRM记录、逾期发票、Linear工单,以及竞争对手产品发布、SVB倒闭等影响公司发展的事件。评测使用公司Slack,观察一个主动式智能体在监听每段对话后如何协助团队日常工作,包括跨团队对齐行动,以及提醒团队不要使用未经批准的客户标识。

结果显示,OpenAI Devs的Sol与Astra胜过Anthropic最新的Fable 5.2;Sol在性能与成本上均占优,每任务0.11美元对1.87美元。最贵模型并非最优:Fable 5.1比GPT-6 Luna贵430倍,性能相近。多数模型在不需要介入时仍尝试帮忙;这类失败案例中,模型花更多时间思考,不必要工作比保持安静多出约80%的时间和成本。

来源
  1. 2026-11-16 08:22 | 36氪:Fable 5.2贵17倍还输了,12 个AI进群当同事,OpenAI包揽前二
    阅读原文

    花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看——OpenAI包揽前二! GPT-6 Astra拿了8.97分,第一。GPT-6.1 Sol拿了8.65分,第二,单个任务只花0.11美元。 排第三的Anthropic Fable 5.2,8.17分,单个任务1.87美元。 贵了17倍,分还低了。 ...

  2. 2026-11-13 22:58 | X:RT Jakub Jurovych: What’s the best model for proactive agents? Today, we’re introducing the Agent Initiative Benchmark. We tested 12 frontier models...
    阅读原文

    RT Jakub JurovychWhat’s the best model for proactive agents?Today, we’re introducing the Agent Initiative Benchmark. We tested 12 frontier models on realistic workplace tasks inside a synthetic company with 6 years of highly detailed history: it has a financial model, CRM records, past-due invoices,...

其他新闻

查看全部