2026-10-28 12:10
最后更新于2026-10-28 12:44
AI123

Cognition发布FrontierCode 2.0编码基准,Claude Opus 5.5以46%通过率领先

10月28日,AI编程工具公司Cognition发布了其私有编码基准测试FrontierCode 2.0。该基准包含132个来自真实开源仓库的任务,以仓库维护者是否会合并智能体提交的改动作为评分标准,任何未通过关键检查的尝试记0分。为避免数据污染,测试任务保持非公开。

据Artificial Analysis披露的评测结果,Claude Opus 5.5(max)以46%的成绩位居榜首,GPT-6 Astra(max)、GPT-6.1 Terra(max)和Claude Sonnet 5.5(max)均为42%。在开源权重模型中,DeepSeek V4.1 Flash 1017(max)得分最高,达到28%,与领先模型相差18个百分点。

每项任务均在Cognition的智能体运行环境Stirrup中执行三次。FrontierCode 2.0是其上一代编码基准的更新版本,旨在衡量AI智能体在真实软件开发场景中的代码修改能力。

来源
  1. 2026-10-28 10:11 | X:RT Artificial Analysis: Re FrontierCode 2.0 is the latest update of @cognition's private coding benchmark. Launched earlier today, it comprises 132 ta...
    阅读原文

    RT Artificial Analysis Re FrontierCode 2.0 is the latest update of @cognition's private coding benchmark. Launched earlier today, it comprises 132 tasks in real open-source repositories, graded on whether a maintainer would merge the agent's change. An attempt that fails any blocking check scores 0,...

其他新闻

查看全部