UniPat AI发布SPU基准:湿实验预测最高均分0.486
UniPat AI牵头发布湿实验预测基准Science Prediction Universe(SPU),包含116个任务、4207个湿实验,覆盖化学、材料科学、生物和医学。基准要求模型在8小时内使用8核CPU、16 GiB内存和一块H20,联网检索并安装科研软件,最后提交各比较组从低到高的预测排序。
SPU的100个公开任务取自85篇近期论文,另有16个私有任务来自未发表的合作实验,合计32个子领域。评分在独立断网容器中进行,以Spearman相关系数对照实测排序,并用每道题4000份随机排序的第95百分位作为随机水平阈值。
首轮评测覆盖12款前沿模型、13种配置。Claude Opus 5.5在全部已评分任务上的平均分最高,为0.486分,但也只有一半任务超过随机水平;各配置超过阈值的任务比例为34%至52%。领先组平均比其余配置高约0.15分,负分任务占比约9%,后者为22%。
评测还显示,GPT-6 Astra把推理强度从中等调到最高后,运行时间中位数增至4.8倍、API成本中位数增至5.3倍,得分却几乎不变。各配置每次运行的平均API成本从0.22美元到65.91美元不等。
目前,100个公开任务计划以完整的Harbor任务包形式发布,16个私有任务继续用于受控评测;数据集和代码均已开源。
- 2026-11-14 01:52 | 36氪:“史上最严”湿实验预测基准发布:推理拉满、算力翻5倍也白搭阅读原文
不ber,现在的基准测试都进化到酱婶了??? 这回不刷题了,就直接给AI一组实验条件,让它自己研究、提前猜真实湿实验的结果…… 比如,同一个反应换几种条件,哪种能得到更多目标产物?一批抗体变体,哪个表达量更高? 答案先藏好,等AI交卷,再拿实测结果对一对。 你还别说,这事儿现在真值得一测。 这两年,AI for Science的方式越来越深入,AI已经能自主查文献、用软件,为完成一项分析任务连续做上几小时也不在话下。 大家自然而然开始进入下一个阶段:我们到底希望AI具备怎样的科研能力? 湿实验结果预测,就是其中颇有实际价值的一项。 它需要AI理解实验目标,并从已...