大模型干湿闭环基准AISLE发布:最高得分41.19/100
律动造物联合新南威尔士大学、新加坡国立大学、EPFL、加州大学伯克利分校等机构推出AISLE,团队称其为全球首个面向干湿实验闭环科学发现的公开基准,目标是让不同模型在统一标准下接受真实物理实验的检验。
首轮评测覆盖2个自动化实验站点、4079次真实湿实验和46626分钟运行时长,涉及GPT、Claude、Gemini等模型。评测从探索效率、实验安全、自适应鲁棒性和多模态推理四个维度展开,任务包括光学目标逆向设计、pH敏感配方优化、高分子化合物不可逆操作规划、主动pKa推断和光谱-图像多模态推理等。
结果显示,在完成全部维度评测的模型中,GPT 5.5得分最高,但在满分100分中仅得41.19分。在带安全约束的实验优化任务中,所有参测模型的完整通过率均为0%,GPT 6 Astra的得分甚至有所降低。
AISLE还为每个实验站点配置数字孪生,模型可先在数字环境中推演,再将方案送到真实设备执行;真实观测再用于校准仿真。团队表示,后续会接入更多实验室、任务和模型。
- 2026-11-09 19:42 | 新浪:AI科学家的最后一关:破解数学之后,能把实验做好吗?阅读原文
(来源:DeepTech深科技) 11 月 6 日,OpenAI 发布了一套面向实验室日常工作的评测基准 BioBasicsBench。它和一家做酶设计的生物技术公司 Ligo 合作,从真实实验中整理出 100 项任务,将凝胶电泳图、菌落平板、显微镜图像和仪器读数交给 AI,考察它能否读懂数据、发现错误,以及判断现有证据是否足以支持结论。 在 “xhigh” 设置下,也就是允许模型为每项任务投入更多推理的条件下,OpenAI 最强模型 GPT-6 Astra 平均获得了 66.7% 的可用分数,而 GPT-5.6 Sol 的得分为 43.8%。不过,OpenAI 同时指出,分数提高,并不意...
- 2026-11-09 17:11 | 新浪:AI Scientists「终极大考」,全球首个真实湿实验的Physical AI Verifier来了阅读原文
(来源:机器之心) 编辑|Youli 前段时间,Anthropic 展示了一项 AI for Science 研究成果:Claude 在 64 小时内生成了 31.8 万个蛋白质设计方案,经过筛选,211 个被送入湿实验室测试,最终有 17 个达到预设的蛋白结合标准,展示了 AI 科学设计走向真实实验验证的巨大潜力。但 Anthropic 也指出,从结合命中到真正可用的抗毒疗法,仍面临复杂的活性验证与成药性考验等一系列考验。 这道出了当前 AI for Science 最尖锐的一个现实:在虚拟世界里推演方案,与在真实物理世界里把实验做出来,完全是两回事。 那么,模型提出的方案与真实的物...