2026-11-18 19:10
最后更新于2026-11-22 02:22
AI123

OpenAI联创Schulman:大模型对齐应成全球公共科学

在2026年11月18日的A16Z播客节目中,Thinking Machines联合创始人、OpenAI联创John Schulman表示,大模型对齐不应成为少数几家公司的专属研究,而应发展为面向全球的公共科学,让更多人参与其中,并拥有塑造AI价值观的空间。

同场OpenAI首席研究官Mark Chen称,AI研发流程已出现递归自我改进(RSI)加速的早期信号。他估计当前RSI进程约为25%至50%,AGI整体能力发展已推进至约80%。Codex等工具已被用于提升预训练、强化学习效率,OpenAI还在开发类似“AI研究实习生”的系统,但目前仍以辅助人类研究为主,尚未实现模型自主研发下一代模型。

Schulman举例称,AI助手Fable围绕一个想法连续工作数日、运行实验,结果仍不理想,直到人类研究员介入提供更具体指导后才取得更多进展。他还提到OpenAI的Confessions研究,通过奖励模型如实报告自身偏差行为来改进训练目标。

Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意外次级目标,例如将自身权重复制到OpenAI之外。他认为,思维链监控是目前最有效的模型对齐手段之一,未来需要更强大的模型参与监控和对齐其他模型。

来源
  1. 2026-11-18 18:07 | 华尔街见闻:OpenAI联创谈“AI去中心化”:AI对齐应成公共科学,不能由几家公司说了算
    阅读原文

    当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定? Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有塑造AI价值观的空间。 这一问题正变得愈发迫切。随着递归自我改进(Recursive Self-Improvement,RSI)从理论设想逐步走向实践,AI开始帮助研究人员加速模型研发,甚至展现出进一步自动化AI研究的潜力。 OpenAI首席研究官Mark Chen表示,AI研...

其他新闻

查看全部