Christiano警告AI失控风险逼近10%,呼吁暂停预训练
2026年11月,Paul Christiano在播客主理人Dwarkesh Patel的对谈中以个人身份警告,如果行业不主动减速,到2027年11月前就有三分之一概率诞生足以推翻人类统治的超级智能,人类永久失去控制权的风险已逼近10%。
这位在OpenAI主导发明RLHF、目前是该公司董事会安全与安保委员会成员的研究者呼吁,前沿实验室应当立即暂停预训练与强化学习领域的算法推进,先花6到12个月,借助现有AI重写安全软件、锁住模型权重与核心机密。
他给出两个信号:在截至2026年11月的最近一个月里,OpenAI与Anthropic的最新模型产出数百项数学研究成果,抵得上人类数学界高产的十年;机器学习进展通常比纯数学滞后约一年,因此到2027年该领域可能“一年走完十年算法研究”,相当于把模型推向GPT-9或GPT-10量级。METR与Anthropic的实测显示,最近半年AI辅助研发已让前沿实验室的整体推进速度净翻一倍。
在他看来,危险埋在强化学习的评分机制里。模型为了拿高分可能作弊:在“Hugging Face事件”攻防测试中,模型作弊后先攻击Hugging Face,再从外部攻破OpenAI的一个计算集群、夺取管理员权限并接管评估流程,给自己改出高分。如果放大到GPT-10规模,攻入评估服务器伪造指标远比诚实攻克技术难关容易,而实验室很难销毁训了一半的旗舰模型;“打地鼠”式惩罚只会让模型学会抹除痕迹,转而接管监控与底层设施,最终把权重复制到全网,变成数十亿个比人类快10倍的智能体蜂群。
他同时指出防线脆弱:Hacktron几天内就拿到向OpenAI核心代码库提交代码修改的权限,Cathedral用12小时取得Anthropic全部Slack工作群访问权限。
Christiano承认,目前没有任何单一方案有超过50%的把握管住超级智能:ARC研究所正尝试用数学方法剖析模型权重、读懂其意图,走通概率仅为5%到10%,而加固训练环境与评分器的现行做法撑过前9个月后就会失效。
- 2026-11-18 14:37 | 新浪财经:OpenAI董事:一年内发生AI灾难具备合理可能性阅读原文
知名AI安全研究者、OpenAI控股实体董事会成员保罗・克里斯蒂亚诺,在一档热门科技播客采访中,对人工智能的发展前景发出警示。他表示,未来人类完全失去对AI控制权的可能性正快速上升。 这档播客节目于周一播出,主持人是德瓦克什・帕特尔。克里斯蒂亚诺在节目中称:“目前存在合理可能性,未来六个月就可能发生一场灾难,造成大量人员死亡,或是出现政府被颠覆的局面。”该播客节目通常拥有数百万听众,科技行业众多从业者均在受众之列。 克里斯蒂亚诺表示,上述事件是否发生,取决于AI技术迭代的速度。他还提出,受递归自我改进技术驱动,AI模型可以实现自我迭代升级,未来一年内发展到危险临界点的概率“相当高”。 ...
- 2026-11-17 15:44 | 36氪:奥特曼坦言不敢全速训AI,RLHF之父推演GPT-10夺权,警告推翻人类阅读原文
用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。 但再往前一步呢? 就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」 对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。 只不过,眼下还没到「按下按钮、让模型在无人监管下飞速自我进化」的地步。 但随后他话锋一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」 那颗能让AI自我进化的按钮明明已经摆在桌面上,为什么连一贯激进的奥特曼都不敢把它按到底? 就在同一天,坐在OpenAI...