AI当前技术路线后劲不足:模型虽持续改进,但无法实现AGI 作者: 时间:2025-11-27 来源:电子产品世界
加入技术交流群
扫码加入和技术大咖面对面交流海量资料库查询
前OpenAI联合创始人和首席科学家、GPT的关键缔造者伊利亚·苏茨克维(Ilya Sutskever),在最近的深度访谈中揭开了当前AI研究最刺痛的真相:Scaling Lar:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫这条路还能继续走,但绝不会通向AGI。他还指出,今天的模型再强,泛化能力也远远配不上其参数量和Benchmark的分数,甚至远逊于人类。
这次访谈最为关注的论点是,Ilya认为目前主流的路线已经明显遇到瓶颈,AI的扩展(Scaling)时代已经终结。其实在NeurIPS 2024上,他就曾预言“预训练的终结”,但这一次他更加明确:我们来到了研究的时代,从规模化扩展回到了研究范式本身。他认为2012年到2020年,是研究的时代;2020年到2025年,是规模化时代。但现在算力规模已经很大了,却不能持续带来更好的“扩展”,扩展与浪费算力之间的界线变得模糊。于是我们又回到了研究时代,“只是有了更大的计算机”。
AI与现实脱节
在继续通向AGI的路途中,需要解决的根本问题是,大模型的泛化能力为什么会比人类差很多。Ilya坦言,这正是当前AI令人困惑,最矛盾的点之一 —— 在各种基准评测中,AI模型性能的表现几乎“超乎人们的想象”,但在真实世界中,它却常常犯一些让人抓狂的错误。
他提出了两种可能的解释:“比较异想天开的解释是,也许强化学习(RL)训练让模型变得有点过于一根筋和视野狭窄,过于缺乏意识,尽管这同时也让它们在其他方面更有意识。正因为如此,它们无法完成一些基本的事情。”但另一个解释是,或许现在AI训练选择的数据太狭窄,相比做预训练(pre-training)时用上所有的数据,现在做强化学习训练时,会针对评测集去选择对应的数据。这有可能解释评测性能与实际现实世界性能之间的脱节。
他的猜测是,人类的价值函数在某种重要的方面受到情绪的调节,这种调节是由进化硬编码的。也许这对于人类在这个世界上有效行动很重要,“简单的东西在非常广泛的情况下非常有用”。
现在是研究时代
Ilya表示,预训练最大的突破,就是大家意识到的:“扩散”这套「配方」真的好用,但是数据显然是有限的。在某个节点上,预训练总归会把数据用光的,不过Ilya再次提到,扩散价值函数让AI以更像人类的方式学习。也就是为模型内置类似人类的判断直觉、稳定价值感受器,任务过程中的「自我评分」,这样才能学得更快。
现在大家都在做一样的事:大模型、更大模型,再大一点的模型。但随着天花板临近,瓶颈变成了点子本身。未来,将回到“小而美”的实验产生巨大突破,大量新的想法出现,以及不依赖超级算力的创新。就像AlexNet当时仅用两张GPU训出、Transformer用8-64块GPU做出,也许下一次重大范式转变,也来自“看起来不够大”的实验。

在Ilya看来,「AGI」这个词存在的理由,并不主要是因为它是一个描述某种智能终极状态的重要且本质的描述符,而是因为它是对另一个已存在术语的反应,那个术语就是「狭义AI」。如果你回溯到游戏AI的远古历史,比如跳棋AI、国际象棋AI、电脑游戏AI,国际象棋AI能打败卡斯帕罗夫,但它别的什么也不能做。
Ilya预测,大概5到20年能够像人类一样学习并因此随后变得超越人类AI系统就会出现。他确信,在某个时刻,AI实际上会开始让人感到强大。当那一刻来临时,他们会变得更加充满危机感,我们将看到对待安全的方式,所有AI公司都发生巨大变化。
-710公海寰宇