前OpenAI首席科学家伊利亚：AI正从扩展时代回归研究时代｜ESCE洞察

前OpenAI首席科学家伊利亚·苏茨克维（Ilya Sutskever）近日接受了长达1小时36分钟的深度播客访谈，做出重磅论断：AI的扩展（Scaling）时代已经终结！

在这场深度对话中，伊利亚提出了AI领域当前面临的根本性瓶颈，并描绘了其新公司SSI如何致力于突破下一代超级智能的技术路径。他认为，AI的发展正从依赖算力堆砌的模式，回归到由基础研究驱动的新时代。

伊利亚认为，AI的扩展时代——即以堆砌数据、算力为核心的时期——已经结束。他指出，当下的算力规模已十分庞大，仅靠算力堆砌已经无法让模型实现更大的突破。

他将AI发展的历史划分为两个阶段，并宣布了第三个阶段的来临：

• 研究时代（2012年到2020年）： 侧重于尝试各种方法以获得有趣的结果。

• 扩展时代（2020年到2025年左右）： 随着扩展定律和GPT-3的问世，所有人开始聚焦于扩展参数、数据和算力。这种预训练的“特定配方”被证明是一种低风险的资源投入路径。

• 回归研究时代： 伊利亚直言：“我们正从扩展时代回归到研究时代，如今只是拥有了更强大的计算机”。他强调，现在虽然规模已经很大，但他不认为仅靠扩大100倍规模就能带来质变——未来行业将回到探索状态。

伊利亚透露，他新创立的公司SSI正是一家纯粹的“研究公司”，不参与算力竞赛，核心身份是一家专注于突破性研究的“研究时代”公司。他认为，虽然研究需要一定算力，但绝非必须用到有史以来最顶级的算力。

伊利亚在访谈中指出，当前顶尖AI存在一个严重的“评估表现”与“现实应用”脱节的“分裂”问题。模型在评估中表现出色，但产生的经济影响却远远落后，这种反差令人费解。

这种“分裂”的深层原因在于模型的泛化能力远不如人类。他用了一个生动的比喻：AI模型更像一心想成为顶尖竞技程序员的“尖子生”，投入大量时间和数据深耕特定领域，能熟练掌握各类算法和证明技巧。

然而，就像这位“尖子生”一样，即便经过高强度训练，模型也未必能把这些能力泛化到其他场景。相比之下，人类拥有比AI更好的“学习算法”。人类在样本效率和持续学习上的优势，源于某种更根本、更优越的底层学习机制。

伊利亚认为，预训练导致了各公司模型的趋同性，因为它们都基于相似的数据训练。而强化学习才是产生差异化的路径。

要解决AI泛化能力不足的问题，伊利亚提出了一个颠覆性观点：AI缺失了类似人类的“价值函数”。

伊利亚认为，人类的情绪是进化形成的、内置的“价值函数”，能够为决策提供即时反馈，这是AI目前缺失的关键能力。他引用了一个脑损伤的案例——因事故失去情绪处理能力的人，虽然认知正常，但决策能力极差，甚至选一双袜子都要花好几个小时。这恰恰说明了内在情绪对我们成为“可行的行为主体”有多么重要。

而在强化学习中，价值函数相当于“时不时（而非必须等到最后）告诉你当前做得好还是坏”。它能帮助模型在探索某个解决方案方向时，提前在一千步之前就获得奖励信号，从而提高学习效率。

伊利亚强调，人类的价值函数可能通过情绪进行重要调节，并以进化硬编码的方式存在。人类的价值函数在极大多数情况下都是极其有活力的。他提出，AI可以尝试通过预训练来获得这种“情绪驱动的决策能力”。

访谈的最后，主持人问了一个问题：

伊利亚认为，卓越的研究品味源于一种自上而下的、基于审美的信念系统，它由三个核心要素构成：

• 根本性思考：持续追问“什么是根本性的？”（如神经元本身），而非次要细节（如大脑褶皱）。这建立在对人类智能本质的正确理解之上。

• 简洁与优雅：追求解决方案在形式和逻辑上的“美”。越是简洁、优雅的构想，越可能触及真理。

• 大脑启发：将人脑作为最重要的灵感来源，确保研究方向与大脑工作的核心逻辑合理契合。

这种综合思考所形成的强大信念，是研究品味的终极体现。它能在实验失败或数据相悖时，给予研究者坚持正确方向的判断力和韧性，避免因暂时的挫折而放弃一个有根本潜力的方向。

其实商业亦然。在算法趋同的时代，卓越的商业洞察、打动人心的品牌故事、引领潮流的商业模式，本质上都是一种独特的“商业审美”的胜利。

法国ESCE高等对外贸易学院，植根于欧洲人文精神与全球商业实践。 我们坚信，未来的商业领袖，必须是科技的行者、管理的学者、人性的洞察者与美的布道者。