硅谷“钱太多”毁了AI ?!前OpenAI o1负责人炮轰:别吹谷歌,Q-Star 被炒成肥皂剧,7年高压被“逼疯”!

2026 年的第一个月,Jerry Tworek 离开 OpenAI 的消息传出来时,几位 OpenAI 的员工在 X 上几乎失控地发声:“我真的崩溃了”“这太难受了”。大家的反应像是:这事来得太突然,也太重。
Jerry 是现代 AI 浪潮背后最有影响力、却也最少公开露面的关键人物之一。 2019 年加入 OpenAI 时,当时该公司还只有约 30 名员工。他参与了许多最重要的项目,包括后来被称为 Q-Star 和 Strawberry 的推理方法,最终发展成为 o1 推理模型。
这次离职后,他在接受 Core Memory 的播客采访时解释了原因:他想从事有风险的基础研究,这种研究在像 OpenAI 这样的公司已经不可能进行了,因为像用户增长这样的指标才是优先考虑的。他对 ChatGPT 广告的看法体现了研究与商业化之间的脱节:“这是一种商业策略,而我负责训练模型。” 这番言论印证了有关 OpenAI 人工智能研究与产品开发之间日益加剧的分歧的传言。
Tworek 指出,创新不足的原因有很多。最佳模型的竞争异常激烈,公司需要不断展现实力才能留住用户并证明 GPU 成本的合理性。僵化的组织结构更是雪上加霜,组织架构图决定了哪些研究是可能的:团队各自为政,职责分明,跨团队研究难以开展,Tworek 解释道。
这场采访,也是一次“离职解读”,Jerry 还批评了整个人工智能行业,指出所有主要的人工智能公司都在开发几乎相同的技术,产品也几乎没有区别,这迫使研究人员追求短期利益,而不是实验性突破。更重要的是,他开始认真思考:如果研究真的需要冒险、需要不同路径,那他是否还应该继续待在这场高度同质化的竞赛中。
在 Tworek 看来,谷歌之所以能够在 AI 竞赛中成功追赶 OpenAI,本质上是 OpenAI 自身的失误。他表示,这家 AI 实验室犯了一些错误,行动过于缓慢,没能充分利用自己原本拥有的巨大领先优势;而与此同时,谷歌则做出了许多正确的决策。
当被问及 OpenAI 的具体问题时,Tworek 并未展开细说,只是暗示:员工流失有时是更深层问题的表象。他强调说,人走人来本来很正常,但如果一波人是因为“方向不对、决策错了”才走,那就说明公司里确实有点事——也难怪有些关键推进会慢得不该那么慢。
与这种“慢得不该那么慢”的状态形成对照的,是 Tworek 对 Anthropic 的评价。在播客中,他高度评价了这家 OpenAI 最强的初创公司对手,认为它在过去一年里展现出了一种罕见的“清晰感”:算力更少、团队更小,却异常专注,执行力极强。他特别提到 Anthropic 在代码模型与代码 Agent 方向上的进展——那不是靠简单堆规模取得的成果,而是一种“非常清楚自己在做什么”的工程与研究结合状态。
随着谈话继续,话题很快从技术转向了另一件更微妙的事。
Jerry 说,这几年最让他感到“不对劲”的,并不只是研究路线,而是整个大模型行业正在发生的变化。他形容现在的状态有点像这样:你做出一个新东西,大家还没真正弄清楚它是什么,它已经被卷进了一整套剧情里。谁离职、谁跳槽、谁被挖、谁“内部有分歧”,每天都像连续剧更新;湾区像一个巨大的转会市场,研究者在几家前沿实验室之间流动,围观者负责情绪,媒体负责剪辑——研究现场,被包裹进了一层娱乐业式的叙事。
“技术、概念、人类情绪、现实生活,是分不开的。”Jerry 说。
当一个行业被持续围观,每一次进展都会被强行赋予意义,每一次内部变化都会被解读成信号,整个系统就会被不断加压。你不是在安静地做研究,而是在聚光灯下跑一场没有终点的马拉松。
他用一个很个人的比喻形容这七年:“像做俯卧撑。”每一次高压过去,你会更能扛一点。 你学会屏蔽噪音,学会在混乱中保持稳定。但代价是,你也会慢慢习惯这种状态——把异常当成常态,把围观当成空气,把压力当成日常。
我们翻译并整理了这期播客的完整对话,以飨读者。
当整个大模型行业只剩
下一套“配方”,有些人宁愿离场
Jerry: 我已经失业八天了,确实是一种变化。我已经很久没有失业过了,但这件事也有很多好处。比如我现在晒太阳的时间多了很多。

大家好,我做了一个艰难的决定:离开 OpenAI。
我在这里将近七年,经历了很多美好与疯狂的时刻——但美好远远多于疯狂。
我非常享受和这支团队共事的时光。我有机会在“机器人上的强化学习规模化”还没流行之前就参与其中;训练了世界上最早的一批代码模型,推动了 LLM 编程革命;在“Chinchilla(缩放规律)”还没被叫作 Chinchilla 之前就发现了它;参与了 GPT-4 和 ChatGPT 的工作;最近则是组建了一支团队,建立了一种训练与推理算力规模化的新范式——我们通常把它称为“推理模型”。
我在这里结识了许多朋友,有些夜晚也在办公室度过;我参与并见证了相当多的技术突破;也和许多我视为至亲的人一起欢笑、一起担忧。我有幸招募并壮大了——在我看来——世界上最强的机器学习团队。
这段旅程非常精彩。虽然我将离开,去探索一些在 OpenAI 很难开展的研究方向,但这依然是一家特别的公司、一个特别的地方,它已经在全人类的历史中占据了永恒的一席之地。


Jerry: 某种意义上,这事挺棘手的:我如果不自己说,媒体迟早也会替我说——要么写成“独家”,要么当成“泄露”。所以我宁愿自己把话讲清楚,省得消息一传十、十传百,越传越走样。
主持人: 对,我们最怕“越传越离谱”。你其实可以先跟我们说。
Jerry:(笑)我可以随时给你们打电话,告诉你们我生活里发生的任何事——比如我中午吃了什么。
Jerry: 老实说,我在 OpenAI 的每一年,都像是在一家完全不同的公司里。无论是公司本身的高速增长,还是整个 AI 世界的变化速度,都非常罕见。我不觉得历史上有很多类似的例子。我很高兴自己亲身经历了这一切。几乎每一个阶段,情况都完全不同。
主持人: 你 2019 年加入的时候,公司大概只有 30 人左右?
Jerry: 对,大概就是那个规模。
主持人: 那现在呢?几千人?
Jerry: 已经没法数清楚了。现在是一家规模非常大的公司,有很多办公室,全球各地都有团队。现在几乎很难找到没听说过 OpenAI 的人。我加入的时候,还是几个小团队各自在做自己的小研究项目。那时唯一始终不变的,是野心——从一开始就瞄准 AGI,想要改变世界、产生正向影响。我觉得公司在这方面做得非常成功。ChatGPT 把一种“可用的智能”分发给了非常多的人,这本身就是一件非常了不起的事情。
Jerry: 确实有很多。我现在正在慢慢梳理下一步要做什么。在这个行业待了这么多年,我本来就认识很多人,也有很多联系。从积极的角度看,我并不急着立刻做决定。过去很多年我工作得非常拼,几乎没有时间去见人、聊天。现在终于有机会停下来,认真想一想接下来的七年要怎么度过。
Jerry: 是这样:在一家必须参与当下这种极其残酷、极其高压的竞赛、必须争夺“世界上最强 AI 模型”的公司里,有些事情就是很难做。这背后有几个方面的原因。
其中一个因素是风险偏好。公司愿意承担多大风险,会受到很多现实约束:比如不能落后于用户增长指标,比如 GPU 成本极其高昂。因此,向外界展示实力、持续拥有最强模型,对所有主要 AI 公司来说都非常重要。但这确实会影响你愿意承担风险的“胃口”。
另一个很难的取舍是组织架构。公司有 org chart,而 org chart 往往决定了你能做什么研究。每个团队都需要一个身份、一个研究范围、一组他们要解决的问题。跨组织的研究就会变得非常困难。
我也不确定这是不是一个已经被完全解决的问题:当研究规模变得很大时,究竟该如何把研究组织好?研究本身喜欢动态,甚至可以说喜欢混沌;但一大群人需要秩序、结构和组织架构。
所以,“把组织架构交付出去(shipping your org chart)”成了一种非常普遍的现象,研究也不例外。你最终会做那些组织结构最容易支持的项目。而与此同时,我确实想做一些研究,但公司的组织结构并不容易支持我去做这些事情。
Jerry: 我想,其实 AI 世界里的每一位研究者,都想参与下一次真正的突破——我当然也包括在内。
而在某个时刻,公司终究是一家资源有限的组织——哪怕这些资源已经非常多了——也必须做出取舍。所以,这必然是一个非常艰难的决策过程。也正因为如此,我在思考的那些方向,大概确实属于那种“相当新、相当不寻常”的路径:公司需要判断,我们到底要不要往这个方向走?现在有没有能力、有没有余力去承担这种不确定性?我们是否能在当下负担得起?
Jerry: 关于“研究时代”的判断,我不确定事情是否真的像他说的那样是非黑即白的。但我非常确定的一点是:在 AI 和机器学习的世界里,还有大量东西尚未被真正探索。
大约六年前,我们基本确定了以 Transformer 为核心的架构路线。此后相当长一段时间里,整个行业都在持续扩大 Transformer 的规模,而且进展确实不错。路径也非常清晰:每个季度用稍多一点算力、稍多一点数据,训练出一个更强的模型。到目前为止,这条路看起来并没有明显的“天花板”,进步仍在持续。
但问题是:这就是终点了吗?这是最后一条路了吗?我几乎可以确定不是。
我们还有很多改进模型的方式,目前根本还没真正开始做。正如你刚才提到的,我自己主要做的是“推理”,以及扩大强化学习的规模。在那之前,整个领域几乎所有的“大赌注”都押在 Transformer 的预训练规模上。
扩大预训练规模,确实是一种有效的扩展方式,而且效果很好。每一次更大规模的预训练,模型能力都会整体提升,各方面都会变强。所以你当然可以说:那我们就继续扩展预训练规模,模型自然会越来越好。
但后来,有那么一小撮“做梦的人”、研究者开始相信:事情不止这一种做法。我们不只是扩展预训练,还可以在语言模型之上,大规模扩展强化学习,而且投入的计算量可以和预训练处在同一个量级。这样做,能够教会模型一些 仅靠预训练永远学不会的东西。
正因为如此,我们今天才有了这些令人惊叹的 Agent:它们可以自动化工作、解决复杂问题。而如果只靠预训练模型去完成这些任务,可能需要极其夸张的算力和数据量。
也就是说,当你发明了一种新的“扩展方式”,你就会得到一整套全新的能力;而如果你只是沿着原有的预训练扩展路线走,那可能要花非常、非常久,才能逼近这些能力。这一次,其实是一次相当大的跃迁。
在我看来,自从 GPT-4 引入以来,“推理模型”几乎是这几年里最重要的一次能力跃升。而我相信,类似这样的跃迁还会出现不止一次。
所以我一直觉得,研究者不应该只盯着“渐进式改进”,而是要去思考:有没有办法把整个棋盘掀翻?
Jerry: 是的。但我并不认为这等于在说“预训练已经结束了”。预训练仍然在持续改进,而且还有很多方式可以继续优化它。但它已经不再是唯一的改进路径,而且其他路径,可能在很多维度上能更快地带来提升。
扩大预训练规模,在很多能力上提升得其实非常慢——它确实会让模型更好,但提升是渐进的。而与此同时,可能还存在其他方式,能带来更大的跃迁。
可一旦某个方向“爆了”,事情就会反过来——会形成一种巨大的共识。突然之间,所有人都开始说:“我们就该这么做。”然后大家不再讨论“该不该走这条路”,而是开始比拼“谁在这条路上跑得更快”。
这其实就是你刚才描述的那种状态。那么问题来了:当我们已经进入这种“模型竞赛”,而且已经持续了两三年之后,会不会出问题?是不是所有主要实验室都变得越来越保守?这会不会成为一个普遍性的结构问题?
Jerry:让我感到非常“难过”的事,就是现在几乎所有 AI 实验室都在试图做和 OpenAI 一模一样的事情。
OpenAI 显然是一家非常成功的公司,它在很多关键问题上做对了选择,把整个世界带进了“规模化 Transformer”的范式之中,也证明了:通过扩展机器学习模型的规模,确实可以为世界带来大量非常有价值、非常有用的能力。
但问题是:这个世界究竟需要多少家“做完全同一件事”的公司?我不知道。竞争当然是好事,所以肯定不止一家更好。但 现在我们大概已经有五家相当严肃、体量巨大的 AI 公司,基本上在用完全同一套“配方”,试图在同一套技术之上,做出一点点差异化的产品。
也许这确实是对的选择,但我还是希望能看到更多多样性——更多模型层面的差异。
如果你去看现在世界上最好的那些模型,实际上很少有人真的能注意到它们之间的区别。我觉得应该做更多“盲测”:让人们分别和不同模型对话,看他们是否真的能分辨出哪个是哪个。我敢说,99.9% 的用户根本察觉不出来这些模型有什么不同;在他们的感受里,这些模型几乎一模一样。
即便背后是不同团队,在做一些细微不同的事情,但所有实验室都觉得“我们在这个点上做得稍微好一点”“对方在另一个技巧上可能更强”,最终的结果却是:大家全都挤在一个非常接近的位置上。
那真正的探索在哪里?真正的创新空间在哪里?真正能让你和别人拉开距离的差异化又在哪里?
话说回来,我想问一个可能有点尖锐的问题:你在 OpenAI 待了这么久,在公司内部算是传奇人物之一,而且你的履历也证明,你参与的项目往往能做成。那从外界看,如果连你这样的人都觉得——自己真正想做的研究在公司里推进起来足够困难,以至于最后选择离开——这是不是一个不太好的信号?尤其对一家最初以研究实验室起家的公司来说,这意味着什么?
Jerry: 我觉得有时候,人和组织都会成长到一个阶段:必须意识到,彼此的道路需要分开。
对一家单一公司来说,非常重要的一点是:公司内部的人,必须在某种程度上对目标、对前进路径保持一致。而在某个时刻,我对“未来研究路径”的判断,和 OpenAI 选择的方向,至少在一些足够重要的点上,出现了分歧——包括接下来一年研究该是什么样子。
在这种情况下,我认为分开,反而比强行在分歧中继续合作要好得多。否则,那些分歧可能会不断积累、发酵。
所以我反而认为:不同公司去做同样的事情,在某种意义上是合理的。因为专注对于一家公司来说非常重要,而 OpenAI 很可能正在做所有“正确的事”。
也许只是我自己有一些不太现实的梦想;也许我对“还能做些什么其他事情”过于乐观——这完全有可能。
很多公司必须专注于自己的核心路径,才能活下来,才能进入下一个阶段。所以在一个理想的世界里,应该有很多不同的公司,在做很多不同的事情。而研究者——尤其是那些很难去做自己并不真正相信之事的研究者——应该能找到一个地方,在那里,他们能投入到自己最相信的研究方向中。最终,历史会证明哪一条路是对的。
正因为如此,我才会对“大家都在做同一件事”感到有点难过。因为在当下,如果你想做一些偏离主流机器学习路线的事情,真的非常难找到一个合适的地方。这大概是我目前最感到遗憾的一点。
Jerry: 我当然还在认真思考下一阶段。但如果有更多“稍微偏离主流、但依然具备规模”的选择,那我会更开心,也会更容易做决定。
Jerry: 这正是一个非常有意思的问题。
我其实非常喜欢冒风险,也经常被人这样评价。我认为,冒风险本身是一件好事。但当你面对的是“巨额资金在押”的局面时,真正有能力、也愿意承担风险的人,其实非常非常少。
每个人的风险偏好都是极其个人化、极其独特的。我和很多人共事过,我真心觉得:人们应该愿意多承担一些风险,多去尝试一些事情。
但另一方面,现在 AI 世界里的研究者薪酬已经高得离谱了。这在某种程度上,也会让人变得非常害怕失去工作、害怕一次不好的绩效周期。结果就是:人们更倾向于追求短期、确定性的收益路径。而这些人本身往往都是非常聪明、动机也非常正直的研究者。只是整个系统在某些地方,确实更容易鼓励“短视”。
我认为,研究者应该被更明确地鼓励去冒风险、去下大胆的赌注,因为真正的进步,正是这样发生的。
Yann LeCun 的世界模型,
“方向无疑是正确的”
Jerry: 这正是事情变得非常困难的地方,同时也是一个非常值得解决的问题。
世界上其实有大量学术研究在发生,也有很多学生在做各种各样的事情,但其中大多数都严重缺乏资源。这使得很多研究最终走不远,因为你真正想做的研究,往往必须在“大规模”下才能完成。
但这也是让我感到非常乐观的一点:现在确实有相当多的资金,正在流向那些“想做新东西”的人。像 John Carmack、像 Ilya——他们做的事情,正是当下这个时代应该存在、也应该被资助的。当然,不是所有尝试都会成功,但其中一定会有一些成功,而创新正是这样发生的。对于任何一个强化学习研究者来说,“探索(exploration)与利用(exploitation)”之间的权衡,都是一个非常基础、非常重要的概念。
即便是在优化 agent 时,你也必须不断权衡:是走已经被证明有效的路径,还是去尝试全新的方法,用完全不同的方式解决老问题?这是一个非常困难的取舍,但它本身就是一个被研究、也值得研究的问题。而正如我们在设计 agent 时会思考这个问题一样,我们也应该反过来问自己:我们自己在做研究时,是如何在探索与利用之间取舍的?
Jerry: 老实说,我并不完全清楚。但如果我没记错的话,我隐约知道一些。他可能是在押注一种非常端到端的强化学习方式——通过鼠标和键盘,在电脑游戏中训练 agent。
如果真是这样,那其实非常有意思。因为我长期以来一直在想:电子游戏,可能是训练智能体的最有趣环境之一。游戏本身就是为了“对人类大脑有吸引力”而设计的。它们包含故事、权力幻想,但更重要的是:大量的问题求解。游戏必须有趣、必须有挑战、不能重复。
在某种意义上,电子游戏非常贴合人类智能,它们天然地在教你资源分配、解谜、如何在不同规则下取胜——这正是我们希望 agent 能学会的事情。当然,我们现在还没有真正能在高频、多模态环境中稳定运行的超强模型,可能存在一些架构层面的限制。但我认为,用电子游戏来训练 AI,是一件非常值得做的事情。
Demis Hassabis 也长期在追逐类似的方向。所以你提到这一点很有意思——这其实是一个“老想法”。一段时间里,各大实验室都在比谁能打通更复杂的游戏、谁能更好地“秀”成果;后来在 ChatGPT 时代,这条路线似乎被边缘化了。但也许,它仍然有潜力。
Jerry: 在科学史上,有一个非常常见的现象:好的想法,往往会反复出现。真正困难的,并不是提前预测“哪个想法是重要的”,而是判断“什么时候是对的时机”。即便在 OpenAI 早期,我们也常说:不能断言某种方法“行不通”,也许只是“现在还行不通”。
我七年前刚加入 OpenAI 时,强化学习在游戏上是一个非常火的方向。我们解决了很多游戏问题:StarCraft、Dota,而 AlphaGo 更是一个标志性时刻。但这些模型有一个非常明显的缺陷:它们几乎没有世界知识。它们并不理解我们的世界,只是从零开始,专门为某一个游戏训练。
这显然不是正确的路径。我们必须先教模型理解世界,理解更高层次的概念,而不仅仅是对像素做出反应。从零开始的强化学习,更像是“猴脑”或“蜥蜴脑”。而我们想要的,是具备更高层次抽象能力的模型。
在多年大规模预训练之后,我们现在已经能够学到一套非常强的“世界表征”。而接下来,我们应该利用它。这正是“推理模型”的核心魔法:在一个对世界有深刻理解的基础之上,叠加一层强化学习。未来就应该沿着这个方向前进。
Jerry:这个方向毫无疑问是正确的。真正有挑战性的,是:如何把从世界建模中学到的表征,与强化学习真正结合起来。
强化学习教会模型“技能”——让它学会如何在世界中实现自己的目标。但在此之前,模型必须先理解世界,否则它连“如何设定目标”“如何达成目标”都无从谈起。
正因为如此,这两件事情必须结合起来。
如果有人能在一个高质量世界模型之上,真正把强化学习跑通,那将会是一个非常令人振奋的时刻。
Jerry: 我现在最兴奋的研究方向大概有两个。主要原因也很简单:我不觉得重复去做各大实验室正在做的那套事情有什么意义。现有体系里当然还有很多可以微调、可以改进的地方,但我认为有两个方向长期被低估了投入——或者至少没有得到足够的资源与重视。
第一,是某种意义上的“架构创新”。我觉得我们对 Transformer 架构有点过于“路径依赖”了。Transformer 确实很伟大,也被非常深入地研究过。人们一直试图在本地做一些小改动,让 Transformer 更强,但这件事并不容易。虽然也有一些相当成功的改进——比如稀疏化非常成功;还有各种让注意力计算更便宜的方法,也取得了不错的效果。
但 Transformer 会是机器学习的最终架构吗?显然不会。尽管 Transformer 的发明者做出了惊人的贡献,并且几乎定义了接下来十年的机器学习格局,但我相信一定还有更多可能。
一定存在一些训练大模型的方法——它们也许有点像 Transformer,也许完全不像。我觉得这是一个值得去解决的问题。甚至如果没有别人去做,我也愿意卷起袖子自己上,试着把它做出来。
第二个方向相对更“热门”,但我觉得几乎没有人把它做得真正好,那就是持续学习(continual learning):如何把测试时(test time)与训练时(train time)真正打通、真正融合起来。
人类显然就是这样运作的:我们没有一个“专门学习模式”和一个“专门回答问题模式”。学习与反应是连续发生的、时时刻刻都在进行。我觉得我们的模型也应该更接近这种状态。
这可能是我们在把模型真正称为 AGI 之前,最后几个关键能力要素之一。如果模型不能从它看到的数据中持续学习,它就仍然显得有点受限——甚至有点“笨”。
Jerry: 我个人的看法是:我对时间线做了一点更新。
我一直认为,把强化学习规模化(scaling reinforcement learning)是通向 AGI 的必要部分。一年、或一年半之前,我非常坚定地认为:只要把 RL 规模化到我们的模型之上,那就是 AGI 了。但我确实不得不稍微修正这个判断。因为有些东西,只有当你真的到了“下一阶段”之后才看得见。
我们也必须承认:今天的模型在很多方面已经非常非常强了。就拿编码来说——“vibe coding”是我最喜欢的爱好之一,你现在可以非常快地写出很多东西。对一些十年前的人来说,如果你把今天这些能力展示给他们,他们可能已经会把它叫做 AGI 了。
所以我不觉得谈 AGI 还是一种多么离谱、多么疯狂的事。但至少按我的定义,现在的模型仍然不是 AGI——原因之一是:持续学习完全还没有以真正的方式被整合进模型体系里。
除此之外,还有很多问题。比如多模态感知:如果模型文本理解很强、编程也很强,但它看不见真实世界、不能看视频并且很好地理解视频,那我们能称它为 AGI 吗?
所以我认为,要真正达到那个“文明级里程碑”——构建 AGI——还有很多必要步骤要完成。
有一段时间我曾想:如果我们真的拼命推进,并且把所有关键问题都做得足够好,也许 2026 年至少能实现非常强的持续学习,以及真正通用的强化学习。
我觉得我的时间线仍在漂移。但与此同时,AI 领域移动得太快了:投资在年复一年累积增长,越来越多人进入 AI 领域,人才池变大,我们探索的想法数量也变多。
所以我不觉得“这个想法完全荒唐”。也许会早一点,也许会晚一点:可能是 2026,也可能 2027、2028、2029。我不觉得会比这更久太多。但确实还有很多工作要做。不过人们正在非常努力地做 AGI。
但我第一次用它的时候,并没有到那种“把我吓死”的程度。你懂我意思吧?
Jerry: 我懂你意思。
这其实涉及人类心理,以及我们如何与技术互动的方式。对我来说,把强化学习规模化带来的效果仍然非常显著,而且我觉得随着时间推移,我们会看到更多影响。
尤其是应用在编程上,这会以很多很多方式改变我们的生活。你今天做一个大规模编程项目,和一年前相比,完全是另一种游戏。我们会在很多领域看到这种变化带来的连锁影响。
但我也想说:两年前,当我和团队、以及 OpenAI 的很多人第一次看到 Q-Star 的一些早期迹象真的开始工作时——你坐在一个房间里,看到一种“有意义的新技术”正在出现。
如果你在那一刻不感到一点害怕、不感到一点担忧、不暂停一下想一想“这对世界意味着什么后果”,那我会觉得你没有在负责任地对待自己的工作。我认为每一个 AI 研究者都应该想这些问题:如果我正在做的东西是全新的、它展现出了以前从未出现过的新能力,那世界会发生什么?
很多研究者确实会这么想。当然,有时候也会把担忧推得太远。一方面,到目前为止,AI 还没有给世界带来什么“实质性的重大伤害”;但另一方面,一些事情(比如“某些很花哨的东西”)是不是算有问题——也许还可以争论。(笑)
但总体来说,我认为:当你向世界释放新技术时,感到担忧与谨慎,是一种非常好、也非常健康的反应。
我们正在经历一个变化的时代:大量新事物正在扩散到世界里,它们会产生影响——影响人们如何生活,如何看待自己、看待他人;影响人际关系、国际关系;影响 GDP、影响生产力。
有时候,一个人写下的一行代码,就可能引发连锁反应。经历了这一切,肩膀上的单子就相当重。
为什么大模型行业叙事
变成了肥皂剧、真人秀
Jerry: 技术、概念、人类情绪、人类生活、人和人之间的协议与分歧——在现实里很难被切开来看。
我们确实活在一个世界里:AI 领域的重要参与者之间,有一个非常复杂的关系网络,很多层次叠在一起。要把它完全理清楚,可能得历史学家花很多年、甚至几十年,才能真正弄明白到底发生了什么、哪些因素起了关键作用。
老实说,到现在为止,我对那段时间发生的一切也只剩下非常零散的记忆。我们也在不断“补课”——每当有新的证词出现、每当新的文件被披露,就会冒出一些新事实。未来某个时刻,肯定会有人把所有内容都挖出来、完整还原。
但现实世界就是这么复杂。我也确实觉得,也许应该有一种更健康的方式来讨论技术:找到一个更合适的讨论场域,让分歧能够被更充分、更有建设性地展开。但我们生活在这样一个世界里:没有完美解,也不存在一种绝对正确的讨论机制。
Jerry: 我个人其实很喜欢在 X 上发内容,分享想法,和社区交流。但它也不是一个完全严肃的地方——很多时候都是半开玩笑、半认真。更核心的问题是:有人担心某件事太危险不该继续;有人觉得继续做是对的,因为它会增强能力;还有人认为方向本身就不对,我们应该做别的研究。
在技术进步与研究的世界里,这些事情很多都是未知的。没人知道未来。我们只有想法、信念和梦想。
我们必须和这种不确定性共处,也必须学会在很多问题上“求同存异”——很多时候只能接受:大家各自下注、各自承担后果。
Jerry: 我了解。反过来想,如果七年前有人告诉你:OpenAI 会成为万亿美元级别的公司;会建造规模堪比史上最大基础设施项目的数据中心;会拥有世界上最大的 Web 产品之一;全世界会无时无刻都在谈 AI——你一定会觉得那个人疯了,会说“这就是炒作”。
可我真心觉得:这波 hype 在很多层面其实是有事实支撑的。人工智能在很多方面存在过度反应和反应不足的情况(有时候被高估,有时候也会低估),但 AI 的重要性毋庸置疑——它值得被讨论。我不觉得现在还有谁会认为 AI 是个“不重要、不值得讨论”的话题。几年前确实还有人这么想,但现在已经很清楚:AI 很可能是当今世界最重要的议题之一,值得持续讨论与思考。至于进展会有多快、路径到底对不对、安全还是危险——这些当然都可以争论。但 AI 会长期存在,而且只会越来越强。
Jerry: 但到底是谁在制造这场肥皂剧?这才是问题。
我有时都替你们累——七八年一直在这种高压竞速里,你现在想停下来喘口气,我完全能理解。
Jerry:的确很消耗。
但我可以跟你分享一句对我很有帮助的话:有一次,一个比我更有经验、更擅长应对压力的人跟我说——Jerry,这就像做俯卧撑。每经历一次艰难、紧张的时刻,你就更擅长应对压力一点。
老实说,这七年让我练出了很强的心理和情绪韧性。我真的学会了在大量噪音、很多胡扯面前,把自己抽离出来,尽量保持稳定、保持定力。
不管外部发生什么——公司看起来要塌了也好,研究者流动也好,项目被重新分配也好——总会有事情在推进,总会有新的变化。
我听过有人把“挖人”这件事类比成体育队伍的转会。体育之所以还能运转,是因为有角色、有规则。我差点想说:可惜在加州的法律框架下,这类规则基本不可能出现。但我确实觉得,如果能有一些规则,可能会更健康。
因为确实存在这样一种现象:有些人换工作的频率,比他们真正产出成果的频率还高。
主持人: AI 薪资帽?(笑)
Jerry:(笑)确实有人这样。但也仍然有很多人在认真做事,推动前沿继续往前走。不过,AI 是一门大生意——这点无论如何都没法否认。
主持人: 我还跟同事说,我们真该做一张表,把那些在每一家前沿实验室都待过的人列出来,标注他们在每家待了多久。(笑)肯定至少有一小撮人,把整个湾区的“前沿实验室巡回赛”跑完了。说真的,这太疯狂了。
有些人彼此从小就认识,有些并不认识。我一直很好奇:这到底反映的是一种教育背景的集中效应——比如偏重数学训练的体系,确实更容易培养出这类人?还是说,其实只是早期有几个人先来了,后来通过学术和个人网络,慢慢把更多同类的人吸引到了 OpenAI?
Jerry: 先澄清一点:我在加入 OpenAI 之前,完全不认识任何 OpenAI 的人。我是非常随机、机缘巧合地进来的。
但你说得没错,在 OpenAI 非常早期,波兰人的占比确实偏高。不过我并不觉得这种情况“经得起时间检验”。现在公司里,波兰人的比例仍然略高于平均水平,但考虑到 OpenAI 的规模已经增长了大概一百倍,这种早期的“高浓度”并没有按比例延续。
我觉得这里面确实有一些值得讨论的因素,但我并没有足够多对其他教育体系的亲身体验,所以不敢轻易下结论,说波兰的教育体系“天然更强”。我能确定的是:我们确实有很多非常聪明、数学直觉很强的人。
但如果说有一件我特别认可、也特别喜欢的事情,那就是波兰人对“努力工作”这件事的重视从我个人经历来看,这种特质在很多地方正在变得越来越少见——尤其是在一些生活条件已经非常优渥的社会里,人们对工作的强调确实在下降。
Google 的“回归”
还是 OpenAI 的“失误”?
Jerry: 我个人其实不太愿意把这件事称为“Google 的回归”。它应该被视为 OpenAI 的失误。
OpenAI 确实在很多关键点上做对了事情,但也不可否认,在某些阶段出现过判断或执行上的失误,导致整体推进速度比它本可以达到的状态要慢。
在一种理想的执行情境里,如果你是一家已经取得领先优势的公司,而且拥有 OpenAI 那样的技术、人才和资源条件,那么你理论上是可以持续保持领先的。但如果在这个过程中,你做出了一些错误决策,而你的竞争对手做出了更多正确决策——而 Google 在最近一段时间里,确实做对了不少事情——那对方追上来,其实并不奇怪。
你也必须承认:Google 在硬件、算力和人才储备上,本身就有非常巨大的优势。事实上,在 OpenAI 刚起步的那些年里,Google 在几乎所有机器学习方向上,都是明显的行业第一。
OpenAI 能真正跑出来,靠的主要不是资源优势,而是 研究方向上的强烈信念:对某一条具体技术路线、某一个具体长期赌注的坚定投入。
但让整个行业、让外部世界真正意识到“这是一个正确的赌注”,花的时间比很多人想象的要长得多。哪怕 GPT-2 训练完成了,GPT-3 训练完成了,后来 GPT-3.5 也出来了——在那个阶段,其实并没有太多人真正重视这件事。
你去 NeurIPS 这样的会议和研究者聊天,大家会觉得 OpenAI 很酷,但很多其他实验室的态度是:“嗯,我们迟早也能复现。”语言模型确实挺有意思,但在他们看来,也就止步于“有意思”。
真正的转折点,是 OpenAI 开始通过 ChatGPT 赚到钱。那一刻,其他公司才突然意识到:“好,这不只是研究展示,而是一个已经被验证的商业方向,我们必须认真投入了。”
这里其实存在一个很关键、但常常被忽略的时间窗口:从你开始构建一项技术,到它真正被商业化,中间往往隔着一段很长的时间。
这段时间,足够让其他公司观察、犹豫、评估风险,然后再决定是否下场。而在这个阶段,Google 显然开始非常认真地对待大语言模型这条路线。再叠加 OpenAI 在执行层面的一些失误,最终导致今天的结果:在模型能力和训练成果上,双方已经变得非常接近。
所以,从 Google 的角度来看,这确实是一件值得祝贺的事情。能够把团队重新拉回状态、把执行节奏提起来,背后一定做了大量艰难而高质量的工作。
Jerry: 我不太想展开讨论具体的内部决策细节,哪些判断是对的,哪些是错的。
但我想强调的核心其实很简单:如果一家领先公司执行得足够好,那么在大多数情况下,它是可以把领先优势持续下去的。
而在现实中,很明显有一些事情的推进速度,比它本可以达到的节奏要慢。
我跟 OpenAI 的一些人聊过,关于公司要如何继续向前,确实出现过一些阶段性的混乱,比如关键人物离开等等。所以我原本以为你指的是纯技术问题,但听起来你的意思更复杂一些。
Jerry: 这些事情有时候确实是相互关联的。
从技术角度来说,我并不认为“有人离开”这件事本身就一定构成问题。在任何一家公司,人来人往其实都很正常,也应该是一种常态。
但如果离开变成了某种更深层问题的 症状——比如有人觉得:“公司在一些关键事情上做错了决定,我不再相信这家公司了,所以选择离开”——那这往往意味着,背后确实存在一些需要被正视的问题。
所以回到我最初的判断:确实有一些事情,推进得比它本可以做到的速度要慢。 这并不否认 OpenAI 的成功,但也不能忽视这些失误带来的影响。
这听起来像一个根本性的问题:如果你既起步更晚,又在做和别人几乎一样的事情,这真的可能有好结果吗?还是说,你觉得 Meta 实际上走的是一条不一样的路?
Jerry: 我并不完全了解他们的内部策略,所以只能谈一些外部观察。
我的感觉是,他们已经意识到一件非常关键的事情:“规模化”在当前的 AI 世界里是不可回避的。如果你放眼现在的 AI 行业,基本可以抽象出两种不同的战略选择。
第一种是:我要做一种和其他人都不一样的模型——它在某些方面会明显更强,我希望把这种差异化模型带给世界。第二种是:我也希望拥有和别人一样强、同一量级的模型,但我的重点不在模型本身,而在于我如何使用这些模型、以及我基于它们构建什么样的产品。
从我对 Meta 一贯路线的理解来看,这家公司长期以来关注的核心,一直是连接人与人、构建关系、打造大规模的用户体验型产品。无论是社交网络、沉浸式体验,还是他们设想中的元宇宙,本质上都是围绕“体验”和“连接”展开的。
所以我这里是基于外部推测,但我认为 Meta 的思路,很可能是:使用我们已经熟悉、已经理解得比较透彻的 AI 技术(比如 Transformer),来构建全新的产品体验,而不是在模型层面追求完全不同的路线。
从一家极其成功、极其赚钱、而且已经拥有全球最大社交网络的公司视角来看,这其实完全可能是一种非常合理、甚至非常聪明的策略。
Jerry: 我得说,这是一个相对比较新的变化。
在过去一年里,我对 Anthropic 的印象提升得非常明显。 我本人其实从来不是那种特别在意模型“性格”的人。虽然我也听说过 Claude 的“性格”很好,可能确实如此,但这并不是我关注的重点。
真正让我感到震撼的是几件事:他们在 代码模型、编码 Agent 上的成果;以及他们围绕“开发者”建立起来的整体产品和品牌——还有最关键的一点:他们拥有一大群真正满意、甚至很开心的开发者用户。 这是一项非常、非常了不起的成就。
更重要的是:他们起步比 OpenAI 更晚;算力条件更受限制;团队规模也更小。在这样的前提下,他们依然做到了高度聚焦,并且执行得非常好。
他们在获取高质量算力方面遇到过不少现实困难,但即便如此,仍然做出了非常出色的产品。
这些产品正在明显改变人们开发软件的方式;而据我了解,也已经在 实质性地提升企业生产力。
所以我真心觉得:他们做得非常好,值得祝贺。
而且之前还有一件事:当大家被“切断使用”时,开发者的反应极其强烈——某种程度上,那种崩溃感甚至超过了 OpenAI 出事时的反应。连 Elon 都公开承认了这一点,说:“是的,我们用得太多了,这是个警醒,我们得把自己的东西做得更好。”所以我在想:这也许不是一个完全普遍的现象,但看起来,很多实验室其实已经在不同程度上依赖这套工具了。也希望这次“切断”能倒逼出更多、更好的同类产品。来一百万个 Claude Code。(笑)
Jerry: 在 OpenAI,我们其实也开发 Codex 有一段时间了——它算是我们自己的“Claude Code 版本”。
我个人觉得 Codex 也挺不错的。有点好笑的是:我自己其实并没有怎么用过 Claude Code。毕竟当时我还在 OpenAI 工作,也没太多机会去亲自用。
我也是想说得客气一点。所以我确实没法给出太多一手对比体验。但至少从推特上的反馈来看,Claude 确实被全球开发者 非常、非常 喜欢。
所以当我看到你说要离开 OpenAI 时,我忍不住在想:你是不是已经不太想继续待在这场“基础模型竞赛”里了?听你说话的感觉,更像是想换一条路走。我甚至会想象,你会不会干脆跑去做生物科技之类的方向,用完全不同的方式继续追这件事。
Jerry:如果我能克隆自己、同时做很多件不同的事情,我真的会非常愿意。但长话短说:有一天我突然意识到——我对自己过去的人生很满意,也为自己做过的事情感到骄傲;但我现在真正想做的,是押一两个、甚至两三个非常非常大的研究赌注,然后看看能不能把它们做成。
我一直觉得,人应该更愿意冒风险。至少从我的观察来看,我可能算是那种风险承受能力比较高的人——愿意去追一些看起来很野、很不确定、甚至有点离谱的想法。所以我觉得,我应该把这种特质用在更有意义的事情上。
Jerry: 我肯定愿意投入很多时间。但与此同时,我也非常坚定地认为:研究应该尽可能快地推进。
做得慢,本身并不值得骄傲。从“把研究执行好”这个角度看,我希望它能更快。
不过,真正关键的,其实是我之前反复提到的两个词:聚焦(focus)和信念(conviction)。
如果你同时做很多事情,几乎注定每件事都只能做一小部分。你的注意力会被摊薄,资源也会被摊薄。研究实验室经常会说:算力不够,算力限制拖慢了研究。这当然是真的,而且是重要因素之一。但很多时候,更核心的问题其实是:不够聚焦。一天之内,一个人的注意力只能真正放在有限的几件事情上。
我很喜欢对和我共事过的研究者说一句话:少跑一点实验,把每一个实验想得更深。因为有时候,你花几个小时什么实验都不跑,只是盯着结果、反复分析数据——反而更容易带来真正的突破,而不是不停地“多跑”。
所以像 OpenAI 这样的公司,算力其实非常多。但如果算力被分散到太多项目上,效果反而会被稀释。如果把算力集中到更少、更聚焦的项目上,算力往往是够用的。
但这又回到了风险和信念的问题。如果你同时做三个项目,只要有一个成功,其实就已经算不错了;另外两个被砍掉,也完全可以接受。如果三个都成功,那当然更好。但如果你只做一个项目,它往往会推进得更快——因为你足够聚焦、也足够坚定。当然,代价是:如果它失败了,你会非常惨;但如果它成功了,你可能会拥有世界上最好的模型。
而对 OpenAI 这样规模的公司来说,现在确实很难做到一件事:把整个公司押注在一个全新的、完全不同的方向上,同时不在乎下个季度 Gemini 会不会更强。 这真的非常难。它需要一种非常特殊类型的人,才愿意这么做。
我觉得,这就是问题的核心。
Jerry: 这个问题上,我确实不应该、也不能谈 OpenAI 的任何具体计划。
Jerry: 这属于商业策略。我做的是训练模型。(笑)
Jerry: 这正是我现在最想搞清楚的第一个问题。任何 AI 研究,最终都离不开 GPU、离不开算力(FLOPs)。我现在需要认真想清楚的是:到底什么样的方式,才是做这些研究的最佳路径。
我确实正在努力理清楚:我很清楚自己想做哪些研究,但我还在寻找答案——到底怎样去做,才算是一个“好的方式”。
我不想继续追问“你接下来做什么”,因为你看起来太开心了,整个人容光焕发。
Jerry: 是的,我听好几个人都跟我说:你现在比以前快乐多了。
Jerry: 我不知道。而且我也听一位正在经营自己公司的人说过一句让我很震撼的话:在 OpenAI 工作,比自己创业还更有压力。从很多方面看,OpenAI 的确是一个压力极大的地方。
Jerry: 我不觉得存在那种特别“巨大的错误”。这个行业里的人,其实都很难犯那种一眼就能看出来的致命错误。
真正的问题更像是:你愿意花多少精力去探索“其他可能性”?又有多少精力,继续沿着你已经走得很顺的那条路往前推。
Jerry: 老实说,这样的想法非常多。但这些想法最缺的,往往不是“它们不存在”,而是:缺关注、缺算力、缺资源。
这里还有一个比较有意思的现象。很多研究者——包括学术界——很擅长、也很喜欢做“从 0 到 1”的事情:提出一个新想法,证明它“有点能跑”,然后就发表出来。而我觉得,我自己、以及我在 OpenAI 共事过的团队,真正特别擅长的一件事,是“从 1 到 100”:拿一些已经有初步证据的新想法——它们很不同,也不成熟——然后想办法把它们在大规模上做得可靠、稳定、可落地。
要训练前沿模型,把一种技术真正嵌进系统里,会涉及大量非常具体、非常琐碎、但又极其关键的工程和研究工作。如果执行不好,可能要花上好几年;但如果你有一套好的方法和节奏,可能几个月就能完成。这也是我未来很想继续多做的一类事情。
从行业行为上看,很多实验室似乎也在按“明星逻辑”行事。当然,这背后有大量集体协作,但确实也有一些时刻,看起来重大突破被“绑定”在少数几个人身上。但你刚才的反应,似乎并不完全认同这是一个“明星驱动”的行业。
Jerry: 我觉得这是个很复杂的话题,但有两个看法可以同时成立。
一方面,确实存在这样的情况:在某些阶段,尤其是在 OpenAI,一小撮人能产生远超常人的影响力,推动真正突破性的成果,然后这些成果扩散到整个行业。我亲眼看到这种事情反复发生。
但另一方面,当我看到人们在不同公司之间频繁流动时,我很少看到这种流动本身,对公司产生“决定性影响”。
我更相信的是:公司的结构、文化和运作方式,才是真正的研究引擎,而不完全取决于某一个研究者是否在这里。
而且我也观察到一个现象:那些频繁跳槽的研究者,反而往往没那么高产——即便他们过去做过很好的工作。他们需要重新磨合,会被各种事情分散注意力,短期内也未必有新的突破性想法。
经验当然重要,但更重要的是:营造一种环境——强调个人责任、鼓励探索、并且真正为“做出伟大事情”提供条件。
在一个好的结构、好的文化、好的协作方式下,你完全可以建立很多团队,持续做出伟大的成果。
这件事并不依赖某一个“唯一的人”。归根结底,我认为:研究结构、研究文化和协作方式,远比“某个特定的人是否在团队里”更重要。
主持人: 很有道理,很有道理。
主持人: 最后一个问题:你冥想吗?
Jerry: 最近在试,但我觉得我冥想得不太行。
主持人: 那祝你下一段旅程,能找到属于自己的“黑暗静修”。Jerry,谢谢你。
Jerry: 谢谢,很高兴和你们聊天。
参考链接:
https://www.youtube.com/watch?v=VaCq4u5c78U
声明:本文为 AI 前线整理,不代表平台观点,未经许可禁止转载。