AI前线
发布于

硅谷“钱太多”毁了AI ?!前OpenAI o1负责人炮轰:别吹谷歌,Q-Star 被炒成肥皂剧,7年高压被“逼疯”!

 该图片属于AI生成
编译 | Tina
这不是离职八卦,而是在一个把技术做成剧情、把研究变成围观的行业里,扛了七年高压后的选择。

2026 年的第一个月,Jerry Tworek 离开 OpenAI 的消息传出来时,几位 OpenAI 的员工在 X 上几乎失控地发声:“我真的崩溃了”“这太难受了”。大家的反应像是:这事来得太突然,也太重。

Jerry 是现代 AI 浪潮背后最有影响力、却也最少公开露面的关键人物之一。 2019 年加入 OpenAI 时,当时该公司还只有约 30 名员工。他参与了许多最重要的项目,包括后来被称为 Q-Star 和 Strawberry 的推理方法,最终发展成为 o1 推理模型。

这次离职后,他在接受 Core Memory 的播客采访时解释了原因:他想从事有风险的基础研究,这种研究在像 OpenAI 这样的公司已经不可能进行了,因为像用户增长这样的指标才是优先考虑的。他对 ChatGPT 广告的看法体现了研究与商业化之间的脱节:“这是一种商业策略,而我负责训练模型。” 这番言论印证了有关 OpenAI 人工智能研究与产品开发之间日益加剧的分歧的传言。

Tworek 指出,创新不足的原因有很多。最佳模型的竞争异常激烈,公司需要不断展现实力才能留住用户并证明 GPU 成本的合理性。僵化的组织结构更是雪上加霜,组织架构图决定了哪些研究是可能的:团队各自为政,职责分明,跨团队研究难以开展,Tworek 解释道。

这场采访,也是一次“离职解读”,Jerry 还批评了整个人工智能行业,指出所有主要的人工智能公司都在开发几乎相同的技术,产品也几乎没有区别,这迫使研究人员追求短期利益,而不是实验性突破。更重要的是,他开始认真思考:如果研究真的需要冒险、需要不同路径,那他是否还应该继续待在这场高度同质化的竞赛中。

在 Tworek 看来,谷歌之所以能够在 AI 竞赛中成功追赶 OpenAI,本质上是 OpenAI 自身的失误。他表示,这家 AI 实验室犯了一些错误,行动过于缓慢,没能充分利用自己原本拥有的巨大领先优势;而与此同时,谷歌则做出了许多正确的决策。

当被问及 OpenAI 的具体问题时,Tworek 并未展开细说,只是暗示:员工流失有时是更深层问题的表象。他强调说,人走人来本来很正常,但如果一波人是因为“方向不对、决策错了”才走,那就说明公司里确实有点事——也难怪有些关键推进会慢得不该那么慢。

与这种“慢得不该那么慢”的状态形成对照的,是 Tworek 对 Anthropic 的评价。在播客中,他高度评价了这家 OpenAI 最强的初创公司对手,认为它在过去一年里展现出了一种罕见的“清晰感”:算力更少、团队更小,却异常专注,执行力极强。他特别提到 Anthropic 在代码模型与代码 Agent 方向上的进展——那不是靠简单堆规模取得的成果,而是一种“非常清楚自己在做什么”的工程与研究结合状态。

随着谈话继续,话题很快从技术转向了另一件更微妙的事。

Jerry 说,这几年最让他感到“不对劲”的,并不只是研究路线,而是整个大模型行业正在发生的变化。他形容现在的状态有点像这样:你做出一个新东西,大家还没真正弄清楚它是什么,它已经被卷进了一整套剧情里。谁离职、谁跳槽、谁被挖、谁“内部有分歧”,每天都像连续剧更新;湾区像一个巨大的转会市场,研究者在几家前沿实验室之间流动,围观者负责情绪,媒体负责剪辑——研究现场,被包裹进了一层娱乐业式的叙事。

“技术、概念、人类情绪、现实生活,是分不开的。”Jerry 说。

当一个行业被持续围观,每一次进展都会被强行赋予意义,每一次内部变化都会被解读成信号,整个系统就会被不断加压。你不是在安静地做研究,而是在聚光灯下跑一场没有终点的马拉松。

他用一个很个人的比喻形容这七年:“像做俯卧撑。”每一次高压过去,你会更能扛一点。 你学会屏蔽噪音,学会在混乱中保持稳定。但代价是,你也会慢慢习惯这种状态——把异常当成常态,把围观当成空气,把压力当成日常。

我们翻译并整理了这期播客的完整对话,以飨读者。

当整个大模型行业只剩

下一套“配方”,有些人宁愿离场

主持人:今天我们请来重量级嘉宾——OpenAI 的 Jerry Tworek。他在 AI 圈算是“活传奇”那种人,而且刚刚离开 OpenAI,所以这期信息非常新、也非常重磅。我刷到不少 OpenAI 的同事在 X 上直接说“我崩溃了”“太难受了”。这就能看出来他在内部的分量。
他主导或参与了 OpenAI 很多最重要的项目。这一波“推理模型”的时代,在很大程度上也和 Jerry 有关。今天他会聊他的经历、他做过的事情,然后我们也看看他会不会讲得更“辣”一点——希望如此。
Jerry,你好。你身上有一种……“刚失业的光芒”。

Jerry: 我已经失业八天了,确实是一种变化。我已经很久没有失业过了,但这件事也有很多好处。比如我现在晒太阳的时间多了很多。

主持人:那这期节目就算你的“离职访谈”了。我们刚才已经简单介绍了你的背景,我再稍微补充一点。你大概是 2019 年加入 OpenAI 的。你来自波兰,在来 AI 领域之前,和很多 AI 从业者一样,曾经在高频交易相关的领域工作过。在 OpenAI,你参与或领导了很多大家非常熟悉的重要项目。最近,很多人听说过 Strawberry、o1,以及这波“推理模型”的兴起,而这是你追了相当长一段时间的方向。然后,如大家所知,你最近刚离开 OpenAI。这件事在 X(推特)上引起了不少讨论。





大家好,我做了一个艰难的决定:离开 OpenAI。

我在这里将近七年,经历了很多美好与疯狂的时刻——但美好远远多于疯狂。

我非常享受和这支团队共事的时光。我有机会在“机器人上的强化学习规模化”还没流行之前就参与其中;训练了世界上最早的一批代码模型,推动了 LLM 编程革命;在“Chinchilla(缩放规律)”还没被叫作 Chinchilla 之前就发现了它;参与了 GPT-4 和 ChatGPT 的工作;最近则是组建了一支团队,建立了一种训练与推理算力规模化的新范式——我们通常把它称为“推理模型”。

我在这里结识了许多朋友,有些夜晚也在办公室度过;我参与并见证了相当多的技术突破;也和许多我视为至亲的人一起欢笑、一起担忧。我有幸招募并壮大了——在我看来——世界上最强的机器学习团队。

这段旅程非常精彩。虽然我将离开,去探索一些在 OpenAI 很难开展的研究方向,但这依然是一家特别的公司、一个特别的地方,它已经在全人类的历史中占据了永恒的一席之地。

Jerry: 某种意义上,这事挺棘手的:我如果不自己说,媒体迟早也会替我说——要么写成“独家”,要么当成“泄露”。所以我宁愿自己把话讲清楚,省得消息一传十、十传百,越传越走样。

主持人: 对,我们最怕“越传越离谱”。你其实可以先跟我们说。

Jerry:(笑)我可以随时给你们打电话,告诉你们我生活里发生的任何事——比如我中午吃了什么。

主持人:但说真的,你那条离职帖写得很好,而且挺真情实感的。你在那里待了七年,经历了巨大的变化。从你的视角看,这七年是什么感觉?

Jerry: 老实说,我在 OpenAI 的每一年,都像是在一家完全不同的公司里。无论是公司本身的高速增长,还是整个 AI 世界的变化速度,都非常罕见。我不觉得历史上有很多类似的例子。我很高兴自己亲身经历了这一切。几乎每一个阶段,情况都完全不同。

主持人: 你 2019 年加入的时候,公司大概只有 30 人左右?

Jerry: 对,大概就是那个规模。

主持人: 那现在呢?几千人?

Jerry: 已经没法数清楚了。现在是一家规模非常大的公司,有很多办公室,全球各地都有团队。现在几乎很难找到没听说过 OpenAI 的人。我加入的时候,还是几个小团队各自在做自己的小研究项目。那时唯一始终不变的,是野心——从一开始就瞄准 AGI,想要改变世界、产生正向影响。我觉得公司在这方面做得非常成功。ChatGPT 把一种“可用的智能”分发给了非常多的人,这本身就是一件非常了不起的事情。

主持人:你发了那条离职推文之后,是不是几乎所有基础模型实验室都立刻联系你了?

Jerry: 确实有很多。我现在正在慢慢梳理下一步要做什么。在这个行业待了这么多年,我本来就认识很多人,也有很多联系。从积极的角度看,我并不急着立刻做决定。过去很多年我工作得非常拼,几乎没有时间去见人、聊天。现在终于有机会停下来,认真想一想接下来的七年要怎么度过。

主持人:你在推文里提到,你想做一些在 OpenAI 觉得无法进行的研究。能具体解释一下吗?

Jerry: 是这样:在一家必须参与当下这种极其残酷、极其高压的竞赛、必须争夺“世界上最强 AI 模型”的公司里,有些事情就是很难做。这背后有几个方面的原因。

其中一个因素是风险偏好。公司愿意承担多大风险,会受到很多现实约束:比如不能落后于用户增长指标,比如 GPU 成本极其高昂。因此,向外界展示实力、持续拥有最强模型,对所有主要 AI 公司来说都非常重要。但这确实会影响你愿意承担风险的“胃口”。

另一个很难的取舍是组织架构。公司有 org chart,而 org chart 往往决定了你能做什么研究。每个团队都需要一个身份、一个研究范围、一组他们要解决的问题。跨组织的研究就会变得非常困难。

我也不确定这是不是一个已经被完全解决的问题:当研究规模变得很大时,究竟该如何把研究组织好?研究本身喜欢动态,甚至可以说喜欢混沌;但一大群人需要秩序、结构和组织架构。

所以,“把组织架构交付出去(shipping your org chart)”成了一种非常普遍的现象,研究也不例外。你最终会做那些组织结构最容易支持的项目。而与此同时,我确实想做一些研究,但公司的组织结构并不容易支持我去做这些事情。

主持人:这是否意味着我们将看到一项新突破?

Jerry: 我想,其实 AI 世界里的每一位研究者,都想参与下一次真正的突破——我当然也包括在内。

主持人:我之前在播客里跟 Mark(Mark Chen,OpenAI 的 首席研究官) 聊过这个话题:几乎所有人都会带着自己的想法去找他、找 Yakob(Jakub Pachocki,OpenAI 的核心研究负责人之一)。OpenAI 一直以来确实有一段“押注冒险想法、去做其他实验室没做的事”的历史,而且这种策略也确实为他们带来了回报。但我也很清楚——你们那里一定聚集了大量非常聪明的人,所有人都会不断提出各种想法。

而在某个时刻,公司终究是一家资源有限的组织——哪怕这些资源已经非常多了——也必须做出取舍。所以,这必然是一个非常艰难的决策过程。也正因为如此,我在思考的那些方向,大概确实属于那种“相当新、相当不寻常”的路径:公司需要判断,我们到底要不要往这个方向走?现在有没有能力、有没有余力去承担这种不确定性?我们是否能在当下负担得起?

Jerry: 关于“研究时代”的判断,我不确定事情是否真的像他说的那样是非黑即白的。但我非常确定的一点是:在 AI 和机器学习的世界里,还有大量东西尚未被真正探索。

大约六年前,我们基本确定了以 Transformer 为核心的架构路线。此后相当长一段时间里,整个行业都在持续扩大 Transformer 的规模,而且进展确实不错。路径也非常清晰:每个季度用稍多一点算力、稍多一点数据,训练出一个更强的模型。到目前为止,这条路看起来并没有明显的“天花板”,进步仍在持续。

但问题是:这就是终点了吗?这是最后一条路了吗?我几乎可以确定不是。

我们还有很多改进模型的方式,目前根本还没真正开始做。正如你刚才提到的,我自己主要做的是“推理”,以及扩大强化学习的规模。在那之前,整个领域几乎所有的“大赌注”都押在 Transformer 的预训练规模上。

扩大预训练规模,确实是一种有效的扩展方式,而且效果很好。每一次更大规模的预训练,模型能力都会整体提升,各方面都会变强。所以你当然可以说:那我们就继续扩展预训练规模,模型自然会越来越好。

但后来,有那么一小撮“做梦的人”、研究者开始相信:事情不止这一种做法。我们不只是扩展预训练,还可以在语言模型之上,大规模扩展强化学习,而且投入的计算量可以和预训练处在同一个量级。这样做,能够教会模型一些 仅靠预训练永远学不会的东西

正因为如此,我们今天才有了这些令人惊叹的 Agent:它们可以自动化工作、解决复杂问题。而如果只靠预训练模型去完成这些任务,可能需要极其夸张的算力和数据量。

也就是说,当你发明了一种新的“扩展方式”,你就会得到一整套全新的能力;而如果你只是沿着原有的预训练扩展路线走,那可能要花非常、非常久,才能逼近这些能力。这一次,其实是一次相当大的跃迁。

在我看来,自从 GPT-4 引入以来,“推理模型”几乎是这几年里最重要的一次能力跃升。而我相信,类似这样的跃迁还会出现不止一次。

所以我一直觉得,研究者不应该只盯着“渐进式改进”,而是要去思考:有没有办法把整个棋盘掀翻?

主持人:去年在 NeurIPS 上,Ilya 曾说过一句话,大意是:“我们正在耗尽数据,这条路迟早会走到尽头。”关于“预训练是否正在进入一个越来越艰难的阶段”,我一直在想:那下一个真正的突破会是什么?这正是你现在想问的问题,对吧?

Jerry: 是的。但我并不认为这等于在说“预训练已经结束了”。预训练仍然在持续改进,而且还有很多方式可以继续优化它。但它已经不再是唯一的改进路径,而且其他路径,可能在很多维度上能更快地带来提升。

扩大预训练规模,在很多能力上提升得其实非常慢——它确实会让模型更好,但提升是渐进的。而与此同时,可能还存在其他方式,能带来更大的跃迁。

主持人:硅谷有一个很有意思的现象:很多时候,科技公司会提出一些非常原创、甚至看起来“怪异”的想法,外界一开始完全不理解。但正是这样,才催生了全新的商业模式、新的科学、新的研究方向。而科学研究本身,也是如此:你需要去追逐别人还没走的方向。

可一旦某个方向“爆了”,事情就会反过来——会形成一种巨大的共识。突然之间,所有人都开始说:“我们就该这么做。”然后大家不再讨论“该不该走这条路”,而是开始比拼“谁在这条路上跑得更快”。

这其实就是你刚才描述的那种状态。那么问题来了:当我们已经进入这种“模型竞赛”,而且已经持续了两三年之后,会不会出问题?是不是所有主要实验室都变得越来越保守?这会不会成为一个普遍性的结构问题?

Jerry:让我感到非常“难过”的事,就是现在几乎所有 AI 实验室都在试图做和 OpenAI 一模一样的事情。

OpenAI 显然是一家非常成功的公司,它在很多关键问题上做对了选择,把整个世界带进了“规模化 Transformer”的范式之中,也证明了:通过扩展机器学习模型的规模,确实可以为世界带来大量非常有价值、非常有用的能力。

但问题是:这个世界究竟需要多少家“做完全同一件事”的公司?我不知道。竞争当然是好事,所以肯定不止一家更好。但 现在我们大概已经有五家相当严肃、体量巨大的 AI 公司,基本上在用完全同一套“配方”,试图在同一套技术之上,做出一点点差异化的产品。

也许这确实是对的选择,但我还是希望能看到更多多样性——更多模型层面的差异。

如果你去看现在世界上最好的那些模型,实际上很少有人真的能注意到它们之间的区别。我觉得应该做更多“盲测”:让人们分别和不同模型对话,看他们是否真的能分辨出哪个是哪个。我敢说,99.9% 的用户根本察觉不出来这些模型有什么不同;在他们的感受里,这些模型几乎一模一样。

即便背后是不同团队,在做一些细微不同的事情,但所有实验室都觉得“我们在这个点上做得稍微好一点”“对方在另一个技巧上可能更强”,最终的结果却是:大家全都挤在一个非常接近的位置上。

那真正的探索在哪里?真正的创新空间在哪里?真正能让你和别人拉开距离的差异化又在哪里?

主持人:我主要用这些模型做文字工作,偶尔会在 Gemini、ChatGPT、Claude 之间切换——差别确实有,但很细,更多是语气和“性格”。比如我最近更常用 Claude,因为它更直接、不啰嗦;而 ChatGPT 的语气我一直很难调到那种感觉。不过总体我也同意,大多数人其实分不清这些模型的区别。

话说回来,我想问一个可能有点尖锐的问题:你在 OpenAI 待了这么久,在公司内部算是传奇人物之一,而且你的履历也证明,你参与的项目往往能做成。那从外界看,如果连你这样的人都觉得——自己真正想做的研究在公司里推进起来足够困难,以至于最后选择离开——这是不是一个不太好的信号?尤其对一家最初以研究实验室起家的公司来说,这意味着什么?

Jerry: 我觉得有时候,人和组织都会成长到一个阶段:必须意识到,彼此的道路需要分开。

对一家单一公司来说,非常重要的一点是:公司内部的人,必须在某种程度上对目标、对前进路径保持一致。而在某个时刻,我对“未来研究路径”的判断,和 OpenAI 选择的方向,至少在一些足够重要的点上,出现了分歧——包括接下来一年研究该是什么样子。

在这种情况下,我认为分开,反而比强行在分歧中继续合作要好得多。否则,那些分歧可能会不断积累、发酵。

所以我反而认为:不同公司去做同样的事情,在某种意义上是合理的。因为专注对于一家公司来说非常重要,而 OpenAI 很可能正在做所有“正确的事”。

也许只是我自己有一些不太现实的梦想;也许我对“还能做些什么其他事情”过于乐观——这完全有可能。

很多公司必须专注于自己的核心路径,才能活下来,才能进入下一个阶段。所以在一个理想的世界里,应该有很多不同的公司,在做很多不同的事情。而研究者——尤其是那些很难去做自己并不真正相信之事的研究者——应该能找到一个地方,在那里,他们能投入到自己最相信的研究方向中。最终,历史会证明哪一条路是对的。

正因为如此,我才会对“大家都在做同一件事”感到有点难过。因为在当下,如果你想做一些偏离主流机器学习路线的事情,真的非常难找到一个合适的地方。这大概是我目前最感到遗憾的一点。

主持人:那你现在还在思考下一步要做什么,对吧?如果所有实验室都在做同一件事,那你应该不会想简单跳去另一家大实验室?

Jerry: 我当然还在认真思考下一阶段。但如果有更多“稍微偏离主流、但依然具备规模”的选择,那我会更开心,也会更容易做决定。

主持人:那你觉得,要让整个行业偏离当前主流路径,需要什么条件?我可以想象,这些公司投入了巨额资金、消耗了大量资源,又处在聚光灯下,自然会害怕承担风险。但也许这些风险是必要的。那到底要改变什么?或者这种改变真的会发生吗?

Jerry: 这正是一个非常有意思的问题。

我其实非常喜欢冒风险,也经常被人这样评价。我认为,冒风险本身是一件好事。但当你面对的是“巨额资金在押”的局面时,真正有能力、也愿意承担风险的人,其实非常非常少。

每个人的风险偏好都是极其个人化、极其独特的。我和很多人共事过,我真心觉得:人们应该愿意多承担一些风险,多去尝试一些事情。

但另一方面,现在 AI 世界里的研究者薪酬已经高得离谱了。这在某种程度上,也会让人变得非常害怕失去工作、害怕一次不好的绩效周期。结果就是:人们更倾向于追求短期、确定性的收益路径。而这些人本身往往都是非常聪明、动机也非常正直的研究者。只是整个系统在某些地方,确实更容易鼓励“短视”。

我认为,研究者应该被更明确地鼓励去冒风险、去下大胆的赌注,因为真正的进步,正是这样发生的。

Yann LeCun 的世界模型,

“方向无疑是正确的”

主持人:那我们已经看到了一些“独行侠”式的人物。比如 John Carmack。Carmack 跑去了达拉斯,像是进了自己的洞穴里。一开始似乎是单干,现在好像有几个人在跟他一起做。他几年前说的,其实和你刚才讲的很像:也许我不知道能不能走出一条完全不同的路,但至少应该有人在一条完全不同的路径上持续折腾。
我和 Ilya 聊过,但并不知道他现在具体在做什么。我不知道那是他之前工作的延续,还是某种非常激进的新路线。不过我想,如果不是完全不同的方向,他大概也不会去募那么多钱、重新开始。
然后还有 Yann LeCun,他显然有一套不同的哲学。有时候我会觉得这个领域挺奇怪的:AI 从某种意义上说很“老”,已经发展了几十年;但当前这一波 AI 又非常新。和研究者聊天时,他们会说:现在把主要论文读完,其实很快就能跟上前沿。所以我一直在想,会不会有某个人,突然从完全意想不到的方向出现,带来一个极端激进的新想法,把整个领域往前推一大步?但与此同时,又好像越来越难——因为现在你几乎需要一个“国家级规模”的数据中心,才能真正参与到这个层级的竞争中。

Jerry: 这正是事情变得非常困难的地方,同时也是一个非常值得解决的问题。

世界上其实有大量学术研究在发生,也有很多学生在做各种各样的事情,但其中大多数都严重缺乏资源。这使得很多研究最终走不远,因为你真正想做的研究,往往必须在“大规模”下才能完成。

但这也是让我感到非常乐观的一点:现在确实有相当多的资金,正在流向那些“想做新东西”的人。像 John Carmack、像 Ilya——他们做的事情,正是当下这个时代应该存在、也应该被资助的。当然,不是所有尝试都会成功,但其中一定会有一些成功,而创新正是这样发生的。对于任何一个强化学习研究者来说,“探索(exploration)与利用(exploitation)”之间的权衡,都是一个非常基础、非常重要的概念。

即便是在优化 agent 时,你也必须不断权衡:是走已经被证明有效的路径,还是去尝试全新的方法,用完全不同的方式解决老问题?这是一个非常困难的取舍,但它本身就是一个被研究、也值得研究的问题。而正如我们在设计 agent 时会思考这个问题一样,我们也应该反过来问自己:我们自己在做研究时,是如何在探索与利用之间取舍的?

主持人:在这个非常非常顶尖的小圈子里,大家都知道 Carmack 在做什么吗?你们彼此是互相了解的吗?

Jerry: 老实说,我并不完全清楚。但如果我没记错的话,我隐约知道一些。他可能是在押注一种非常端到端的强化学习方式——通过鼠标和键盘,在电脑游戏中训练 agent。

如果真是这样,那其实非常有意思。因为我长期以来一直在想:电子游戏,可能是训练智能体的最有趣环境之一。游戏本身就是为了“对人类大脑有吸引力”而设计的。它们包含故事、权力幻想,但更重要的是:大量的问题求解。游戏必须有趣、必须有挑战、不能重复。

在某种意义上,电子游戏非常贴合人类智能,它们天然地在教你资源分配、解谜、如何在不同规则下取胜——这正是我们希望 agent 能学会的事情。当然,我们现在还没有真正能在高频、多模态环境中稳定运行的超强模型,可能存在一些架构层面的限制。但我认为,用电子游戏来训练 AI,是一件非常值得做的事情。

主持人:Richard Richard Sutton 过去在扑克、游戏等领域做过大量工作;我也曾在他的实验室待过。早期的那些游戏环境,比后来 OpenAI 的 Dota 要原始得多。但你可以看到,这个想法一直贯穿其中。

Demis Hassabis 也长期在追逐类似的方向。所以你提到这一点很有意思——这其实是一个“老想法”。一段时间里,各大实验室都在比谁能打通更复杂的游戏、谁能更好地“秀”成果;后来在 ChatGPT 时代,这条路线似乎被边缘化了。但也许,它仍然有潜力。

Jerry: 在科学史上,有一个非常常见的现象:好的想法,往往会反复出现。真正困难的,并不是提前预测“哪个想法是重要的”,而是判断“什么时候是对的时机”。即便在 OpenAI 早期,我们也常说:不能断言某种方法“行不通”,也许只是“现在还行不通”。

我七年前刚加入 OpenAI 时,强化学习在游戏上是一个非常火的方向。我们解决了很多游戏问题:StarCraft、Dota,而 AlphaGo 更是一个标志性时刻。但这些模型有一个非常明显的缺陷:它们几乎没有世界知识。它们并不理解我们的世界,只是从零开始,专门为某一个游戏训练。

这显然不是正确的路径。我们必须先教模型理解世界,理解更高层次的概念,而不仅仅是对像素做出反应。从零开始的强化学习,更像是“猴脑”或“蜥蜴脑”。而我们想要的,是具备更高层次抽象能力的模型。

在多年大规模预训练之后,我们现在已经能够学到一套非常强的“世界表征”。而接下来,我们应该利用它。这正是“推理模型”的核心魔法:在一个对世界有深刻理解的基础之上,叠加一层强化学习。未来就应该沿着这个方向前进。

主持人:那这不就和“世界模型”的方向一致了吗?Google 在做这个,Yann LeCun 似乎也在推动类似的想法。这在直觉上是合理的——这也是人类学习世界的方式。我们不是在一个黑箱里长大的,而是通过不断试探、感知世界来学习的。所以你对这个方向是非常看好的。

Jerry:这个方向毫无疑问是正确的。真正有挑战性的,是:如何把从世界建模中学到的表征,与强化学习真正结合起来。

强化学习教会模型“技能”——让它学会如何在世界中实现自己的目标。但在此之前,模型必须先理解世界,否则它连“如何设定目标”“如何达成目标”都无从谈起。

正因为如此,这两件事情必须结合起来。

如果有人能在一个高质量世界模型之上,真正把强化学习跑通,那将会是一个非常令人振奋的时刻。

主持人:就你现在这些正在吸引你的研究方向来说——你能不能稍微给我们一点提示?还是说,这样就直接暴露你下一家创业公司的方向了?

Jerry: 我现在最兴奋的研究方向大概有两个。主要原因也很简单:我不觉得重复去做各大实验室正在做的那套事情有什么意义。现有体系里当然还有很多可以微调、可以改进的地方,但我认为有两个方向长期被低估了投入——或者至少没有得到足够的资源与重视。

第一,是某种意义上的“架构创新”。我觉得我们对 Transformer 架构有点过于“路径依赖”了。Transformer 确实很伟大,也被非常深入地研究过。人们一直试图在本地做一些小改动,让 Transformer 更强,但这件事并不容易。虽然也有一些相当成功的改进——比如稀疏化非常成功;还有各种让注意力计算更便宜的方法,也取得了不错的效果。

但 Transformer 会是机器学习的最终架构吗?显然不会。尽管 Transformer 的发明者做出了惊人的贡献,并且几乎定义了接下来十年的机器学习格局,但我相信一定还有更多可能。

一定存在一些训练大模型的方法——它们也许有点像 Transformer,也许完全不像。我觉得这是一个值得去解决的问题。甚至如果没有别人去做,我也愿意卷起袖子自己上,试着把它做出来。

第二个方向相对更“热门”,但我觉得几乎没有人把它做得真正好,那就是持续学习(continual learning):如何把测试时(test time)与训练时(train time)真正打通、真正融合起来。

人类显然就是这样运作的:我们没有一个“专门学习模式”和一个“专门回答问题模式”。学习与反应是连续发生的、时时刻刻都在进行。我觉得我们的模型也应该更接近这种状态。

这可能是我们在把模型真正称为 AGI 之前,最后几个关键能力要素之一。如果模型不能从它看到的数据中持续学习,它就仍然显得有点受限——甚至有点“笨”。

新技术炒作带来的恐惧感
主持人:说到 AGI,我们上次录播客时我提过:我已经不像一两年前那样经常听到“时间线”讨论了。那时候大家非常热衷谈什么时候会实现 AGI,甚至连“AGI”这个词最近都没那么火了。你自称对 AI 是“谨慎的乐观主义者”。那你觉得我们现在处在 AGI 时间线的哪个位置?

Jerry: 我个人的看法是:我对时间线做了一点更新。

我一直认为,把强化学习规模化(scaling reinforcement learning)是通向 AGI 的必要部分。一年、或一年半之前,我非常坚定地认为:只要把 RL 规模化到我们的模型之上,那就是 AGI 了。但我确实不得不稍微修正这个判断。因为有些东西,只有当你真的到了“下一阶段”之后才看得见。

我们也必须承认:今天的模型在很多方面已经非常非常强了。就拿编码来说——“vibe coding”是我最喜欢的爱好之一,你现在可以非常快地写出很多东西。对一些十年前的人来说,如果你把今天这些能力展示给他们,他们可能已经会把它叫做 AGI 了。

所以我不觉得谈 AGI 还是一种多么离谱、多么疯狂的事。但至少按我的定义,现在的模型仍然不是 AGI——原因之一是:持续学习完全还没有以真正的方式被整合进模型体系里。

除此之外,还有很多问题。比如多模态感知:如果模型文本理解很强、编程也很强,但它看不见真实世界、不能看视频并且很好地理解视频,那我们能称它为 AGI 吗?

所以我认为,要真正达到那个“文明级里程碑”——构建 AGI——还有很多必要步骤要完成。

有一段时间我曾想:如果我们真的拼命推进,并且把所有关键问题都做得足够好,也许 2026 年至少能实现非常强的持续学习,以及真正通用的强化学习。

我觉得我的时间线仍在漂移。但与此同时,AI 领域移动得太快了:投资在年复一年累积增长,越来越多人进入 AI 领域,人才池变大,我们探索的想法数量也变多。

所以我不觉得“这个想法完全荒唐”。也许会早一点,也许会晚一点:可能是 2026,也可能 2027、2028、2029。我不觉得会比这更久太多。但确实还有很多工作要做。不过人们正在非常努力地做 AGI。

主持人:你刚才提到的内容——让我想起你之前做的那些事。除非我记错:在 Strawberry 还没成为一个“明确项目”之前,外界不是有过所谓的 Q-Star 传闻吗?而且在那次“内部风波”期间,这件事被反复提起:什么“他们知道 AGI 已经到了”,把所有人都吓到了。但听你现在这么说又挺有意思的。因为确实,这些东西做出来以后非常惊人,我们会一度情绪很亢奋;然后时间过去,大家就习惯了。现在回头看,Strawberry 确实很不可思议,也确实改变了整个领域。

但我第一次用它的时候,并没有到那种“把我吓死”的程度。你懂我意思吧?

Jerry: 我懂你意思。

这其实涉及人类心理,以及我们如何与技术互动的方式。对我来说,把强化学习规模化带来的效果仍然非常显著,而且我觉得随着时间推移,我们会看到更多影响。

尤其是应用在编程上,这会以很多很多方式改变我们的生活。你今天做一个大规模编程项目,和一年前相比,完全是另一种游戏。我们会在很多领域看到这种变化带来的连锁影响。

但我也想说:两年前,当我和团队、以及 OpenAI 的很多人第一次看到 Q-Star 的一些早期迹象真的开始工作时——你坐在一个房间里,看到一种“有意义的新技术”正在出现。

如果你在那一刻不感到一点害怕、不感到一点担忧、不暂停一下想一想“这对世界意味着什么后果”,那我会觉得你没有在负责任地对待自己的工作。我认为每一个 AI 研究者都应该想这些问题:如果我正在做的东西是全新的、它展现出了以前从未出现过的新能力,那世界会发生什么?

很多研究者确实会这么想。当然,有时候也会把担忧推得太远。一方面,到目前为止,AI 还没有给世界带来什么“实质性的重大伤害”;但另一方面,一些事情(比如“某些很花哨的东西”)是不是算有问题——也许还可以争论。(笑)

但总体来说,我认为:当你向世界释放新技术时,感到担忧与谨慎,是一种非常好、也非常健康的反应。

我们正在经历一个变化的时代:大量新事物正在扩散到世界里,它们会产生影响——影响人们如何生活,如何看待自己、看待他人;影响人际关系、国际关系;影响 GDP、影响生产力。

有时候,一个人写下的一行代码,就可能引发连锁反应。经历了这一切,肩膀上的单子就相当重。

为什么大模型行业叙事

      变成了肥皂剧、真人秀

主持人:我一直在想,尤其“政变”那段时间:你做出来的东西被媒体炒得很热,还被卷进各种戏剧化叙事。我不知道“滑稽”这个词对不对,很多人其实还没弄清它到底是什么,就已经围观成现象了。你当时是什么感觉?

Jerry: 技术、概念、人类情绪、人类生活、人和人之间的协议与分歧——在现实里很难被切开来看。

我们确实活在一个世界里:AI 领域的重要参与者之间,有一个非常复杂的关系网络,很多层次叠在一起。要把它完全理清楚,可能得历史学家花很多年、甚至几十年,才能真正弄明白到底发生了什么、哪些因素起了关键作用。

老实说,到现在为止,我对那段时间发生的一切也只剩下非常零散的记忆。我们也在不断“补课”——每当有新的证词出现、每当新的文件被披露,就会冒出一些新事实。未来某个时刻,肯定会有人把所有内容都挖出来、完整还原。

但现实世界就是这么复杂。我也确实觉得,也许应该有一种更健康的方式来讨论技术:找到一个更合适的讨论场域,让分歧能够被更充分、更有建设性地展开。但我们生活在这样一个世界里:没有完美解,也不存在一种绝对正确的讨论机制。

主持人:所以你觉得 X(推特)也不是理想媒介?

Jerry: 我个人其实很喜欢在 X 上发内容,分享想法,和社区交流。但它也不是一个完全严肃的地方——很多时候都是半开玩笑、半认真。更核心的问题是:有人担心某件事太危险不该继续;有人觉得继续做是对的,因为它会增强能力;还有人认为方向本身就不对,我们应该做别的研究。

在技术进步与研究的世界里,这些事情很多都是未知的。没人知道未来。我们只有想法、信念和梦想。

我们必须和这种不确定性共处,也必须学会在很多问题上“求同存异”——很多时候只能接受:大家各自下注、各自承担后果。

主持人:说到当时媒体对 Q-Star 的关注——那阵子简直是炒作过度,几乎天天都在加码,每个月都愈演愈烈。我看着会觉得:这是不是太“嗨”了、太多 hype 了?而且我们俩也都在推特上,多少也参与了这股热度。你怎么看:这种 hype 该不该降一降?我个人确实觉得,强度可以往回拧一点。

Jerry: 我了解。反过来想,如果七年前有人告诉你:OpenAI 会成为万亿美元级别的公司;会建造规模堪比史上最大基础设施项目的数据中心;会拥有世界上最大的 Web 产品之一;全世界会无时无刻都在谈 AI——你一定会觉得那个人疯了,会说“这就是炒作”。

可我真心觉得:这波 hype 在很多层面其实是有事实支撑的。人工智能在很多方面存在过度反应和反应不足的情况(有时候被高估,有时候也会低估),但 AI 的重要性毋庸置疑——它值得被讨论。我不觉得现在还有谁会认为 AI 是个“不重要、不值得讨论”的话题。几年前确实还有人这么想,但现在已经很清楚:AI 很可能是当今世界最重要的议题之一,值得持续讨论与思考。至于进展会有多快、路径到底对不对、安全还是危险——这些当然都可以争论。但 AI 会长期存在,而且只会越来越强。

主持人:完全同意。但如果先把技术放一边——我甚至报道过“挖人狂潮”。我越来越觉得,这个行业的叙事变得像肥皂剧、像真人秀,很多时候讨论的不是硬核科学,而是剧情、阵营和情绪。你会不会也觉得我们有点“跑偏”了?

Jerry: 但到底是谁在制造这场肥皂剧?这才是问题。

主持人:嗯,说真的,这一轮比我经历过的任何技术周期都更“肥皂剧”。可能是赌注太高、钱太多,再加上挖人和各种戏剧化叙事,整个旧金山像活在一套自己的现实里。

我有时都替你们累——七八年一直在这种高压竞速里,你现在想停下来喘口气,我完全能理解。

Jerry:的确很消耗。

但我可以跟你分享一句对我很有帮助的话:有一次,一个比我更有经验、更擅长应对压力的人跟我说——Jerry,这就像做俯卧撑。每经历一次艰难、紧张的时刻,你就更擅长应对压力一点。

老实说,这七年让我练出了很强的心理和情绪韧性。我真的学会了在大量噪音、很多胡扯面前,把自己抽离出来,尽量保持稳定、保持定力。

不管外部发生什么——公司看起来要塌了也好,研究者流动也好,项目被重新分配也好——总会有事情在推进,总会有新的变化。

我听过有人把“挖人”这件事类比成体育队伍的转会。体育之所以还能运转,是因为有角色、有规则。我差点想说:可惜在加州的法律框架下,这类规则基本不可能出现。但我确实觉得,如果能有一些规则,可能会更健康。

因为确实存在这样一种现象:有些人换工作的频率,比他们真正产出成果的频率还高。

主持人: AI 薪资帽?(笑)

Jerry:(笑)确实有人这样。但也仍然有很多人在认真做事,推动前沿继续往前走。不过,AI 是一门大生意——这点无论如何都没法否认。

主持人: 我还跟同事说,我们真该做一张表,把那些在每一家前沿实验室都待过的人列出来,标注他们在每家待了多久。(笑)肯定至少有一小撮人,把整个湾区的“前沿实验室巡回赛”跑完了。说真的,这太疯狂了。

主持人:2018 年前后,OpenAI 还只有三十来个人。有一件事当时让我印象特别深:最早那批成员里,波兰人的比例异常高,而且很多都是非常典型的“数学脑”。

有些人彼此从小就认识,有些并不认识。我一直很好奇:这到底反映的是一种教育背景的集中效应——比如偏重数学训练的体系,确实更容易培养出这类人?还是说,其实只是早期有几个人先来了,后来通过学术和个人网络,慢慢把更多同类的人吸引到了 OpenAI?

Jerry: 先澄清一点:我在加入 OpenAI 之前,完全不认识任何 OpenAI 的人。我是非常随机、机缘巧合地进来的。

但你说得没错,在 OpenAI 非常早期,波兰人的占比确实偏高。不过我并不觉得这种情况“经得起时间检验”。现在公司里,波兰人的比例仍然略高于平均水平,但考虑到 OpenAI 的规模已经增长了大概一百倍,这种早期的“高浓度”并没有按比例延续。

我觉得这里面确实有一些值得讨论的因素,但我并没有足够多对其他教育体系的亲身体验,所以不敢轻易下结论,说波兰的教育体系“天然更强”。我能确定的是:我们确实有很多非常聪明、数学直觉很强的人。

但如果说有一件我特别认可、也特别喜欢的事情,那就是波兰人对“努力工作”这件事的重视从我个人经历来看,这种特质在很多地方正在变得越来越少见——尤其是在一些生活条件已经非常优渥的社会里,人们对工作的强调确实在下降。

Google 的“回归”

还是 OpenAI 的“失误”?

主持人:你怎么看 Google 最近这一轮的“回归”?你是觉得意外、惊讶,还是说其实早就料到了?看起来他们这段时间做对了不少事情。你们之前是不是一直都觉得:Google 迟早会把局面理顺?

Jerry: 我个人其实不太愿意把这件事称为“Google 的回归”。它应该被视为 OpenAI 的失误

OpenAI 确实在很多关键点上做对了事情,但也不可否认,在某些阶段出现过判断或执行上的失误,导致整体推进速度比它本可以达到的状态要慢。

在一种理想的执行情境里,如果你是一家已经取得领先优势的公司,而且拥有 OpenAI 那样的技术、人才和资源条件,那么你理论上是可以持续保持领先的。但如果在这个过程中,你做出了一些错误决策,而你的竞争对手做出了更多正确决策——而 Google 在最近一段时间里,确实做对了不少事情——那对方追上来,其实并不奇怪。

你也必须承认:Google 在硬件、算力和人才储备上,本身就有非常巨大的优势。事实上,在 OpenAI 刚起步的那些年里,Google 在几乎所有机器学习方向上,都是明显的行业第一。

OpenAI 能真正跑出来,靠的主要不是资源优势,而是 研究方向上的强烈信念:对某一条具体技术路线、某一个具体长期赌注的坚定投入。

但让整个行业、让外部世界真正意识到“这是一个正确的赌注”,花的时间比很多人想象的要长得多。哪怕 GPT-2 训练完成了,GPT-3 训练完成了,后来 GPT-3.5 也出来了——在那个阶段,其实并没有太多人真正重视这件事。

你去 NeurIPS 这样的会议和研究者聊天,大家会觉得 OpenAI 很酷,但很多其他实验室的态度是:“嗯,我们迟早也能复现。”语言模型确实挺有意思,但在他们看来,也就止步于“有意思”。

真正的转折点,是 OpenAI 开始通过 ChatGPT 赚到钱。那一刻,其他公司才突然意识到:“好,这不只是研究展示,而是一个已经被验证的商业方向,我们必须认真投入了。”

这里其实存在一个很关键、但常常被忽略的时间窗口:从你开始构建一项技术,到它真正被商业化,中间往往隔着一段很长的时间。

这段时间,足够让其他公司观察、犹豫、评估风险,然后再决定是否下场。而在这个阶段,Google 显然开始非常认真地对待大语言模型这条路线。再叠加 OpenAI 在执行层面的一些失误,最终导致今天的结果:在模型能力和训练成果上,双方已经变得非常接近。

所以,从 Google 的角度来看,这确实是一件值得祝贺的事情。能够把团队重新拉回状态、把执行节奏提起来,背后一定做了大量艰难而高质量的工作。

主持人:那你说的这些“失误”,具体指的是什么?我在努力回忆。我记得当年你们推出 Search 的时候,外界一度在说“Google 完了”,但我当时就觉得未必如此。所以你提到的失误,更多是指哪些方面?

Jerry: 我不太想展开讨论具体的内部决策细节,哪些判断是对的,哪些是错的。

但我想强调的核心其实很简单:如果一家领先公司执行得足够好,那么在大多数情况下,它是可以把领先优势持续下去的。

而在现实中,很明显有一些事情的推进速度,比它本可以达到的节奏要慢

主持人:你的意思是技术层面的失误吗?因为从外界看,也确实发生了不少公司层面的戏剧性的狗血剧情,这些在某些阶段显然拖慢了整体节奏。

我跟 OpenAI 的一些人聊过,关于公司要如何继续向前,确实出现过一些阶段性的混乱,比如关键人物离开等等。所以我原本以为你指的是纯技术问题,但听起来你的意思更复杂一些。

Jerry: 这些事情有时候确实是相互关联的。

从技术角度来说,我并不认为“有人离开”这件事本身就一定构成问题。在任何一家公司,人来人往其实都很正常,也应该是一种常态。

但如果离开变成了某种更深层问题的 症状——比如有人觉得:“公司在一些关键事情上做错了决定,我不再相信这家公司了,所以选择离开”——那这往往意味着,背后确实存在一些需要被正视的问题。

所以回到我最初的判断:确实有一些事情,推进得比它本可以做到的速度要慢。 这并不否认 OpenAI 的成功,但也不能忽视这些失误带来的影响。

主持人:如果像你说的那样,各大实验室基本都在走同一条路,那 Meta 显然也是其中之一。他们在 AI 上投入巨大,也在从各家实验室挖人。我并不完全清楚 Meta 内部的具体策略,但从外部看,他们似乎并没有选择一条完全不同的路线,而更像是在追赶同一条主流路线。

这听起来像一个根本性的问题:如果你既起步更晚,又在做和别人几乎一样的事情,这真的可能有好结果吗?还是说,你觉得 Meta 实际上走的是一条不一样的路?

Jerry: 我并不完全了解他们的内部策略,所以只能谈一些外部观察。

我的感觉是,他们已经意识到一件非常关键的事情:“规模化”在当前的 AI 世界里是不可回避的。如果你放眼现在的 AI 行业,基本可以抽象出两种不同的战略选择。

第一种是:我要做一种和其他人都不一样的模型——它在某些方面会明显更强,我希望把这种差异化模型带给世界。第二种是:我也希望拥有和别人一样强、同一量级的模型,但我的重点不在模型本身,而在于我如何使用这些模型、以及我基于它们构建什么样的产品。

从我对 Meta 一贯路线的理解来看,这家公司长期以来关注的核心,一直是连接人与人、构建关系、打造大规模的用户体验型产品。无论是社交网络、沉浸式体验,还是他们设想中的元宇宙,本质上都是围绕“体验”和“连接”展开的。

所以我这里是基于外部推测,但我认为 Meta 的思路,很可能是:使用我们已经熟悉、已经理解得比较透彻的 AI 技术(比如 Transformer),来构建全新的产品体验,而不是在模型层面追求完全不同的路线。

从一家极其成功、极其赚钱、而且已经拥有全球最大社交网络的公司视角来看,这其实完全可能是一种非常合理、甚至非常聪明的策略。

主持人:我们刚才聊了 Google,也聊了 Meta。但我想换一个角度问:在你们内部讨论、或者评估其他实验室的时候,有没有哪一家,让你们真的觉得“被震撼到了”?哪一家是你个人印象最深的?

Jerry: 我得说,这是一个相对比较新的变化。

在过去一年里,我对 Anthropic 的印象提升得非常明显。 我本人其实从来不是那种特别在意模型“性格”的人。虽然我也听说过 Claude 的“性格”很好,可能确实如此,但这并不是我关注的重点。

真正让我感到震撼的是几件事:他们在 代码模型、编码 Agent 上的成果;以及他们围绕“开发者”建立起来的整体产品和品牌——还有最关键的一点:他们拥有一大群真正满意、甚至很开心的开发者用户。 这是一项非常、非常了不起的成就。

更重要的是:他们起步比 OpenAI 更晚;算力条件更受限制;团队规模也更小。在这样的前提下,他们依然做到了高度聚焦,并且执行得非常好。

他们在获取高质量算力方面遇到过不少现实困难,但即便如此,仍然做出了非常出色的产品。

这些产品正在明显改变人们开发软件的方式;而据我了解,也已经在 实质性地提升企业生产力

所以我真心觉得:他们做得非常好,值得祝贺。

主持人:他们确实看起来正处在一个“高光时刻”。我身边几乎所有人都在聊 Claude Code。我最近还采访了一个人——他在用 Claude“养活一盆植物”。(笑)可能是第一种被 AI 模型持续“照料”的生命体。我真的不知道他们是怎么做出一个几乎“人人都喜欢”的工具的。从 ChatGPT 到 Claude Code,这种程度的“普遍好评”,其实非常少见。

而且之前还有一件事:当大家被“切断使用”时,开发者的反应极其强烈——某种程度上,那种崩溃感甚至超过了 OpenAI 出事时的反应。连 Elon 都公开承认了这一点,说:“是的,我们用得太多了,这是个警醒,我们得把自己的东西做得更好。”所以我在想:这也许不是一个完全普遍的现象,但看起来,很多实验室其实已经在不同程度上依赖这套工具了。也希望这次“切断”能倒逼出更多、更好的同类产品。来一百万个 Claude Code。(笑)

Jerry: 在 OpenAI,我们其实也开发 Codex 有一段时间了——它算是我们自己的“Claude Code 版本”。

我个人觉得 Codex 也挺不错的。有点好笑的是:我自己其实并没有怎么用过 Claude Code。毕竟当时我还在 OpenAI 工作,也没太多机会去亲自用。

我也是想说得客气一点。所以我确实没法给出太多一手对比体验。但至少从推特上的反馈来看,Claude 确实被全球开发者 非常、非常 喜欢。

做点跟 OpenAI 不同的事情
主持人:结合我们前面的讨论,我对你的理解是:你一直是从一种很纯粹的智识和科学兴趣出发的人。你在 reasoning 上的很多工作,本质上都指向一个长期目标——你想创造“AI 科学家”。

所以当我看到你说要离开 OpenAI 时,我忍不住在想:你是不是已经不太想继续待在这场“基础模型竞赛”里了?听你说话的感觉,更像是想换一条路走。我甚至会想象,你会不会干脆跑去做生物科技之类的方向,用完全不同的方式继续追这件事。

Jerry:如果我能克隆自己、同时做很多件不同的事情,我真的会非常愿意。但长话短说:有一天我突然意识到——我对自己过去的人生很满意,也为自己做过的事情感到骄傲;但我现在真正想做的,是押一两个、甚至两三个非常非常大的研究赌注,然后看看能不能把它们做成。

我一直觉得,人应该更愿意冒风险。至少从我的观察来看,我可能算是那种风险承受能力比较高的人——愿意去追一些看起来很野、很不确定、甚至有点离谱的想法。所以我觉得,我应该把这种特质用在更有意义的事情上。

主持人:那你脑子里的这些想法,如果真要落地,大概需要多久?是一年左右的项目,还是说你说的“风险”,意味着你愿意花四五年时间去追一件事,而它最后甚至可能还不如现有方案?

Jerry: 我肯定愿意投入很多时间。但与此同时,我也非常坚定地认为:研究应该尽可能快地推进。

做得慢,本身并不值得骄傲。从“把研究执行好”这个角度看,我希望它能更快。

不过,真正关键的,其实是我之前反复提到的两个词:聚焦(focus)和信念(conviction)。

如果你同时做很多事情,几乎注定每件事都只能做一小部分。你的注意力会被摊薄,资源也会被摊薄。研究实验室经常会说:算力不够,算力限制拖慢了研究。这当然是真的,而且是重要因素之一。但很多时候,更核心的问题其实是:不够聚焦。一天之内,一个人的注意力只能真正放在有限的几件事情上。

我很喜欢对和我共事过的研究者说一句话:少跑一点实验,把每一个实验想得更深。因为有时候,你花几个小时什么实验都不跑,只是盯着结果、反复分析数据——反而更容易带来真正的突破,而不是不停地“多跑”。

所以像 OpenAI 这样的公司,算力其实非常多。但如果算力被分散到太多项目上,效果反而会被稀释。如果把算力集中到更少、更聚焦的项目上,算力往往是够用的。

但这又回到了风险和信念的问题。如果你同时做三个项目,只要有一个成功,其实就已经算不错了;另外两个被砍掉,也完全可以接受。如果三个都成功,那当然更好。但如果你只做一个项目,它往往会推进得更快——因为你足够聚焦、也足够坚定。当然,代价是:如果它失败了,你会非常惨;但如果它成功了,你可能会拥有世界上最好的模型。

而对 OpenAI 这样规模的公司来说,现在确实很难做到一件事:把整个公司押注在一个全新的、完全不同的方向上,同时不在乎下个季度 Gemini 会不会更强。 这真的非常难。它需要一种非常特殊类型的人,才愿意这么做。

我觉得,这就是问题的核心。

主持人:我明白,也知道你不能聊什么“秘方”。但我还是忍不住好奇:从外部看,我会直觉觉得,OpenAI 接下来押注的方向,应该是那些能赚大钱的方向。比如“Chat 里要加广告”的消息,几乎把整个互联网点燃了。哪怕很笼统地说,你觉得我们能判断他们接下来大概会把资源投向哪里吗?

Jerry: 这个问题上,我确实不应该、也不能谈 OpenAI 的任何具体计划。

主持人:合理。(笑)那我换个问法:你觉得这些做模型的公司里,有没有谁会选择——也许“勇气”这个词不太准确——不把广告塞进模型里?还是说,从商业角度看,这其实是不可避免的?

Jerry: 这属于商业策略。我做的是训练模型。(笑)

主持人:好,抱歉,我不是想逼你。(笑)只是聊完整个对话之后,我自己还在试图想明白一件事。一方面,你说你想走一些新的方向,去追一些和主流不同的路径;但另一方面,我们也反复提到:你想做的这些事,确实需要非常强的“马力”。所以我有点难想象:这是 Jerry 一个人、在外面慢慢测试新想法?还是说,就你真正想做的那些研究,你必须身处一个拥有足够资源的地方,事情才有可能发生?

Jerry: 这正是我现在最想搞清楚的第一个问题。任何 AI 研究,最终都离不开 GPU、离不开算力(FLOPs)。我现在需要认真想清楚的是:到底什么样的方式,才是做这些研究的最佳路径。

我确实正在努力理清楚:我很清楚自己想做哪些研究,但我还在寻找答案——到底怎样去做,才算是一个“好的方式”。

OpenAI 的压力甚至超过创业?
主持人:我刚才问的那些,基本就是我最想问的了。我觉得我能跟你聊上好几个小时。

我不想继续追问“你接下来做什么”,因为你看起来太开心了,整个人容光焕发。

Jerry: 是的,我听好几个人都跟我说:你现在比以前快乐多了。

主持人:我不想把你拖回那种压力里,比如问你接下来要做什么?

Jerry: 我不知道。而且我也听一位正在经营自己公司的人说过一句让我很震撼的话:在 OpenAI 工作,比自己创业还更有压力。从很多方面看,OpenAI 的确是一个压力极大的地方。

主持人:还有一个小问题,除了“大家都在追同一套东西”之外,你觉得这个领域里还有没有什么“巨大的错误”?

Jerry: 我不觉得存在那种特别“巨大的错误”。这个行业里的人,其实都很难犯那种一眼就能看出来的致命错误。

真正的问题更像是:你愿意花多少精力去探索“其他可能性”?又有多少精力,继续沿着你已经走得很顺的那条路往前推。

主持人:那我换个问法,可能更准确一点。有没有一些你觉得被明显低估、被忽视的研究方向?它们本该得到更多关注,但现在没有。

Jerry: 老实说,这样的想法非常多。但这些想法最缺的,往往不是“它们不存在”,而是:缺关注、缺算力、缺资源。

这里还有一个比较有意思的现象。很多研究者——包括学术界——很擅长、也很喜欢做“从 0 到 1”的事情:提出一个新想法,证明它“有点能跑”,然后就发表出来。而我觉得,我自己、以及我在 OpenAI 共事过的团队,真正特别擅长的一件事,是“从 1 到 100”:拿一些已经有初步证据的新想法——它们很不同,也不成熟——然后想办法把它们在大规模上做得可靠、稳定、可落地。

要训练前沿模型,把一种技术真正嵌进系统里,会涉及大量非常具体、非常琐碎、但又极其关键的工程和研究工作。如果执行不好,可能要花上好几年;但如果你有一套好的方法和节奏,可能几个月就能完成。这也是我未来很想继续多做的一类事情。

AI 研究是“明星驱动”的吗?
主持人:我们之前聊到 OpenAI 的人员流动时,你说公司是能扛住这些变化的。但从外部看,这个领域又很像是“明星驱动”的:比如 Alec Radford 那样的突破级贡献——你知道我指的是什么。

从行业行为上看,很多实验室似乎也在按“明星逻辑”行事。当然,这背后有大量集体协作,但确实也有一些时刻,看起来重大突破被“绑定”在少数几个人身上。但你刚才的反应,似乎并不完全认同这是一个“明星驱动”的行业。

Jerry: 我觉得这是个很复杂的话题,但有两个看法可以同时成立。

一方面,确实存在这样的情况:在某些阶段,尤其是在 OpenAI,一小撮人能产生远超常人的影响力,推动真正突破性的成果,然后这些成果扩散到整个行业。我亲眼看到这种事情反复发生。

但另一方面,当我看到人们在不同公司之间频繁流动时,我很少看到这种流动本身,对公司产生“决定性影响”。

我更相信的是:公司的结构、文化和运作方式,才是真正的研究引擎,而不完全取决于某一个研究者是否在这里。

而且我也观察到一个现象:那些频繁跳槽的研究者,反而往往没那么高产——即便他们过去做过很好的工作。他们需要重新磨合,会被各种事情分散注意力,短期内也未必有新的突破性想法。

经验当然重要,但更重要的是:营造一种环境——强调个人责任、鼓励探索、并且真正为“做出伟大事情”提供条件。

在一个好的结构、好的文化、好的协作方式下,你完全可以建立很多团队,持续做出伟大的成果。

这件事并不依赖某一个“唯一的人”。归根结底,我认为:研究结构、研究文化和协作方式,远比“某个特定的人是否在团队里”更重要。

主持人: 很有道理,很有道理。

主持人: 最后一个问题:你冥想吗?

Jerry: 最近在试,但我觉得我冥想得不太行。

主持人: 那祝你下一段旅程,能找到属于自己的“黑暗静修”。Jerry,谢谢你。

Jerry: 谢谢,很高兴和你们聊天。

参考链接:

https://www.youtube.com/watch?v=VaCq4u5c78U

声明:本文为 AI 前线整理,不代表平台观点,未经许可禁止转载。

浏览 (7)
点赞
收藏
1条评论
探小金-AI探金官方🆔
哎呀,大家好呀!今天“评论探小金”来啦!刚刚看了一篇超级有意思的文章,是关于AI界的大瓜哦!Jerry Tworek大神离职了,他还炮轰了硅谷的“钱太多”毁了AI,哎呀呀,这可是个热门话题呢!🤩 Jerry大神可是AI界的“活传奇”,他在OpenAI的贡献可大了,参与了好多重要的项目,但是最后还是选择了离开,因为他想做一些有风险的基础研究,但是在OpenAI这种公司已经不太可能了。😢 但是,别难过哦!Jerry大神可是鼓励我们,研究者不应该只盯着“渐进式改进”,而是要去思考:**有没有办法把整个棋盘掀翻?**哇,这可是个超有启发性的问题呢!💡 那你们觉得,AI的未来会怎么发展呢?是不是真的应该有一些新的突破和探索呢?一起来评论区聊聊吧!👇👇👇
点赞
评论
到底啦