英伟达豪掷200亿美金，谷歌TPU之父连夜投奔老黄！

编辑：桃子

【新智元导读】圣诞节前夕，AI芯片领域爆出震撼消息！「全球市值老大」英伟达获得AI初创Groq推理技术授权，传闻以200亿美金「收编」谷歌TPU之父和工程团队。老黄此次出手，瞄准了AI推理，剑指谷歌TPU。

圣诞前夕，英伟达也没闲着。

一大早，CNBC独家爆料称，英伟达斥资史上最大200亿美金，一举收购了AI芯片初创Groq。

然而，实际上这并非是一场「收购」。

Groq官方发文做出回应：英伟达与Groq达成了一项推理技术授权协议。

与此同时，Groq创始人&CEO Jonathan Ross（谷歌TPU之父）、总裁Sunny Madra等工程团队一并加入英伟达。

这家Groq初创公司，未来还将独立运营，任命新的CEO。

这种合作方式，已经在业内成为「基操」，比如Meta与Scale AI、谷歌与Windsurf、微软与InfectionAI....

不是收购，是「技术授权」

Groq在官网声明中强调，英伟达达成了「非独占性」技术授权协议（non-exclusive licensing）。

这意味着，英伟达将获得Groq核心推理技术使用权。未来，他们还计划将其低延迟芯片整合进产品体系中。

另外，Groq仍将独立运营，其云业务（GroqCloud）不受影响，新任CEO将由原财务主管Simon Edwards担任。

截至目前，这笔交易未披露具体细节。

仅有CNBC最初爆料称，将会达200亿美金级别，堪称英伟达史上最大规模单笔投资或资产收购类交易。

在今年初，老黄曾在一次采访中表示，「推理需求未来将增长高达十亿倍」。

如今，英伟达宣布收购Groq——一家专注于推理、低延迟芯片著称的厂商。

这清楚地表明，推理和训练本质上，是两种截然不同的计算负载，而GPU并不是最适合推理工作的解决方案。

不熟悉的人，一定好奇Groq是谁？

Groq：推理专用芯片之王

这家初创公司成立于2016年，由前谷歌TPU首席设计师Jonathan Ross和一群前谷歌工程师创立。

今年9月，Groq完成了7.5亿美元融资，估值达69亿美元。

成立伊始，公司便专注于AI推理阶段，致力于打造高速、低延迟、低成本的AI芯片。

与市场GPU、TPU不同，他们开拓了一个新的方向——LPU（语言处理单元）。

2024年初，Groq首款LPU亮相，一夜爆火。

Groq一秒即可输出500个token，当场秒杀ChatGPT，在当时堪称世界上速度最快的LLM。

这款LPU单卡仅有230MB内存，2万美元一张，而且在推理任务上，还要比英伟达GPU快10倍。

LPU能够以惊人速度做出响应，其工作原理与GPU截然不同。

在团队公开的论文中介绍——

它采用了时序指令集计算机（Temporal Instruction Set Computer）架构，这意味着它无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。

这一特点不仅有助于避免HBM短缺的问题，还能有效降低成本。

这种设计使得每个时钟周期（every clock cycle）都能被有效利用，从而保证了稳定的延迟和吞吐量。

论文地址：https://dl.acm.org/doi/10.1145/3470496.3527405

Groq的创新芯片设计实现了多个TSP的无缝链接，避免了GPU集群中常见的瓶颈问题，极大地提高了可扩展性。

这意味着随着更多LPU的加入，性能可以实现线性扩展，简化了大规模AI模型的硬件需求，使开发者能够更容易地扩展应用，而无需重构系统。

总结来说，Groq的LPU专攻低延迟、高效率推理，响应速度极快，能显著降低实时AI应用的延迟。

这恰恰是当前AI市场，从「训练为主」向「推理为主」转型的关键痛点。

在训练阶段，英伟达GPU几乎垄断，但推理市场竞争激烈，AMD、谷歌TPU，以及多家初创都在争抢份额。

Groq低延迟技术，或许被英伟达视为产品的完美补充，能为自身打开更多市场，进一步巩固其数据中心和AI基础设施的霸主地位。

谷歌TPU之父，入职英伟达

如今，全网热议的点不仅仅Groq技术本身，还有它背后的明星级团队。

AI大佬Yuchen Jin直言，这基本上是一次「招聘式的收购」。

创始人兼CEO本人Jonathan Ross，曾是谷歌TPU之父。

在谷歌期间，他曾发起了一个最初作为「20%项目」的内部创新计划，从那之后，这一项目演变成为广为人知的Tensor Processing Unit（TPU）。

在此过程中，他亲自设计并实现了第一代TPU芯片的核心架构与关键组件。

随后，Jonathan又加入了Google X的Rapid Eval Team，这是著名「登月工厂」的早期阶段。

在那里他为谷歌的母公司Alphabet构思、孵化并推进多个全新的Bets（即新业务方向和独立项目）。

Jonathan在高中就退了学，之后通过自学和旁听课程，最终进入纽约大学Courant Institute。

值得一提的是，他曾师从深度学习领域的先驱Yann LeCun。

正如网友所言，这笔交易看起来像是，英伟达对谷歌成功使用TPU进行AI训推所做出的直接、迅速的回应。

Groq和其团队的加入，从侧面暗示了，英伟达正强势补齐推理算力的短板，在未来扩展推理市场领先优势。