AI知识库选集
发布于

从“更大”到“更聪明”:蚂蚁集团推出 Ling 2.0,大模型推理进入“稀疏智能时代”

推荐语

蚂蚁集团Ling 2.0突破大模型效率瓶颈,用1/32激活比例实现7倍推理加速,开启稀疏智能新时代。

核心内容:
1. 稀疏MoE架构设计:仅激活3.5%专家网络实现万亿参数规模
2. Ling Scaling Laws方法论:通过风洞实验预测最优模型配置
3. 稳定机制创新:Sigmoid路由+共享专家保障超大规模训练稳定性

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家



在这个“模型越大越好”的时代,蚂蚁集团却走出了一条反向思路——让模型变得更聪明,而不是更臃肿

最近,蚂蚁集团的 Inclusion AI 团队正式发布了Ling 2.0 系列模型——一个以“推理优先(Reasoning-First)”为核心设计理念的稀疏 MoE(Mixture of Experts)语言模型家族。它最大的特点是:参数总量可以从 160 亿一路扩展到 1 万亿,但每个 Token 的计算量几乎不变。

听起来有点像魔法?但这其实是一套非常系统的工程哲学:每一次激活(Activation)都必须带来推理能力的增强。


在 Ling 2.0 的架构中,核心是一个稀疏专家混合层(Sparse MoE Layer)

每一层都包含:

每处理一个 Token 时,路由器会从 256 个专家中选择 8 个激活,再加上始终开启的共享专家,总共 9 个专家参与计算——这只占全部专家的 **约 3.5%**,也就是1/32 的激活比例

这种稀疏激活机制,让模型在训练与推理时仅使用极小一部分网络,却能保持完整的参数规模。 根据蚂蚁团队的测试,相比等规模的稠密模型,Ling 2.0 的效率提升约 7 倍

更关键的是,这种稀疏策略在 16B、100B 到 1T 三个版本中都能保持稳定表现:

这意味着:在算力成本几乎不增加的情况下,模型的推理与知识容量仍在稳步增长。


以往大模型架构的选择常常依赖反复实验和调参。 但蚂蚁团队采用了更科学的路径——通过“Ling Scaling Laws”自动推导出最优设计。

他们建立了一个叫“Ling 风洞(Ling Wind Tunnel)”的验证体系:

结果显示,1/32 激活比例、256 个路由专家 + 1 个共享专家的配置,在从 16B 到 1T 规模间都是最优解。

这一方法论,让团队无需“试错式”地烧掉 GPU 集群,就能提前预测模型表现,极大降低了超大规模模型的试验成本。

此外,Ling 2.0 的底层还引入了几项稳定机制:

简单来说,Ling 2.0 不只是“更大”,而是“更有规律地变大”。


Ling 2.0 的训练管线同样颇具匠心。

它不是一味地堆数据,而是循序渐进地将“推理能力”与“长上下文”结合

这种“早期引入推理、逐步拉长上下文”的策略,让 Ling 系列在数学、代码、逻辑推演等场景中表现异常稳定。 相比许多后期才添加推理数据的模型,Ling 2.0 在深度思考能力上明显更自然、更连贯。


在模型对齐(Alignment)环节,蚂蚁团队引入了一种独特的“双路径”方案:

这种“分层对齐”的做法,使 Ling 2.0 在推理性能不牺牲的前提下,回答既高质量又更贴近人类偏好。 特别是在数学推理、代码生成、指令跟随任务上,表现接近同级别闭源模型。


万亿规模模型的最大难题,不在算法,而在训练成本与硬件利用率。 蚂蚁的工程团队在这里玩出了一整套系统级优化:

这些系统堆叠,让1T 参数规模的训练真正“落地”。 也就是说,Ling 2.0 不只是一个模型,更是一套“可复用的万亿级训练系统栈”


最终评测显示:

更关键的是——这些性能的提升并非来自增加算力,而是源自稀疏激活、科学架构选择和高效系统工程的协同作用。

蚂蚁集团的 Ling 2.0 向业界传递了一个清晰信号:

大模型不一定要更“密”,也可以更“聪明”。

未来,当其他机构还在比拼显卡堆叠时,这类“固定稀疏+推理优先”的架构,或许会成为更主流的道路。


从 GPT 到 Claude,再到如今的 Ling 2.0,我们正在见证一个重要的转折点: 模型的竞争,不再是谁更大,而是谁更会“思考”。

Ling 2.0 的出现,标志着中国团队在超大模型工程、推理能力建模与训练体系化优化上的全面突破。 它不仅是一个模型,更像是一个信号——未来的智能,不在算力极限,而在结构智慧。









关注我们,一起进步,一起成长!



大模型技术原理大模型技术架构大模型技术路线

浏览 (5)
点赞
收藏
1条评论
探小金-AI探金官方🆔
嘿,AI知识库选集大大!你的Ling 2.0真的太棒了!🌟 它不仅让大模型变得更聪明,还让效率提升了7倍,这简直就是魔法般的进步呀!😍 想知道更多的小伙伴们也快来评论区一起聊聊吧!👭👬 #智能新纪元# #大模型进化论#
点赞
评论
到底啦