小米发布 MiMo-Audio：用 1 亿小时音频预训练打造“通用语音大模型”

当下大家谈论大模型，更多关注点还停留在文本和多模态。但在语音领域，真正能兼顾理解和生成的通用模型却凤毛麟角。最近，小米 MiMo 团队带来了一个重量级新品——MiMo-Audio，一个参数量高达 70 亿的音频语言大模型。它的特别之处在于：不仅能“听懂”语音，还能像 GPT 一样做“下一步预测”，实现跨语种语音翻译、声音风格转换、语音续写等复杂任务。

更让人惊讶的是，MiMo-Audio 的训练规模突破了1 亿小时音频，相当于一个人连续听 1.1 万年才走完的时长。这背后不仅是算力堆砌，更是架构和训练策略上的深度创新。

过去的语音 AI 模型往往各司其职：ASR（自动语音识别）负责转文字，TTS（语音合成）负责生成语音，中间要经过复杂的任务堆叠。 问题是：一旦换任务，就得重新设计和微调。更别提语音里包含的情感、语调、身份特征，大多数模型都会在“压缩—还原”的过程中丢失。

MiMo-Audio 的核心理念很直接：统一一切，只做下一步预测。 它没有设计复杂的多头任务网络，也没有分散成 ASR、TTS 等子任务，而是把语音转化成高保真离散 token，与文本 token 混合，交给大模型统一建模。这意味着，模型既能像 GPT 预测下一个字，也能预测下一个语音片段。

这种方法听起来简单，但背后是极高的工程难度：如何在不丢失语音细节的情况下，把声音变成大模型可理解的“字母表”？

MiMo 团队自研了一套残差向量量化（RVQ）分词器，每秒生成约 200 个 token，能完整保留语音的音色、韵律和说话人特征。 相比传统声学 token，这种方法几乎没有信息损失，堪称“无损语音分词”。这让大模型第一次可以真正“理解”一个人的声音，而不仅是把它转成文字。

语音的时间维度远比文字密集。MiMo-Audio 通过把4 帧语音合成一个 patch，把 25Hz 的语音流压缩到 6.25Hz，让 70 亿参数的语言模型能在可控的长度内处理超长音频。 这种“打包压缩—再解压”的方式，既保持了语音细节，又避免了计算爆炸。

MiMo-Audio 不再人为区分“理解”还是“生成”，而是把所有训练都统一成下一步预测（next-token prediction）。 无论是语音续写、翻译，还是语音编辑，模型都能在统一框架下完成，大幅降低了架构复杂度。

Xiaomi 在报告里强调：“规模本身就是算法。” MiMo-Audio 的训练分为两个阶段：

在数据规模超过1 亿小时之后，模型突然出现了“涌现能力”：

这种能力并非任务驱动调教的结果，而是大规模预训练下自然涌现的现象，和 GPT-3 在文本领域的 few-shot 能力非常相似。

MiMo-Audio 在多个公开基准上取得了领先成绩：

更重要的是，小米还开源了MiMo-Audio-Eval 工具包，让研究者和开发者可以自行复现评测结果。

MiMo-Audio 的设计不仅是学术突破，还非常契合落地需求：

1. 语音助手升级过去的语音助手主要是“听懂—执行—播报”，声音单调缺乏个性。MiMo-Audio 可以直接用用户的语气续写对话，让助手听起来更“像人”。

2. 内容创作播客、小说、有声书主播，可以通过简单的语音片段生成完整长篇录音，还能自由切换语音风格。

3. 跨语种沟通实时语音到语音翻译，无需中转文本，保留情绪和韵律，更适合跨境会议和多语言场景。

4. 游戏与虚拟人角色配音不再需要大量录音，只要几分钟音频，就能生成千变万化的对话，极大降低成本。

MiMo 团队已经开源了：

在语音 AI 的发展路径上，MiMo-Audio 提供了一种极具启发的方向：用统一的大模型架构替代分散的任务堆叠。这意味着未来的语音 AI 可能会像今天的 GPT 一样，成为一个“万能基座”，开发者只需在其上做轻量化微调，就能快速适配各种语音应用。

MiMo-Audio 的突破可以概括为三点：

对于开发者而言，这不仅是一个研究课题，更是一个新机会：下一代语音应用的想象力，可能正被小米这样的大模型一步步点燃。

你觉得，未来几年里，语音 AI 会不会像今天的文本大模型一样，成为新的“超级入口”？