📄 Walrus:靠数据工程做统一语音音频大模型
评分:7.1/10 | 创新 1.3/2 | 技术严谨 1.1/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5
👥 作者与机构
- Alkis Koudounas:机构信息未能在本次解析中与作者逐人可靠绑定
- Osamu Take:机构信息未能在本次解析中与作者逐人可靠绑定
- Hayato Futami:机构信息未能在本次解析中与作者逐人可靠绑定
- Quentin Jodelet:机构信息未能在本次解析中与作者逐人可靠绑定
- Emiru Tsunoo:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
实际应用常在一段音频里同时遇到转写、翻译、说话人区分、情绪与背景声描述,单独训练多个模型会增加部署成本并让误差逐级传递。Walrus 要用同一套权重处理识别、翻译、合成与理解,输入是语音或音频加自然语言提示,输出是文字或离散语音 token,难点在于混合语和重叠说话人稀缺、长输出任务容易压住识别任务、娱乐音频质量差异大。做法上先用大规模多语 clean 数据建立识别核心,再加入重叠说话人、混合语、时间戳与对话上下文数据,最后加入娱乐、低资源语言、更多混合语和翻译数据,全程用任务权重与数据集采样权重控制配比。骨干保持解码器结构不变,语音输入由 USM 编码器转成连续表示,语音输出走 25 Hz 单码本量化加 Vocos 声码器。相对已有语音大模型,差异不在改架构,改进来自转写修复、合成混合语、仿真多说话人、挖掘平行文本与拼接待标注场景等管线。在 FLEURS 多语识别上 Walrus-R 平均词错率 5.33%,优于 4 倍规模 Qwen3-Omni-30B 的约 6.2% 和 Whisper Large-v3;在 CS-FLEURS 朗读混合语上字符错率 7.23%,远低于最强同级基线 Gemma 4 的 32.30%。结论适用于 30 秒以内片段和报告所列语言与评测集,重叠自然对话绝对误差仍高,情绪与字幕任务未领先。训练成本为 128 张 NVIDIA H100 上约 30 天,约 92000 GPU 小时。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录,开放状态尚未核实。
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
实际应用为什么需要一个模型做多件事
论文面对的是会议、配音、媒体平台这类真实场景。会议需要转写重叠说话并区分谁说了什么,配音需要把语音翻译成另一种语言再说出来,媒体平台既要转写娱乐音频又要描述音乐与音效,还需要识别情感、回答音频问题并处理句内语码切换。
如果每个任务单独训练部署一个模型,成本高且级联会累积误差。Walrus 的目标就是用约 8,000,000,000 参数的一套权重,通过自然语言任务提示切换识别、翻译、合成与理解,覆盖 100 多种语言和 20 多种任务变体。它从 Gemma 4 E4B 初始化并保持主干结构不变,把全部改进归因于数据。理解这一点后,才能明白后文为什么把精力放在数据配比、任务权重与 3 阶段课程上,而不在重新设计结构上。这一分工把结构改进的空间让给数据配比与排程,后文用 3 阶段课程与 2 维权重来落实。
已有路线在比什么,本文换了什么赌注
已有语音大模型路线多在扩大规模或重新设计结构,数据如何清洗、混合与排程谈得较少。但最难的恰恰是数据问题:句内中英混合、重叠说话、娱乐音频、需要推理的音频问答在公开语料中很少,不同任务的输出长度差异也很大,长生成序列容易主导损失而削弱核心识别。
Walrus 的赌注是结构不动,把全部改进归因于数据。主干沿用 Gemma 4 E4B 解码器结构并微调全部参数,语音输入沿用通用语音模型 USM 编码器的设计,并用 SDPA 做高效训练推理,单套权重靠提示切换任务。这个选择也决定了复现重点在数据流水线、任务权重与数据集权重 2 维控制,而不在网络实现。早期让长序列生成权重很低,核心稳定后再加强生成与理解,识别在全程保持最高权重以防遗忘。
要解决的输入输出与必须保留的信息
输入有两类:语音或音频,以及说明任务的文本提示。输出也有两类:识别、翻译文本与理解答案是文本,文本转语音与语音到语音翻译输出的是离散语音记号,再由外部解码器变成波形。单样本最大序列长度为 1024 个词元,音频输入最长按 30 秒音频处理。
必须保留的信息随任务而变。转写要保留字词与语言归属,多人场景还要保留说话人边界与时间,翻译要保留语义,合成要保留说话人音色与韵律,理解要保留事件顺序与场景关联。训练时每个任务有 10 到 20 个改写提示,评估时用出现频率最高的规范提示以保证可复现。这正是后文多人评测都切成 30 秒片段的前提。这种输入输出划分决定了识别与理解走文本分支,合成走语音记号分支,2 分支共享同一主干与提示机制。
一个样本如何走完全流程
拿一条需要翻译并说出来的语音为例。音频先进入 USM 编码器变成连续表示,与输入文本提示一起送入 Gemma 4 主干。主干按提示决定输出文本还是语音记号。若是语音到语音翻译,主干自回归生成每秒 25 个的离散记号,再经 VQ 解码器映射回特征,最后经基于 Vocos 的声码器单步非自回归合成波形。
下图是整体连接方式,先看输入到输出的主路径,再区分文本分支与语音记号分支的不同去向。
看图路径: 1. 先沿底部音频输入经 USM 到 LLM 的主箭头看输入路径;2. 再看顶部两路输出分支:文本输出与语音记号输出分别去向哪里;3. 注意 USM 旁与 LLM 旁火焰标记表示微调时更新的位置
论文图 1。原论文 Figure 1::“Overview of Walrus, our most capable SpeechLLM yet.”。
图中可见底部是输入文本与 USM 语音输入,中部是 LLM 主干,顶部左侧是文本输出,右侧是语音记号经单元声码器到波形的路径。声码器还以源语音为条件,用来迁移说话人身份与韵律。它还放宽了对源与目标配对录音的要求,不再需要说话人与韵律匹配的录音。这解释了为什么翻译语音能在内容变化时仍尽量保持原说话人特征。该路径把自回归记号预测与单步非自回归波形合成解耦,主干保持轻量而解码器专攻高保真与说话人迁移。
语音输入与任务提示如何共同控制行为
USM 编码器在微调中被解冻,会适应娱乐与混合等新音频域。任务选择不靠换模型,靠提示词。训练时每个任务有 10 到 20 个改写提示,覆盖命令式、疑问式、标签式与结构化分隔符等写法,评估时用出现频率最高的规范提示以保证可复现。
USM 编码器 × Gemma 4 主干: USM 编码器负责把输入语音变成连续表示,解决语音信号与文本词表不兼容的问题;Gemma 4 主干是解码器语言模型,负责按任务提示生成文本或语音记号。二者搭配后,语音理解复用了语言模型的指令与推理能力,主干则获得了可微调的语音输入接口。
提示模板带有槽位,例如源语言与目标语言、前文上下文、候选关键词、情感允许标签、目标说话人与起止时间。对话上下文会标注角色,关键词表会打乱顺序并可为空,时间问答会给出秒级区间,情感识别会给出闭集标签。这种设计让同一主干能处理带条件的识别与翻译,而不需要为每种条件单独加头,也让提示措辞变化不改变任务本身。同一模板可服务多语言与多条件,训练时均匀采样并对规范提示过采样,评估时固定规范提示以保证可复现。
语音输出为何做成低码率记号加外部声码器
生成侧词表扩展了 8192 个专用语音记号。分词器用单层向量量化模块,先把自监督语音特征从 50 赫兹降到 25 赫兹,再用三层 Conformer 编码并量化。目标特征来自预训练 W2v-BERT 2.0 编码器第 20 层,每个记号 13 比特,每秒 25 个即每秒 325 比特。对称 Conformer 解码器重建特征,训练用 VQ-VAE 目标结合余弦重建损失与承诺损失。
离散语音记号 × VQ 解码器 × Vocos 声码器: 离散语音记号是主干输出的低码率中间符号,每秒 25 个;VQ 解码器把它映射回连续特征,Vocos 声码器再一次性合成波形。三者分工是语言模型只管语义序列,波形细节与音色迁移交给专用解码器,从而让生成保持轻量且保真。
声码器把记号先映射回连续特征,再经 Vocos 解码为波形,并以 W2v-BERT 2.0 第 8 层源语音特征为条件。原文解释低层特征保留更多说话人信息,因此能迁移音色与韵律,也降低了对源与目标配对录音的依赖。训练用了多周期与多频带判别器、梅尔谱损失、特征匹配与多分辨率谱损失。
直接翻译 × 级联翻译: 直接翻译指语音到目标一次映射,延迟小但依赖端到端对齐;级联翻译指先转写再翻译再合成,中间文本可检查、可利用上下文。Walrus 同时支持两种形式,是为了在对话场景保留可干预的中间结果,也为对比两种路径的误差积累提供条件。
上下文识别 × 关键词识别: 上下文识别输入前文话语,帮助消解同音与专有名词;关键词识别输入候选实体表并混入干扰项,训练模型利用有用词、忽略无关词。两者都是给识别增加文本条件,区别在于一个是连贯话语,一个是离散实体集合。
三阶段课程与权重如何保护核心识别能力
训练总量超 600M 样本,覆盖 20 多种任务与 100 多种语言,在 128 块 H100 上约 30 天完成。总体配比是识别占 45%,翻译占 27%,理解占 21%,生成占 7%。识别中标准识别占家族内 57.5%,其余是多人、上下文、关键词与语码混合。翻译中机器翻译与语音到语音翻译各占 35.3%,理解中指令跟随与问答推理占 64.6%。
课程分 3 段,每段从上一段 checkpoint 继续并换随机种子打乱数据。第一段做多语基础,第二段加入多人、目标说话人、时间戳、说话人日志、合成语码混合与合成闭合字幕,第 3 段加入娱乐合成音频、低资源语言、更多 2 到 4 人混合与更多语音到语音翻译数据。学习率前两段较高,第 3 段减半以做精调。
任务权重 × 数据集权重: 任务权重缩放不同任务对损失的贡献,防止长序列的合成任务淹没短序列的识别任务;数据集权重缩放某个数据集的采样频率,防止大语料挤占高价值小数据。两者搭配后,有效数据分布不再等于原始语料大小,而是按课程目标主动设定。
下表是任务权重的变化,比较问题是各阶段如何取舍长输出任务与核心识别任务。数字越大表示对损失贡献越大,短横表示该阶段尚未引入。
| Task | Stage 1 | Stage 2 | Stage 3 |
|---|---|---|---|
| ASR | 5.0 | 5.0 | 4.0 |
| AST (and variants) | 2.0 | 2.0 | 2.0 |
| S2ST (and variants) | 0.5 | 0.5 | 2.0 |
| TTS | 0.25 | 0.25 | 2.0 |
表中可见识别权重始终最高,生成与部分理解权重在第 3 阶段才明显上调。这与原文原则一致:早期让生成权重很低以免长序列主导损失,核心稳定后再加强生成与理解。数据集权重是另 1 维控制,例如把超大识别语料权重减半,给新任务留出混合空间。
任务划分、语言覆盖与评测条件
任务分四族,语言覆盖是理解结论适用范围的关键。下表先看支持哪些任务与语言,再看结果表时才知道缺语言的平均值不可直接对比。
| Task family | Supported tasks |
|---|---|
| Recognition | ASR, Context-ASR, Keyword-ASR, Timestamp-ASR, |
| Translation | MT, AST (direct, cascaded), S2ST (direct, cascaded) |
| Generation | TTS |
| Understanding | Audio Captioning, Closed Captioning, Audio QA, Timestamp-QA, |
上表说明识别及其变体覆盖 100 多种语言,语码混合集中在英语、日语与中法德印意西的组合,多人混合覆盖中英法德意日西 7 种语言,翻译覆盖 10 种语言与英语或日语之间的互译,闭合字幕覆盖 7 种语言。比较时要注意同表内基线支持语言不同,例如有的基线在部分语言上无结果,其平均值只按支持语言计算。
提示槽位的含义需要明确,否则无法复现带条件任务。下表列出模板变量及其填充对象,训练与评估都按此构造输入。
| Slot | Filled with |
|---|---|
| {lang1}, {lang2} | Source and target language |
| {context} | Preceding text, as discourse context |
| {keywords} | List of candidate keywords |
上表把语言、上下文、关键词、标签集、目标说话人、时间区间与对话角色分开,说明条件信息是以显式字段进入提示,而不是藏在自由文本里。训练时从每任务提示池均匀采样并对规范提示过采样,评估时固定用规范提示。这也是后文上下文识别与关键词识别可控评测的基础。
识别:在哪些基准上领先,条件是什么
雷达图把各基准归一化为越高越好,便于一眼看到两个版本相对最佳旧系统的位置。先按识别、翻译、理解分区看轮廓,再聚焦语码混合与娱乐识别等外扩最明显的轴。
看图路径: 1. 先看图例区分最佳旧系统、商业版与研究版三条轮廓;2. 再比较右侧识别区语码混合与多人混合轴上研究版的外扩幅度;3. 最后看左侧理解区 MMAU-Pro 与情感识别轴上三者的相对位置
论文图 2。原论文 Figure 2::“Walrus against the best previous system (among AF3, Gemma4, Qwen2.5-Omni-7B, Phi4-MM) across recognition, translation, and understanding benchmarks.”。
图中可见两个版本在多数轴上超出灰色最佳旧系统轮廓,研究版在语码混合、内部娱乐识别与音频理解轴上外扩最多,而情感识别与部分字幕轴并未全面领先。这提示增益集中在专门造数据的方向,而非所有理解任务。
下表是核心数字的对照,比较问题是在相同公开或内部测试上,研究版相对可比规模模型与更大模型的实际误差与得分。指标方向不同,识别误差越低越好,翻译与理解得分越高越好。
| 条件 | 指标与方向 | 可比基线 | Walrus 研究版 | 更大或专用系统 |
|---|---|---|---|---|
| VoxPopuli 多语识别 | 词准确率越高越好 | Gemma 4 为 88.2% | 92.2% | 附带 7.8 词错误率 |
| CS-FLEURS 朗读语码混合 | 字错误率越低越好 | Gemma 4 为 32.30 | 7.23 | Qwen3-Omni 对应 61.3% 字符准确率 |
| LibriMix 双人干净混合 | 连接词错误率越低越好 | 可比模型无有效输出 | 19.32 | Qwen3-Omni-30B 为 37.04,VibeVoice-ASR 为 59.34 |
| CVSS-C 语音到语音翻译 | ASR-BLEU 越高越好 | Qwen2.5-Omni 为 36.02 | 43.63 | Qwen3-Omni-30B 为 41.27 |
| MMAU-Pro 指令理解 | 准确率越高越好 | Qwen2.5-Omni 为 52.20% | 71.92% | Gemini-Flash-3.7 为 70.40%,GPT-4o-Audio 为 52.50% |
| MMSU 多模态理解 | 准确率越高越好 | Audio-Flamingo-3 为 61.4% | 64.1% | Qwen2.5-Omni 为 60.6% |
上表只收录原文用连续句子报告过数字与单位的条件,避免把不同语言平均与单语言结果混在一起。VoxPopuli 研究版词准确率 92.2% 对应 7.8 词错误率,语码混合从 32.30 降到 7.23,多人混合在可比模型无有效输出时给出 19.32。翻译与理解的领先都建立在多语言平均上,具体语言分解见附录分表。
多语识别的细节值得单独说明。MLS 研究版平均词错误率 6.89,VoxPopuli 为 7.84,FLEURS 为 5.33。LibriSpeech 干净与其他集为 1.65 与 3.85,略高于 Audio-Flamingo-3 的 1.57 与 3.13,说明干净朗读不是本文的主要增益点。内部娱乐音频研究版平均 17.45,相对商业版 26.71 下降明显,日语子集从 23.69 降到 11.97,但法语与德语绝对误差仍较高,不能把平均改善推广到每种语言。
翻译与合成语音:内容分与说话人保持如何兼顾
语音翻译用 ASR-BLEU 衡量内容,即先识别合成语音再算 BLEU,越高越好。CoVoST-2 语音到文本研究版 42.63,FLEURS 语音到文本 33.05,英语到多语 33.05 到 34.33 区间,均高于同规模基线。语音到语音在 CVSS-C 为 43.63,在 FLEURS 到英语为 32.28,到多语为 22.94,其中英语到多语方向是可比模型中唯一支持的结果。
内容之外的质量用自然度、说话人相似度、情感相似度与韵律相似度衡量。研究版在 FLEURS 2 个方向的说话人、情感与韵律保持上均优于 Seamless v2 与 Qwen3-Omni,例如到英语方向说话人相似度 0.77、情感 0.81、韵律 2.57。自然度则更复杂,Qwen 系列用固定参考音色可能更干净,而 Walrus 以源语音为条件,源录音质量不均会带入输出,这是自然度未同时登顶的机制解释。
理解与检索:推理提升大,字幕与情感仍有短板
MMAU-Pro 从商业版 50.18% 升到研究版 71.92%,MMSU 从 55.18% 升到 64.14%,增量主要来自第 3 阶段的 AudioReason-10M 推理问答数据。该语料只用商业许可或自有音频,围绕时序、声中语音、说话人、空间与带可验证约束的指令跟随 5 类技能组织,多为选择题。
短板同样明确。情感识别在 IEMOCAP 上研究版 49.55%,低于 Audio-Flamingo-3 的 63.80%,原文指出该任务超出分布且在混合中占比约 0.3%。Clotho-v2 字幕 CIDEr 研究版 0.39,低于基线 0.50。AudioCaps 检索在部分召回率上接近或略超基线,但不能把自动检索指标等同于人工评价。这些未胜出项说明数据倾斜带来了选择性优势,而非全面能力提升。
商业版与研究版的差距能归因到哪里
两个版本共享主干,区别是训练阶段、数据许可与任务权重。研究版在表中所有基准上都优于商业版,最大差距在语码混合朗读字错误率从 26.69 降到 7.23,内部娱乐词错误率从 26.71 降到 17.45,MMAU-Pro 从 50.18% 升到 71.92%。
原文明确指出这是第 3 阶段整体的效果,没有用相同数据跑不同权重、或相同权重跑不同数据的对照,因此不能把提升拆分为数据与权重的各自贡献。第 3 阶段同时把合成与部分理解权重上调、识别权重从 5.0 降到 4.0,但识别仍保持最高且所有识别基准继续提升,这与高识别权重保护核心的解释一致,但仍是相关证据而非因果证明。
另一个限制是多人混合中 LibriMix 同时是训练数据,属于域内评测。30 秒切分匹配模型输入上限,但与长时设计的 VibeVoice-ASR 比较并不完全同条件。日语日常对话的 56.29 字错误率虽优于专用系统,但绝对值仍高,说明真实重叠对话远未解决。
哪些结论不能推广,哪些条件缺失
首先是语言与领域条件。语码混合主要覆盖 13 个语言对,合成时按语言分段再拼接,短片段会合并以避免断续,这种合成语音与真实语码切换的韵律仍有差距。娱乐音频部分来自合成效果增强,其标签来自构造过程,真实动漫与影视的混响与背景更复杂。
其次是评测条件。部分基线在多人混合上无有效输出,比较只能说明支持能力的有无,不能说明同条件下的相对误差。FLEURS 与 MLS 平均值受支持语言不同影响,直接比平均数会偏向支持语言少的模型,阅读时应回到分语言表。
最后是缺失的测量。论文未报告延迟、实时率与推理成本,30 天 128 卡 H100 约 92000 GPU 小时是训练成本,不能推导部署成本。提示鲁棒性虽用多改写训练,但未测量新 wording 的稳定性,不能承诺换说法效果不变。
复现第一步做什么,需要哪些数据与检查
先按阶段复现数据,而不是先调模型。第一步做转写清洗:用大模型恢复大小写与标点,但必须验证恢复前后去掉大小写标点后的字错误率不超过 0.05,并检查长度,保留 90% 到 95% 的大多数样本。接着按 3 组规则做文本归一化,欧语、中日韩与其他文字分开处理。
语码混合复现要走 3 步:大模型生成矩阵语言为主、嵌入短语为辅的句子并去重;按语言分段合成,每句用同一 FLEURS 参考音色;再用自然度阈值 3.50 与 Whisper 转写误差 5% 过滤。多对话复现要控制在 2 到 5 轮, coherence 与 5 分制质量需全票最高才保留,合成后误差不超过 0.1 且翻译质量不低于 0.80。平行语料挖掘用多语 e5 余弦相似度取每对前 10%,并丢弃以非字母开头的噪声行。
训练复现需注意每阶段换随机种子改变洗牌,最大序列 1024 记号,有效批量 2048 样本。权重与数据许可要分开:商业版对应第二阶段,研究版包含非商业数据,不能用研究版数据声称商业可用。来源是否可下载本次未确认,正文不作可用性断言。
什么时候值得尝试,还缺哪项验证
当任务集中在多语识别、语码混合、娱乐域转写、语音到语音翻译与音频推理问答,且能接受 30 秒内输入与外部声码器部署时,Walrus 的数据配方值得参考。特别是已有稳定识别核心、想加多人与混合语言能力时,先加合成混合数据再小幅上调生成权重的思路更稳妥。
若目标是情感识别或开放字幕,或需要长时会议全程日志与实时合成,则不应直接套用本文结论。下一步最需要补的验证是用同数据跑不同权重、固定权重跑增量数据的对照,以及在真实语码对话与真实重叠会议上的域外评测。只有补上这两类对照,才能把研究版的提升真正归因到某类数据或某组权重。
📎 论文与评分元数据
排名:前50% | 文档类型:模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses
