英文题目：CAL-MOS: Bridging Layers with Adapters for Robust MOS Prediction Across Speech Foundation Models

会议身份：conference:interspeech:2026:conference-paper-id:ferreira26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #鲁棒性 #语音 #语音质量评估

评分：6.1/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

  • Alef Iury Ferreira：机构信息未能从会议 PDF 纯文本可靠映射
  • Pedro Botelho：机构信息未能从会议 PDF 纯文本可靠映射
  • Fernanda Silva：机构信息未能从会议 PDF 纯文本可靠映射
  • Daniel Casanova：机构信息未能从会议 PDF 纯文本可靠映射
  • Rafael Faustino：机构信息未能从会议 PDF 纯文本可靠映射
  • Frederico Oliveira：机构信息未能从会议 PDF 纯文本可靠映射
  • Arlindo Galvão Filho：机构信息未能从会议 PDF 纯文本可靠映射
  • Anderson da Silva Soares：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

非侵入式平均意见分预测输入为待评语音波形，输出为1至5分的人类感知质量分，难点是不同语音基础模型各层分别编码声学、音素与语义信息且最优深度随骨干和语料漂移。作者先冻结语音基础模型抽取全部编码层表示，再对每层独立施加适配器校准至任务空间，随后跨层拼接并做掩码均值池化得到话语向量，最后经多层感知机回归并截断到MOS区间。与直接对原始层做可学习标量加权的朴素融合相比，该链条的关键差异是在融合前消除层间尺度与语义错位，而非假设各层已可比，这提升了冻结骨干下多层融合的稳健性并缩小与全量微调的差距。在四数据集平均评测条件下，XLSR-300M最佳层选择的平均话语级MSE为0.417，低于末层基线的平均话语级MSE 0.469。该结论仅在 BVCC、BRSpeechMOS、SingMOS 与 TMHINT-QI 的域内划分下成立，未验证跨数据集、跨合成系统与跨语言外推，朴素融合在部分骨干上仍接近最优。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么：为什么要做非侵入式 MOS 预测？

这篇论文的输入是一段待评价的语音波形，不附带干净参考信号，输出是一个预测的平均意见分，也就是人类听众在听感测试中会给出的 1 到 5 分质量分数。目标读者是刚进入语音质量评价的研究生，需要先建立的事实是主观听感测试仍然是标准做法，但它贵、慢、难扩展，还受标注者差异影响，尤其在高质量现代合成系统上更难稳定区分。于是自动化的非侵入式预测成为实际替代方案，它只看待测语音本身，直接回归一个分数。

论文把学习依赖放在语音基座模型上，因为当前主流做法是复用大规模预训练语音编码器，再接一个轻量回归头。需要保留的关键信息是基座会输出多个深度的隐藏表示，不同深度保留的信息类型不同，浅中层更偏声学和音素，深层更受预训练目标塑造，而 MOS 关心的噪声、失真、发音和韵律恰好横跨这些类型。这就引出全文中心矛盾：层数很多，但哪一层最有用，以及多层信息该如何可靠组合。

语音基座模型 × 平均意见分预测： 语音基座模型负责把输入语音变成多层隐藏表示，它保留声学、音素到预训练目标偏好的不同信息；平均意见分预测负责把这些表示映射为 1 到 5 分的人类听感分数。两者搭配的理由是基座提供通用语音特征而 MOS 头提供听感标尺，组合意义在于冻结或微调基座后接回归头即可做非侵入式质量估计，但前提是选对层或做好层间融合。

本解读默认只依据论文正文证据写作，不引入外部代码或权重可得性判断。论文涉及的资源状态证据为空，因此不声称代码、模型或数据已公开。后续所有方法、训练条件和数字都回到原文核对，例子会明确标为例子。

已有路线走到哪里，本文要补哪一块缺口？

按同输入、同目标、同监督来对照，已有非侵入式 MOS 路线大致有 3 条。第一条是全量微调，把 wav2vec 2.0、HuBERT 等自监督编码器与回归头一起训练，效果强但计算成本高，UT-MOS 等系统还通过更复杂的训练流程继续提升。第二条是冻结特征加轻量预测器，只训练回归头，效率高但依赖选对表示，另有工作把基座嵌入与谱特征拼接以增强鲁棒性。

第 3 条是层利用研究，语音表示学习早就发现中间层保留更多声学音素信息，深层更特化于预训练目标，MOS 领域也有研究指出早中期层可以超过最后一层。本文的缺口定位很明确：已有工作证明了单层选择的重要性，但没有在统一协议下系统比较末层、最佳单层、朴素跨层加权和全量微调，也没有回答朴素加权为何在不同基座和数据集上不稳定。

与说话人验证中可学习层权重、多尺度聚合和逐层适配器的思路相连，本文把逐层校准引入 MOS，考察先校准再融合是否更可靠。这不是提出全新基座，而是把层利用当作实践问题来做基准与改进。

要回答的具体问题是什么：选层还是融合？

论文把问题形式化为给定一条语音，基座产生多个深度的隐藏序列，如何使用这些层表示来预测 MOS。具体要回答 3 个可检验问题。第一，最有信息的深度是否稳定，如果它随基座和数据集变化，那么默认用最后一层就是有风险的默认动作。第二，朴素跨层加权求和是否通用，如果它在某些基座上好、在另一些基座上明显变差，那么多用几层并不自动带来更好结果。

第三，逐层校准能否让融合更稳，也就是每层先经过独立变换再聚合，能否在保持基座冻结的前提下缩小与全量微调的差距。举一个教学例子：假设同一条带噪合成语音，浅层保留噪声音色，深层更偏内容，例子中若只取深层可能丢掉噪声线索，若直接加权混合又可能把两种不同分布的向量强行相加，这正是论文要检验的表示兼容性问题。

论文报告的结论方向是最佳层强烈依赖基座和数据集，朴素融合不可靠，而校准融合更稳，但这些判断需要回到后面的分层实验条件逐项核对。

方法全景：一个样本如何走完输入到分数？

沿一个样本走一遍有助于建立依赖顺序。输入是一条语音，先送入冻结或可训练的语音基座，得到从第 0 层到最深层的隐藏序列。然后进入层利用分支：末层分支只取最后一层，最佳单层分支只取事先逐层分析选出的某一层，加权求和分支用可学习标量把所有层直接混合，适配器加均值分支先让每层过独立适配器再拼接聚合，全量微调分支则允许基座参数一起更新。

选好或融合好表示后，做带掩码的时间维度均值池化，得到定长话语向量，再送入多层感知回归头，经过线性、激活、线性得到分数，并裁剪到 1 到 5 区间以匹配 MOS 量程。训练监督是预测分与参考 MOS 之间的均方误差。需要记住的顺序是输入波形先变多层表示，再做选层或融合，再池化成话语向量，最后回归出分，后文所有组件都挂在这个主路径上。论文评估 10 个基座，包括 wav2vec 2.0 Large、XLS-R 300M 和 1B、MMS 300M 和 1B、Wav2BERT 2.0、WavLM Large、HuBERT Large、data2vec Large 和 Whisper Large-v3，它们在训练目标、有无监督、规模和数据上不同，适合检验趋势是否跨基座成立。

五个分支各自做什么：冻结、更新与融合假设有何不同？

5 个分支的教学任务是区分冻结与更新、单层与多层、直接融合与校准融合。末层探测只用冻结基座的最后表示，是标准特征抽取基线。最佳单层同样冻结基座，但只用一个经层分析选出的中间层，用来检验认真选层是否就够。加权求和冻结基座但用所有层，权重在训练中学习并归一化，它假设不同深度的表示已经兼容到可以直接相加。全量微调把基座和回归头联合优化，是性能强的上限参照。

适配器加均值是本文引入的层校准聚合，每层先过线性、层归一化、激活、再线性构成的独立适配器，得到校准序列后再跨层拼接并做均值池化，形成定长话语表示，基座仍冻结，但每层在融合前被变换到更对齐任务的空间。

末层探测 × 最佳单层选择： 末层探测的分工是用冻结基座的最后一层表示做基准，操作最简单且假设最深语义最有用；最佳单层选择的分工是逐层评估后只用冻结的某一中间层，假设与 MOS 相关的噪声、失真、发音和韵律线索保留在早中期。搭配比较的理由是两者都只用一层，能分离出选层带来的增益，组合意义在于说明默认用最后一层常常不是最优，需要按基座和数据集重新选深度。

池化与回归头的分工也要讲清：掩码均值池化把变长帧序列压成一句话向量，屏蔽填充帧的影响；回归头把话语向量映射为分数。论文没有给出回归头隐藏维度和适配器中间维度的具体数值，这是复现时需要补记的缺项，不能从模型名推定。

加权求和融合 × 适配器加均值聚合： 加权求和融合的分工是用可学习标量权重直接把各层表示线性混合，假设各层已在可比空间；适配器加均值聚合的分工是先让每层经过独立适配器变换到任务对齐空间，再拼接并做均值池化，假设各层需要先校准才能融合。搭配理由是后者针对前者跨基座不稳定的失败而设，组合意义在于保留冻结基座的低成本，同时让多层信息在融合前先对齐。

理解这组搭配后，才能明白为什么朴素加权在部分基座上会把强弱表示混合而变差，而校准分支可能缓解这种不兼容。

训练时什么更新、什么冻结，优化如何推进？

训练职责按分支区分，这是初学者最易混淆的地方。在末层、最佳单层、加权求和、适配器加均值 4 种冻结分支中，基座参数不更新，只有聚合权重、适配器、池化后的回归头参与优化；论文明确说适配器策略保持基座冻结而不需要全基座适配。在全量微调分支中，基座与回归头联合优化，梯度会流回编码器。监督来源都是参考 MOS 分数，损失是预测与参考之间的均方误差，预测被裁剪到 1 到 5 区间。

优化器用 AdamW，1 阶矩系数 0.9，2 阶矩系数 0.98，极小量 1 乘 10 的负 8 次方，权重衰减 1 乘 10 的负 6 次方，基于范数的梯度裁剪阈值为 10。学习率用带 500 步线性 warm-up 的余弦调度，在 1 乘 10 的负 5 次方到 5 乘 10 的负 5 次方之间调整，批量大小为 64。论文先做 20 轮筛选以比较所有基座和机制并刻画趋势，再对选出的竞争基座做逐层分析，并把最终比较延长到 100 轮。

需要指出的缺项是原文没有报告学习率在不同分支是否分别调优，也没有给出早停、随机种子和验证集选择最佳单层的具体防泄漏细节，复现时应固定这些信息条件。

冻结基座 × 全量微调： 冻结基座的分工是只训练聚合模块和回归头，基座参数不更新，节省显存与计算；全量微调的分工是基座与回归头联合优化，允许表示向 MOS 任务偏移，性能上限常更高但成本大。搭配理由是前者需要证明在不调基座时能否接近后者，组合意义在于把全量微调当强基线，用来衡量校准融合是否缩小了冻结与微调之间的差距。

在哪些数据和指标上比，比较条件是否一致？

实验按问题组织，先讲测什么、与谁比、条件是否一致。论文用 4 个 MOS 数据集：BVCC、BRSpeech-MOS、SingMOS 和 TMHINT-QI，覆盖不同语言、语音生成条件和评分场景。SingMOS 是歌声场景，其余多为朗读或合成增强场景，这种语言与任务差异正是检验最佳层是否漂移的好条件。指标同时报告话语级和系统级的均方误差与斯皮尔曼等级相关，前者越小越好，后者越大越好，论文还报告跨 4 个数据集的平均话语级与平均系统级结果。比较策略在筛选阶段是 10 个基座乘 3 种机制，末层、加权求和与全量微调。

在主比较阶段聚焦 5 个基座再加入最佳单层和适配器加均值，形成 5 种机制的完整对照。训练轮数是关键公平条件：筛选为 20 轮，主比较为 100 轮，因此不能把 20 轮的数与 100 轮的数直接比大小，只能在同轮数内比较分支差异。

话语级评估 × 系统级评估： 话语级评估的分工是逐条语音计算预测分与真值的均方误差和排序相关，反映细粒度预测能力；系统级评估的分工是先按系统聚合再计算指标，反映对不同合成或增强系统排序的能力。搭配理由是 MOS 既关心单条误差也关心系统排名，组合意义在于论文同时报告 2 级均方误差与斯皮尔曼等级相关，避免只看一侧得出片面结论。

下表把训练优化配置整理成可核对的运行清单，它不是结果表，而是复现前必须固定的条件，表中数字与单位保留原文写法，裸值不擅自加单位。

来源证据量化值一量化值二量化值三量化值四
来源句一10.920.98；10；8
来源句二0123；4；5；6；7；8；9；10；11；12；13；14；15；16；17；18；19；20；21；22；23；24

这张配置表的作用是让后续结果差异能归因到选层与融合，而不是优化器或批量大小不一致，复现时应先对齐这些超参数再谈机制优劣。

主结果显示什么：选层增益大，还是融合增益大？

20 轮筛选的总体趋势是全量微调是强的总体基线，但冻结方法在用对层时仍具竞争力，而朴素加权并非普遍可靠。论文报告它在 XLSR-300M、MMS-300M 和 Wav2BERT 等基座上有竞争力，但在 WavLM Large、HuBERT Large 和 Whisper Large-v3 上明显退化。这是一个重要反证：用更多层不保证更好，关键看表示是否兼容。基于平均排序相关的整体表现，论文保留 WavLM Large、HuBERT Large、XLSR-300M、MMS-300M 和 Wav2BERT 进入逐层研究与 100 轮比较，并 prefer 300M 多语变体而非 1B，因为大模型没有显示出足以抵消逐层分析与长训练成本的排序优势。100 轮比较确认认真选层常比默认用末层更重要。下面先提出比较问题：在固定 100 轮与同基座同数据集下，最佳单层相对末层能带来多少均方误差下降，指标方向是误差越小越好。

来源证据量化值一量化值二量化值三量化值四
来源句二0.4660.3950.1160.061

表中两行分别对应 XLSR 与 Wav2BERT 从末层到最佳单层的平均话语级与平均系统级均方误差变化，数字显示选层带来的下降幅度明显，尤其 Wav2BERT 的平均话语级从 0.466 降到 0.395。表后需要强调代价与边界：对 WavLM 和 HuBERT，最佳单层增益较小，说明中间层有用性是基座相关的而非普遍规律，不能把选层增益推广到所有基座。

看图路径： 1. 先按面板标题确认五个基座，再看纵轴四个数据集加平均行与横轴 0 到 24 层；2. 比较每行内星形、菱形、三角标记落在早中段还是末层；3. 观察 Wav2BERT 面板浅色宽带与 WavLM、HuBERT 深色末层区域的差异

原论文 Figure 1：Layer-wise MOS prediction performance for five se- lected speech foundation models, reported as…

论文图 1。原论文 Figure 1：“Layer-wise MOS prediction performance for five se- lected speech foundation models, reported as normalized SRCC across BRSpeech, BVCC, SingMOS, TMHINT-QI, and the aver- age…”。

上图是 5 个基座在 4 个数据集上的逐层归一化排序相关热图，横轴为编码器层，纵轴为数据集与平均行，标记分别表示每行前 3 层。从像素可见浅色高值区常出现在早中段而非最后一列，深色低值区在不同面板位置不同，Wav2BERT 呈现较宽的中晚期高值带，WavLM 与 HuBERT 的末层区域出现更明显的弱表示结构。这解释了为何末层可能是次优默认，以及朴素加权会把强弱表示混合。需要提醒的是热图是归一化后的相对排序能力，不能直接读出原始均方误差数值，跨面板颜色只能在各自归一化尺度内比较。

朴素融合为何不稳，校准融合在何处最有用？

把朴素加权与校准聚合的对照当作消融来读：两者都用多层且冻结基座，差异只在融合前有无逐层适配器。论文报告在最终比较中，适配器加均值是最强且最一致的冻结聚合方法，最佳整体配置是 Wav2BERT 适配器加均值。先提出比较问题：在冻结基座约束下，校准聚合相对末层、最佳单层和朴素加权是否同时在排序与误差上占优，指标方向是均方误差越小越好、排序相关越大越好。

来源证据量化值一量化值二量化值三量化值四
来源句一0.6990.6910.0500.943；0.178；0.890；0.092；0.934；0.341；0.644；0.039；0.902；0.335；0.773；0.026；0.949；0.388；0.749；0.052；0.932

该表给出 Wav2BERT 校准聚合的平均话语级与系统级误差和排序相关，论文用它支持校准融合缩小了与全量微调差距的判断。表后必须讲代价与反例：MMS-300M 是主要混合情形，它的最强层跨数据集漂移更大，校准聚合在部分排序指标上提升，但在均方误差上不够一致，说明当有用信息位置跨域变化大时，校准也不能完全解决问题；XLSR-300M 本身已有较稳的高性能区，最佳单层已强，校准增益较小；WavLM 的提升大于 HuBERT，说明收益大小与多层信息是否丰富但不兼容有关。

看图路径： 1. 先确认横轴层编号与纵轴重要性权重，再区分黑色全局均值与五条模型曲线；2. 观察全局均值在中间层隆起而两端相对走低的位置；3. 比较 WavLM 在浅层偏高、HuBERT 在深层快速下降等模型间分叉

原论文 Figure 2：Mean normalized layer-importance curves for five SFMs.

论文图 2。原论文 Figure 2：“Mean normalized layer-importance curves for five SFMs.”。

上图是 5 条基座的平均归一化层重要性曲线与全局均值，横轴为层编号，纵轴为重要性权重，灰带表示跨模型变异。从像素可见黑色全局均值在中间层隆起，证实早中层总体更重要，但各模型曲线分叉明显，WavLM 浅层偏高而深层波动大，HuBERT 中段高而深层快速走低，XLSR 与 MMS 在中晚期仍有峰。这支持论文的有限解释：当多个层都有用但不完全相同，适配器重塑后再池化比直接加权更有效，但这仍是与热图一致的观察性支持，不是因果证明。

哪些结论有边界，哪些验证还没有做？

需要区分论文直接报告、有限解释与未验证推测。直接报告的是最佳层随基座和数据集变化、朴素加权跨设置不稳定、校准聚合在冻结约束下更稳且最强配置出现在 Wav2BERT。有限解释是 Wav2BERT 因宽高性能带适合校准融合、WavLM 因强弱混合而朴素加权易受损，这些解释与热图形态一致，但论文没有做逐层遮蔽或表示相似度测量来证明不兼容是唯一原因，因此只能用支持而不能用证明来表述。未验证的边界包括跨域泛化只在 4 个数据集内检验，没有更广泛的跨语言跨系统外推。

没有测量误判率、延迟、推理开销与训练成本，论文只提到 1B 模型成本显著更高但未给出显存与时间数字，因此不能承诺校准方法改善了延迟或成本；逐层分析与最佳单层选择存在用验证集选层的后视性质，论文未明确说明选择协议，实际部署时最佳单层是事后最优，不能直接当作可部署收益。百分点与相对百分比也需区分，排序相关的提升是相关系数差值，不是相对百分比提升。总体趋势不等于每组每步成立，MMS 在均方误差上的不一致就是提醒。

要复现这篇论文，先固定什么再跑什么？

复现的第一步是固定信息条件，而不是直接跑大模型。先按原文固定批量 64、AdamW 参数、梯度裁剪阈值 10、500 步 warm-up 的余弦调度与 1 到 5 分的裁剪区间，再固定 20 轮筛选与 100 轮主比较的轮数划分，避免跨轮数比较。其次固定评估口径：同时计算话语级与系统级的均方误差和斯皮尔曼等级相关，并报告 4 数据集平均，避免只看单一数据集或单一指标。

然后按顺序重放 5 个分支：先跑末层基线，再逐层扫描找最佳单层，接着跑朴素加权，最后实现每层独立适配器加拼接均值池化，全量微调作为上限参照单独跑。适配器按线性、层归一化、激活、再线性的顺序实现，缺失的隐藏维度需要自己记录并保持跨基座一致，回归头同样记录维度。选层时必须用验证集决定、用测试集报告，并在记录中写清划分，否则最佳单层会变成测试集后视最优。

由于原文未提供可验证的公开资源链接，本解读不声称代码或权重可下载，复现应从论文文字与超参数出发自行实现，硬件预算需自行测量记录，因为原文没有给出可核对的显存与耗时。

何时值得尝试校准融合，何时坚持单层或微调？

综合所有证据，可以给出条件性建议。如果基座已显示较宽的中晚期高性能带且多层都有用，如论文中的 Wav2BERT 情形，值得尝试冻结基座下的逐层校准再聚合，因为它在保持低训练成本的同时可能同时改善误差与排序。如果基座本身已有稳定强单层，如 XLSR-300M 情形，优先认真选层可能就够，校准的额外增益较小，不必为小增益引入多层适配器。

如果有用层位置跨数据集漂移大，如 MMS-300M 情形，应先做分数据集的层分析，确认漂移范围后再决定融合策略，不能指望单一融合权重跨域通用。如果计算预算允许且追求上限，全量微调仍是强基线，但需要承担更新整个编码器的成本。还需补的验证是更广泛跨域测试、表示兼容性的直接测量，以及延迟与显存的实际开销，只有补上这些，才能把更稳的判断从 4 个数据集推广到真实部署。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1
  • 评分模型：muse-spark-1.3-contributor
  • 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总