跨语音到音乐连续学评分：用 frozen 语义锚稳住旧任务

英文题目：CAQA-Net: Continual Audio Quality Assessment Across Speech and Music Domains

会议身份：conference:interspeech:2026:conference-paper-id:li26d_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#持续学习 #音乐 #语音 #音频质量评估

评分：6.5/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Naiyuan Li：机构信息未能从会议 PDF 纯文本可靠映射
• Xiaoxun Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Yuheng Huang：机构信息未能从会议 PDF 纯文本可靠映射
• Diqun Yan：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理音频质量评估的持续学习问题，输入为含合成失真、会议退化、歌声与器乐生成瑕疵的语音和音乐片段，输出为与主观平均意见分对齐的感知质量分，难点在于语音到音乐声学分布剧变、回归映射需保持细粒度排序以及跨数据集量尺不一致。方法链分四步推进：可训练波形分支提取任务相关分布特征并与冻结频谱分支提供的任务不变语义锚拼接，上一步融合特征进入各任务独立线性回归头得到任务条件预测，排序保真损失基于瑟斯顿模型学习相对优劣以抵抗标签噪声，蒸馏正则约束旧头输出分布以保留历史排序知识。推理时冻结分支特征经K均值原型与柔最小门控自动加权各头实现任务无关预测。与直接微调相比该设计以输出分布约束替代刚性参数约束，更适配连续感知量尺与大幅域偏。在五数据集顺序任务评测下，CAQA-Net(EWC)门控推理的mSRCC指标为0.590，高于MH-FT的mSRCC指标0.589。结论限于固定五任务序列与已知评测划分，频繁振荡的域切换仍会降低稳定性，未验证开放新失真持续流入情形。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的对象是 1 篇持续音频质量评估论文，输入是论文正文文字与本次收到的官方原图像素，目标是让刚进入语音音乐音频方向的研究生能复述方法并核对实验条件。必须保留的信息包括任务序列构成、双分支多头结构、排序损失与蒸馏正则的监督来源、原型门控的推理动作、数据集划分与优化器设置、以及与联合学习上界的差距。输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断，所有数字只讲论文实际报告的值。

音频质量评估的任务是预测人对一段音频质量的主观平均分，英文为 Mean Opinion Score，缩写为 MOS。传统做法是在一个数据集上 1 次训练好一个静态模型。但生成式语音合成、歌声合成与器乐音乐生成不断引入新的失真类型与评价标准，静态模型跟不上。论文把问题定义为持续学习，英文为 Continual Learning，缩写为 CL：数据按任务流依次到达，模型学新任务时不能灾难性遗忘旧任务。

对初学者而言，关键是先建立回归与分类的区别。分类只要记住类别边界，回归要记住连续细粒度的分值映射。不同数据集的打分尺度还不一致，标注噪声也大，直接拟合绝对分值容易不稳定。论文因此选择相对排序建模，并用斯皮尔曼等级相关系数，英文为 Spearman Rank Correlation Coefficient，缩写为 SRCC，作为主指标，它只关心预测排序与真实排序是否一致。

术语小抄：初次见到的词如何快速对齐？

持续学习指模型从顺序数据流中不断学新任务且不遗忘旧知识，灾难性遗忘指学新后旧任务性能崩塌。稳定性可塑性困境指留旧与学新的权衡，是持续学习的核心矛盾。MOS 指多人主观打分的平均，SRCC 指预测排序与真实排序的一致性，越高越好。多头指每个任务一个专属回归头，门控指按原型距离给各头分配权重。蒸馏正则指让新模型输出模仿旧模型输出，保真损失指让预测的成对优劣概率符合真实排序。BEATS 与 M2D 是两种自监督音频预训练模型，前者处理频谱，后者处理波形。

学习建议是先固定简称再读公式。看到 Ft 就回指第 t 个任务的完整预测函数，看到 dt(x) 就回指样本到第 t 个任务原型的最小距离，看到 wt(x) 就回指 softmin 后的头权重。先保证每个符号能唯一回指，再讨论权衡与差距，阅读顺序应是任务定义先于方法结论，组件分工先于消融判断。

同输入同目标的已有路线处在什么位置？

在语音质量评估一侧，已有 MOSNet、LDNet 等深度模型，以及 VoiceMOS 等评测，做法多是在单一语音任务上训练回归器。近期音乐质量评估扩展到 HAAQI-Net 与 MusicEval 等工作，输入从语音变为歌声与器乐，失真从通信与合成失真变为算法生成失真。论文的任务不是再做一个单数据集回归器，而是把语音到音乐的跨域序列当作持续学习基准。

在持续学习一侧，图像领域已有弹性权重固结，英文为 Elastic Weight Consolidation，缩写为 EWC，记忆感知突触，英文为 Memory Aware Synapses，缩写为 MAS，以及无遗忘学习，英文为 Learning without Forgetting，缩写为 LwF。论文指出音频质量评估的持续学习研究很少，Saget 等人的工作只做了可行性探讨，没有提出统一框架，也没有处理音乐任务与语音到音乐漂移。盲图像质量评估的持续学习工作提供了指标借鉴，但音频的声学特征漂移更大。

本解读把相关工作按同输入、同目标、同监督对照：同输入都是音频波形或频谱，同目标都是预测感知质量，同监督都是 MOS 或偏好排序。区别在运行阶段：1 次性联合学习要求同时拿到所有数据，持续学习要求按序到达且旧数据不再可用。论文的基线保留了这两种可运行策略，另有任务标签已知的理想头作为事后参考，不把理想头当作可部署收益。

与图像持续学习和偏好排序工作的异同？

与图像持续学习相比，相同点是都面临稳定性可塑性权衡，都可用 EWC、MAS、LwF 等正则。不同点是音频质量评估是回归且尺度不一致，图像分类的类别边界假设不直接适用。论文的对照做法是把 3 类正则接入同一双分支多头框架再比四项指标，而不是把类别差异当同条件胜负，这对初学者是重要的方法论示范。

与偏好排序工作相比，相同点是都用成对比较抵抗绝对分噪声。论文引用的嵌入学习与通用偏好分数工作说明相对判断更贴合感知。不同点是本文把排序同时用于主损失与蒸馏正则，并用 Thurstone 模型给出概率语义。理解这一点后，就能明白为何论文说输出约束与排序保真损失是一致的：两者都在比较谁更好，而非直接拟合多少分。

为什么语音到音乐的序列特别难？

论文把难点归纳为三点。第一是声学特征域漂移大，从 TCD-VOIP 这类早期合成通信失真，到 NISQA 模拟失真与 Tencent 会议真实混合失真，再到 SingMOS 歌声与 MusicEval 器乐的算法生成失真，内容与失真同时变化。第二是回归任务要保持连续映射，而不是类别边界，参数的小扰动可能直接改变排序。第三是不同数据集打分标准不一致且有标签噪声，跨任务学习时收敛不稳定。

灾难性遗忘 × 持续学习： 灾难性遗忘指只用新任务数据微调时模型在旧数据集上排序能力大幅下滑，本节的持续学习指按任务序列逐步学习并保留旧知识；二者搭配的原因是音频质量评估不断出现新失真与新域，组合意义是用持续学习框架把遗忘量变成可测量的稳定性指标，而不是只看单任务精度。

从复述角度，记住任务流长度为五，顺序默认从语音到音乐。每个任务有自己的训练验证测试划分，测试时理想情况下知道任务归属，现实情况下不知道。论文要解决的就是在不知道任务标签时仍能给出接近知道标签时的排序精度，同时不为每个任务存一个完整大模型。

任务形式化：序列、头与评估如何对应？

形式化上，任务序列记为 D 等于 Dt 的集合，t 从 1 到 T，T 为 5。模型有共享特征提取器与 T 个专属头，学到第 t 步时已有 t 个头。训练第 t 步只能见 Dt，测试要评所有已见任务。mPI 看每步学完时在当前任务的即时精度，mSI 看学新时旧任务预测的一致性，mSRCC 看学完全部后在全部任务的平均排序能力，mPSI 看前两者的平均。这种分层评估避免只看终点平均而忽略过程遗忘。

教学例子明确标为例子：假设已学完 3 个任务，mPI 是 3 次即时分数的平均，mSI 是后 2 次学习对旧任务影响的平均，mSRCC 是第 3 个模型在 3 个测试集上的平均。此例不添加无源数值，仅说明聚合对象不同，数值相同也不是同一指标的证据。

方法全景：一个样本如何走完输入到输出？

先沿一个样本走完全程。输入是一段音频样本 x，论文同时准备它的两种形态：原始波形与梅尔频谱图。原始波形进入可训练的波形分支，记为 Fw，采用 M2D；梅尔频谱进入冻结的频谱分支，记为 Fs，采用 BEATS。两路特征经 Fuse 拼接，再送入当前任务对应的线性预测头 Ht，得到该头对该样本的质量预测 ft(x)。

训练时用排序损失学当前任务，用蒸馏正则留住旧任务；推理时用原型门控对所有已学头加权求和得到最终分。

下面这张图是理解分工的关键导读，请先看整体从左到右的数据流，再看冻结标记与门控回路的位置关系，然后对照后文解释复述每个模块的输入输出。

看图路径： 1. 先从左侧任务流找到第 t 个任务的两种输入形态再向右跟随箭头；2. 对比波形分支与频谱分支在汇合前谁带锁形冻结标记；3. 观察 Fuse 之后的多头分支如何再经 Gate 加权为单一质量分；4. 区分实线训练推理共用路径与虚线仅推理使用的门控回路

论文图 1。原论文 Figure 1：“Overall framework of the proposed CAQA-Net. Solid lines: training & inference; dashed lines: inference only.”。

图 1 展示了 CAQA-Net 的总体框架，左侧为按序到达的任务流，中间为特征提取器与融合模块，右侧为预测头与自适应门控。实线表示训练与推理共用路径，虚线表示仅推理使用的门控回路。波形分支无锁形标记表示可训练，频谱分支带锁形标记表示冻结。融合后的表示同时送入多个任务头，各头分数再经 Gate 加权为最终质量分。虚线从融合前引向门控，说明门控依据的是冻结频谱特征而非正在更新的波形特征，这是后文原型距离计算一致性的结构基础。

双分支多头各自负责什么，为何这样搭配？

波形分支与频谱分支的分工是论文明确给出的安排理由。M2D 建立在掩码预测自监督学习上，适合在线微调并捕捉任务相关的分布变化，保证可塑性与快速适应。BEATS 使用预训练声学切分器作用于梅尔滤波器组特征，语义丰富且抗噪，作为任务不变的语义锚稳定旧知识。冻结该分支还能保证推理门控在训练与测试时看到一致的特征，避免原型漂移。

波形分支 × 频谱分支： 波形分支指以原始波形为输入的可训练编码器 M2D，负责捕捉任务相关的分布变化；频谱分支指以对数梅尔谱为输入的冻结编码器 BEATS，负责提供任务不变的语义表示；二者搭配的原因是前者需要可塑性、后者需要稳定性，组合意义是拼接后同时得到适应新域的能力与跨任务可比的原型距离。

多头设计指每个任务 t 分配独立线性头 Ht，特征提取器跨任务共享。公式层面可复述为 ft(x) 等于 Ht 对 Fuse(Fw(x), Fs(x)) 的映射。共享部分保持可塑，专属头保持各数据集的打分函数。这种设计把稳定性压力从参数冻结转移到输出约束与推理加权上，为后文蒸馏正则留下接口。论文说明该框架对具体正则器是不可知的，可接入多种约束，实验对比了 EWC、MAS 与 LwF 3 种实现。

任务专属头 × 原型门控： 任务专属头指每个任务独立的线性回归头，负责保留各自数据集的打分映射；原型门控指用冻结频谱特征聚类得到任务原型并以 softmin 距离加权各头输出，负责在测试时不知道任务标签仍能选头；搭配原因是多头需要推理时选头，组合意义是把选择依据固定在不漂移的冻结特征上，避免用正在变化的波形特征自己选自己。

需要提醒初学者：冻结不等于不参与梯度之外的计算。冻结分支仍做前向特征提取与原型聚类，只是参数不更新。论文未报告梯度是否截断到融合层之外的细节之外的额外实现，未报告处不从模型名称推定，本解读只按原文说冻结与微调的分工。

推理门控的计算链：距离如何变成权重？

推理时先用冻结频谱分支提特征，再与各任务的 64 个原型比最小平方欧氏距离，得到 dt(x)。距离越小说明样本越像该任务。对所有任务距离做 softmin，即对负距离做 softmax，温度 alpha 控制尖锐程度，得到 wt(x)。最终预测为各头预测的加权和。训练与测试都用同一冻结分支提特征，保证距离可比。

该链条的脆弱点也在原文中点明：若无冻结不变特征，原型会随波形分支更新而漂移，门控失效。这就是单分支设计的固有局限。复述时要强调门控不是分类器输出任务编号，而是 soft 加权，理想头才是任务编号已知的上界。实际部署若任务数很大，加权全部头的成本与原型存储需重新评估，原文未测量这部分，不能默认可忽略。

训练时优化什么，监督信号从哪里来？

训练目标由两项组成。第一项是基于排序的保真损失，英文可称为 fidelity loss。做法是在小批量内取样本对 (xi, xj)，计算同一任务头输出之差，再经 Thurstone Case V 模型映射为 xi 质量高于 xj 的概率 pt(xi, xj)，其中 Phi 为标准正态累积分布函数，erf 为误差函数。真实排序由指示函数 I(yi 大于 yj) 给出，损失让预测概率向真实排序对齐，并加小常数 epsilon 保证数值稳定。论文选择该损失的理由是它对标签噪声与尺度漂移更鲁棒，也更贴合人对相对好坏的判断。

第二项是知识蒸馏正则。在训练第 t 个任务前，用旧模型第 k 个头在当前数据集 Dt 的样本对上算出旧概率，再约束新模型对应头的概率向旧概率靠近。论文强调这是输出分布约束而非直接约束参数值，与排序保真损失和连续 MOS 尺度一致，对回归任务比 EWC 与 MAS 这类参数重要性约束更有效，且允许特征提取器在语音到音乐的大漂移下灵活适应。总目标为 Ltotal 等于 Lfid 加 lambda 乘 Lreg，lambda 控制可塑性与稳定性权衡，LwF 实现取 lambda 为 100。

保真损失 × 知识蒸馏正则： 保真损失指把两样本预测分差映射为相对优劣概率再与真实排序对齐的排序损失，负责抵抗绝对分值尺度漂移；知识蒸馏正则指用旧模型在当前数据上的成对排序概率约束新模型输出分布，负责抑制共享编码器剧烈更新；搭配原因是两者都作用在输出排序层面，组合意义是让可塑性训练与稳定性约束使用同一比较尺度。

训练流程按原文是每个任务训练 10 轮，前 3 轮只热身预测头，后 7 轮联合训练预测头与特征提取器并早停。优化器与批量等条件见后文实验设置表。论文未给出成对采样是否全配对、难例挖掘或重置时机的进一步细节，复现时应先按随机小批量内成对实现并记录方差，不补写拿掉某项必然怎样。

实验条件：数据、划分、指标与可比性如何设定？

数据集按演进顺序为 TCD-VOIP、NISQA-SIM、Tencent Corpus、SingMOS、MusicEval，覆盖语音合成失真、模拟失真、会议真实混合失真、歌声算法失真与器乐算法失真。样本量与年份在原文表 1 中给出，类型跨度构成持续学习基准的挑战。划分按每个数据集 80% 训练、10% 验证、10% 测试。推理原型数为 64，论文报告对该数不敏感；门控温度 alpha 取 16，依据验证集选择。

可塑性指数 × 稳定性指数： 可塑性指数指模型在学到第 t 个任务时在当前任务上的 SRCC，负责衡量学新能力；稳定性指数指新旧模型在旧数据上预测一致性的平均，负责衡量忘旧程度；搭配原因是持续学习必须同时看两端，组合意义是再平均为可塑性-稳定性指数，避免只用最终平均 SRCC 掩盖先学后忘的过程。

指标方面，主精度为平均 SRCC，记为 mSRCC，是最后一个模型在 5 个测试集上 SRCC 的平均。可塑性为平均可塑性指数 mPI，是每个任务学完时在当前任务上的 SRCC 平均。稳定性为平均稳定性指数 mSI，衡量学新任务时旧数据集性能的变化。两者再平均为平均可塑性稳定性指数 mPSI。比较方法包括单独学习 SL、联合学习 JL、直接微调 FT、多头微调 MH-FT，以及 CAQA-Net 接 EWC、MAS、LwF 3 种正则，其中 JL 为持续学习的上界但需同时存取全部数据。

下表整理论文明确写出的可重放训练与推理配置，数值与单位保留原文写法，条件是否一致的判断依据是同一划分与同一任务序列，指标方向为 SRCC 越高越好。

表后需要说明代价与边界。该表只解决可复现性，不代替精度比较。学习率与轮数较小意味着单任务训练成本不高，但持续序列总成本随任务数线性增长。原型聚类需对每个数据集用冻结特征做 K-Means，N 取 64，存储的是原型向量而非原始音频，论文未报告聚类时间与内存占用，也未报告硬件型号，因此训练资源与推理延迟不能从本表推定，需复现时补测。

主结果：在相同序列下谁记住了旧任务？

要回答的核心问题是：在默认语音到音乐顺序下，各方法最终平均排序能力如何，约束输出是否优于约束参数。公平条件是同一五任务序列与同一划分，指标方向为 mSRCC、mPI、mSI、mPSI 越高越好。论文报告 SL 单任务精度最高但无法泛化到未见数据集，JL 作为持续学习上界但需高存储与计算成本。无缓解的 FT 遗忘严重，MH-FT 因多头已改善全部指标，3 种正则进一步提升平均性能，其中 LwF 在四项指标上最好。

表后解释主要收益与具体代价。论文报告完整方法与联合学习上界相差 0.036 SRCC，对应 4.6%，支持输出级约束对 MOS 回归更有效的假设。代价是仍需为每个任务保留一个线性头与一组原型，且推理要计算到所有原型的距离并加权全部头，头数随任务增长。同时要看到未胜出项：EWC 与 MAS 在该框架下也被验证有效但弱于 LwF，说明框架通用但正则选择仍影响权衡；SL 虽单任务高但不是持续学习的可运行策略，不能当作可部署收益。

反证：推理选头与分支冻结是否不可少？

第一个反证是推理策略。论文比较只用最后头、原型门控、任务标签已知的理想头。最后头只适应新任务而忽略旧专属头，性能最差。理想头假设测试任务标签已知并总选对头，可视为上界。原型门控在任务标签未知时自动加权，显著优于最后头并接近理想头。

论文以此支持冻结特征锚上的门控能在任务无关推理下接近最优选头。以 MH-FT 为例，门控与最后头的差异体现在保留旧头价值上；以 LwF 为例，门控的 mSRCC 报告为 0.754，理想头为 0.788，差距仍存在，说明门控不是完美分类器。

第二个反证是特征融合。只训 M2D 显示较强可塑性与不错稳定性，只训 BEATS 则稳定性高达 0.961 但可塑性跌至 0.587，几乎学不会新任务。双分支融合时，M2D 可训练加 BEATS 冻结取得最好平衡，mPSI 达 0.903，mSRCC 为 0.788；反过来 BEATS 可训练加 M2D 冻结则稳定性更高但可塑性降至 0.788，总体更差。论文解释后者不是 M2D 更稳定，而是 BEATS 参数更新难以适应新任务。单分支因无冻结不变特征会导致原型漂移，使门控失效，这是单分支的固有局限，因此该消融用理想头评估以保证公平。

第 3 个反证是顺序鲁棒性。下表按原文 5 种任务顺序整理问题：频繁在语音与音乐间振荡是否增加不稳定。公平条件是同一模型与同一指标，指标方向仍为越高越好。

表后需讲限制。论文显示方法对顺序不敏感，mSRCC 与 mPSI 波动在窄范围内，但 Order III 因频繁域振荡维持稳定性更难，mPSI 降至 0.844。不过即使在最难顺序下仍优于 FT、MH-FT 与 MAS，支持框架鲁棒但未完全消除域漂移不稳定的判断。减少域漂移下的不稳定仍是未来工作，不能把窄波动推广为任意新域都成立。

哪些结论不能从当前证据推广？

首先，论文的直接报告是排序相关性接近联合学习上界，有限解释是输出约束比参数约束更适合 MOS 回归，未验证推测是该结论是否适用于其他感知尺度或生成失真。相关性不是因果，不能说冻结 BEATS 必然导致语义不变，只能说在该 5 数据集上原型距离足以支撑门控。

其次，缺失证据不是技术错误，但必须指出。原文未报告误判率、延迟、每步推理开销、训练硬件预算与统计显著性，也未给出 K-Means 实现细节与原型存储成本。因此不能承诺延迟或成本得到改善，训练资源、推理开销与实际延迟应分别讨论。总体趋势不等于每组每步都成立，尤其 Order III 已显示振荡顺序的代价。

最后，资源状态是正文开源声明的唯一依据。本次未发现来源绑定且完成验证的资源，不得声称代码模型或数据已公开。复现只能依据论文文字重写训练与评估，不能默认权重可下载或系统可直接运行。

要复现应先做什么，需要补哪项验证？

复现先做数据与划分。按 80% 训练、10% 验证、10% 测试切分 5 个数据集，记录随机种子与文件列表，保证持续序列与联合学习用同一划分。接着实现双分支：可训练 M2D 处理原始波形，冻结 BEATS 处理对数梅尔谱，拼接后接任务专属线性头。先跑通 FT 与 MH-FT 两个可运行基线，再接入 LwF 蒸馏正则，lambda 先取 100，批量取 16，每任务 10 轮且前 3 轮只训头。

推理部分先为每个数据集用冻结特征做 K-Means 得到 64 个原型，距离定义为到原型最小平方欧氏距离，再经 softmin 加权各头，温度 alpha 先取 16。评估按 mSRCC、mPI、mSI、mPSI 四项实现，注意百分点与相对百分比不同，0.036 是 SRCC 差值，4.6% 是相对差距，不混用。还需补的验证包括多次种子的方差、原型数与温度的敏感性曲线、以及在振荡顺序下的逐任务遗忘矩阵，避免只报最终平均。

何时值得尝试这个方案？

当你的音频质量评估需求是陆续出现新域且旧数据不能长期保留，而测试时又拿不到任务标签，本文方案值得尝试。它的适用条件很具体：有预训练音频编码器可用，能接受每个任务多一个线性头与一组原型的存储，能接受推理时计算全部头的加权。如果旧数据可全量保留且算力充足，联合学习仍是更直接的上界选择。如果任务间打分尺度差异极大，还需先做主观实验校准，不能指望排序损失完全消除尺度偏差。

对初学者的记忆抓手是：可塑性靠可训练波形分支学新分布，稳定性靠冻结频谱分支锚住旧表示与门控依据，跨任务一致性靠输出级排序约束而非硬锁参数。复述时沿样本走一遍输入到表示到多头到门控，再说清监督从成对排序来，正则从旧模型输出来，推理权重从原型距离来，即覆盖方法全貌。未来值得补的是频繁切换下的稳定性机制与真实部署成本测量，这也是论文自己指出的方向。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总