多任务学习

VeriSpoof 把真伪、来源、录音条件、定位都写成句子选项并用似然差打分，用固定字段的可核查依据链把部分伪造找出来，同一套权重在 14 个公开集上达到 2.14% 混合等错率并能在未见过生成器上做同源验证。

针对合成语音经扬声器播放再被麦克风录制后伪造痕迹被掩盖的问题，ReplayFactor 用自监督表示加声学先验融合与双属性多任务对比学习来分离来源与回放线索，在 EchoFake 开放集上把宏观 F1 从 60.99% 提高到 76.44%、等错误率从 11.86% 降到 3.05%，代价是需要四类标注和更大的联合训练开销。

本文用 DiariZen 的自监督表示做说话人条件解码和先验约束重排，在八个领域上把说话人混淆相对降低约 15%，宏平均 DER 降到 11.90%，代价是实时率增加约 15%。

SPHERE 针对双耳语音同时做九个感知的无参考预测，用众包听音得到真值，再以单分支与孪生卷积循环基线验证可行性，最好的片段级平均 PCC 为 0.706 而系统级孪生结构占优，但结论只在同类耳机采集与严格防泄漏划分下成立。

针对小提琴起音柔和导致先切音符再分类不可靠的问题，VioTech 用冻结声学编码器加多尺度专家与任务路由做 10 毫秒逐帧预测，在跨数据集上提升了拨弦与跳弓等瞬态技法的检测，但换弓点检测下降且泛黄音仍困难。

针对不同任务对视频、音频、文本依赖不均而融合模型被迫共用同一表示的问题，MOSAIC 用模态分区的注意力与前馈加受控交叉注意力保持单模态结构，并按任务权重与模态相关度把梯度路由到对应分区，在日常日语会话语料四任务上以更少主干参数取得更高平均宏 F1，但结论目前只在该数据集与配置下成立。

Uni-Stream 用时间对齐的流式交错序列把识别与合成放在同一个解码器模型里，先分别适配再联合训练，在约 4 万小时英文数据上接近专用流式模型的识别与合成水平，但表示探测显示语音与文本仍处在不同子空间。

论文提出用一句话指出音频与文本在事件和时间关系上的具体出入，并用系统合成的 AT-DIFFER 数据微调 Qwen3-Omni，先判断有无差异再分类最后写句子，联合学习在合成分布上明显改善描述质量，但结论只在至多两个事件和模板文本范围内成立。

针对多声源混合中弱声源在最后才分离时被压制的问题，论文用提前分出对象特征并逐层融合精炼的 PARASITE 分支解决，在 ASA2 上分离达到 14.24 dB SI-SDRi、SELD 分数 0.147，在 STARSS23 上 SELD 分数 0.240，代价是增加三层精炼分支的参数与计算量。

论文针对语音大模型同时做识别、时间戳和翻译时固定权重无法实现部署偏好的问题，提出用专家锚点距离份额做闭环校准的 EA-SURF，并在六组三目标请求上把偏好校准误差降低约六成、端点包含的归一化超体积提高 17.8%，代价是平均词错误率小幅上升 0.16 个百分点。

论文把正常、爆裂音、哮鸣音、两者兼有四分类改写为爆裂音存在与哮鸣音存在两个二分类任务，用不同时间聚合分别处理短促瞬态与持续谐波证据，在 ICBHI 四分类 Score 达到 65.30%，代价是需要调两个分支阈值并依赖预训练 BEATs 编码器。

DuET 针对富有表情的钢琴演奏到乐谱映射，提出音符编码器加帧编码器双路结构并联合学习拍点跟踪，在 Gangqinpu 上把 MUSTER 平均误差从 6.56% 降到 3.64%，在 ASAP 上从 11.30% 降到 11.22%，主要增益在时值与节奏组织但漏音多音误差仍有局限。

论文比较并行多头与事件到场景的分层条件架构在联合声学场景分类与音频标注中的训练动态与表示结构，发现分层结构分类性能相当但在特定损失权重下实现同步学习，并以更低条件熵和更高互信息形成更集中的事件瓶颈，代价是完全依赖事件词表可能丢失环境整体质感。

论文用一个共享语音编码器加四个属性分支同时向语义、说话人、语言、情感四个冻结教师做余弦蒸馏，在多语义检索、说话人确认、语言辨识和情感识别上接近单任务学生，代价是小幅性能折损和一次多教师联合训练。

VoxTurn 把轮次结束等多个判断写成选择题并用一次前向同时给出答案，在真实对话停顿上训练并在静音中反复查询，在 eot-bench 英语 300 ms 预算下误抢断 11.5%，单次判断约 8.3 ms。

论文研究如何用冻结的自动音乐转录编码器加谱面解码器生成节奏游戏谱面，并在谱面最少的模式上用跨模式联合训练把事件 F1 从 0.492 提到 0.506，而与 Clone Hero 联合反而降到 0.482。

论文针对句子重读检测受子词切分影响而概率分散的问题，用冻结 Whisper 加句子级与音素级两个分支和词跨度正则项，在 TinyStress-15K 合成语料上把句子重读 F1 做到 0.934，代价是只在合成朗读条件下验证且两分支仍无直接交互。

针对方言语音缺数据导致翻译变差的问题，论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广，并用中间标准文本预测做语义桥，在日语德语中文方言到英语翻译上验证效果与代价。

针对仿真训练在真实远场混合上泛化不足的问题，UltraM2M 用同一增强网络同时接受仿真监督、混合重构约束和冻结语音识别损失的弱监督，在 CHiME-4 真实集上降低词错误率，多通道时还提升感知质量，但结论只在该数据集和给定评测识别器条件下成立。

针对无编码器语音大模型缺乏说话人判别力的问题，论文用性别情感说话人等元数据监督加即时多说话人拼接与适度掩码做预训练，在匹配数据下优于随机初始化编码器并接近大语料预训练编码器，但大规模纯转写预训练对说话人归属增益有限且存在任务差异。