多任务学习

论文研究如何用冻结的自动音乐转录编码器加谱面解码器生成节奏游戏谱面，并在谱面最少的模式上用跨模式联合训练把事件 F1 从 0.492 提到 0.506，而与 Clone Hero 联合反而降到 0.482。

论文针对句子重读检测受子词切分影响而概率分散的问题，用冻结 Whisper 加句子级与音素级两个分支和词跨度正则项，在 TinyStress-15K 合成语料上把句子重读 F1 做到 0.934，代价是只在合成朗读条件下验证且两分支仍无直接交互。

针对方言语音缺数据导致翻译变差的问题，论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广，并用中间标准文本预测做语义桥，在日语德语中文方言到英语翻译上验证效果与代价。

针对仿真训练在真实远场混合上泛化不足的问题，UltraM2M 用同一增强网络同时接受仿真监督、混合重构约束和冻结语音识别损失的弱监督，在 CHiME-4 真实集上降低词错误率，多通道时还提升感知质量，但结论只在该数据集和给定评测识别器条件下成立。

针对无编码器语音大模型缺乏说话人判别力的问题，论文用性别情感说话人等元数据监督加即时多说话人拼接与适度掩码做预训练，在匹配数据下优于随机初始化编码器并接近大语料预训练编码器，但大规模纯转写预训练对说话人归属增益有限且存在任务差异。

UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题，选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合，在 XARES-LLM 上取得 0.802 总分，代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。

该研究用直接处理原始语音的双头语音大模型同时做认知状态分类与自然语言解释，在六个数据集任务条件下取得最高平均准确率并能迁移到未见任务，但解释监督来自模型生成且临床标签为量表阈值定义，解释只能作辅助核查。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音质量评价依赖背景声学和细粒度 cues 而常用自监督表征对此不变的问题，该文用局部谱时编码加帧级谱聚合的新编码器与包含直接混响比和窄带宽带的新声学任务做联合预训练，在冻结编码器下以较小参数在多数据集上达到可比大模型的平均意见分预测，并以消融显示新任务的增益与小数据训练的代价。

针对四对低资源语音到英语翻译的统一共享负迁移问题，论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2，在统一微调基线上取得最高 14.4% 相对 BLEU 增益，代价是只验证了单层单模型且部分语言对仍有回退。

针对有限真实会议数据下的多人语音识别，论文用语义与说话人双编码器加时间交错输入、按段长度加权的话者损失和按样本损失分布掩蔽重叠高损失词，在约 0.7B 参数下降低重复幻觉并改善说话人归属，代价是交错使输入变长且依赖多阶段训练与强制对齐预处理。

针对单通道带噪混响语音的盲房间脉冲响应估计问题，Rec-RIR 用去噪加去混响加卷积传递函数估计的多任务网络做混响谱重建再经伪侵入式测量转成波形，在 SimACE 上取得声学参数与早期反射的最优精度，代价是需要直达声对齐监督和 0.96 秒建模上限与 35.2 GMACs 每秒计算量。

针对整句标注掩盖帧级情感动态的问题，该文只用声学信号做协同推理与冲突回填的多粒度监督，在 IEMOCAP、EmoDB 和 MELD 上报告了 78.10% WA、97.30% WA 和 55.48% WF1，代价是需要先训练 K 组上游子模型并调平衡系数。

该研究把儿童咝音切成 64×64 语谱图，用经典、稀疏、多任务三种卷积自编码器压成低维向量再交支持向量机判读齿音还是卷舌音，最好的多任务配置灵敏度达到 84.31%，代价是约三分之二超参数组合退化且数据高度不平衡。

针对语音意图分类中语义相邻类别难分的问题，该工作用 DeepSeek-R1 生成的候选枚举加拒绝解释加标签三段轨迹做多任务微调正则，在 SLURP 和法语 Speech-MASSIVE 上六个语音大模型意图准确率最高提升 2.4 个百分点且推理时只直接输出标签。

该文把轮次结束检测改写为固定视界的语音端点预报问题，用双流 EPA-M 模型提前触发大模型与语音合成管线，在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线，并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。

针对每人仅有少数方向实测时如何补全任意方向双耳头部脉冲响应的问题，论文提出直接在时域做掩码补全的 HRIR-Former，用正弦方向编码加 Transformer 与双耳线索辅助头实现网格自由推理，在 SONICOM 上 M 等于 19 时以归一化均方误差负 8 点 24 分贝和强度差误差 0 点 95 分贝为证据，代价是仍限同库训练且缺少听感验证。

该研究在 MSP-Podcast 2.0 九类任务上对比硬共识与主次投票分布监督，报告分布目标把 Test1/Test2 的 JSD/KLD 系统性压低而 Macro-F1 差异较小，代价是 Other 类 F1 大幅下降且高熵区硬判决依然困难。

针对口音导致识别错误上升而全量微调昂贵的问题，论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由，并用多任务与对抗去性别泄漏约束训练，在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率，最强增益依赖解码后确定性幻觉过滤配合。

论文在 BVCC 上揭示男听众系统性打分更高且差距随质量变化，证明平均标签训练的 SSL-MOS 预测更贴近男性标准，并用抽象二值组嵌入的双分支模型同时提升总体与分性别预测精度。