多任务学习

UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题，选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合，在 XARES-LLM 上取得 0.802 总分，代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。

该研究用直接处理原始语音的双头语音大模型同时做认知状态分类与自然语言解释，在六个数据集任务条件下取得最高平均准确率并能迁移到未见任务，但解释监督来自模型生成且临床标签为量表阈值定义，解释只能作辅助核查。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音质量评价依赖背景声学和细粒度 cues 而常用自监督表征对此不变的问题，该文用局部谱时编码加帧级谱聚合的新编码器与包含直接混响比和窄带宽带的新声学任务做联合预训练，在冻结编码器下以较小参数在多数据集上达到可比大模型的平均意见分预测，并以消融显示新任务的增益与小数据训练的代价。

针对四对低资源语音到英语翻译的统一共享负迁移问题，论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2，在统一微调基线上取得最高 14.4% 相对 BLEU 增益，代价是只验证了单层单模型且部分语言对仍有回退。

针对有限真实会议数据下的多人语音识别，论文用语义与说话人双编码器加时间交错输入、按段长度加权的话者损失和按样本损失分布掩蔽重叠高损失词，在约 0.7B 参数下降低重复幻觉并改善说话人归属，代价是交错使输入变长且依赖多阶段训练与强制对齐预处理。

针对单通道带噪混响语音的盲房间脉冲响应估计问题，Rec-RIR 用去噪加去混响加卷积传递函数估计的多任务网络做混响谱重建再经伪侵入式测量转成波形，在 SimACE 上取得声学参数与早期反射的最优精度，代价是需要直达声对齐监督和 0.96 秒建模上限与 35.2 GMACs 每秒计算量。

针对整句标注掩盖帧级情感动态的问题，该文只用声学信号做协同推理与冲突回填的多粒度监督，在 IEMOCAP、EmoDB 和 MELD 上报告了 78.10% WA、97.30% WA 和 55.48% WF1，代价是需要先训练 K 组上游子模型并调平衡系数。

该研究把儿童咝音切成 64×64 语谱图，用经典、稀疏、多任务三种卷积自编码器压成低维向量再交支持向量机判读齿音还是卷舌音，最好的多任务配置灵敏度达到 84.31%，代价是约三分之二超参数组合退化且数据高度不平衡。

针对语音意图分类中语义相邻类别难分的问题，该工作用 DeepSeek-R1 生成的候选枚举加拒绝解释加标签三段轨迹做多任务微调正则，在 SLURP 和法语 Speech-MASSIVE 上六个语音大模型意图准确率最高提升 2.4 个百分点且推理时只直接输出标签。

该文把轮次结束检测改写为固定视界的语音端点预报问题，用双流 EPA-M 模型提前触发大模型与语音合成管线，在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线，并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。

针对每人仅有少数方向实测时如何补全任意方向双耳头部脉冲响应的问题，论文提出直接在时域做掩码补全的 HRIR-Former，用正弦方向编码加 Transformer 与双耳线索辅助头实现网格自由推理，在 SONICOM 上 M 等于 19 时以归一化均方误差负 8 点 24 分贝和强度差误差 0 点 95 分贝为证据，代价是仍限同库训练且缺少听感验证。

该研究在 MSP-Podcast 2.0 九类任务上对比硬共识与主次投票分布监督，报告分布目标把 Test1/Test2 的 JSD/KLD 系统性压低而 Macro-F1 差异较小，代价是 Other 类 F1 大幅下降且高熵区硬判决依然困难。

针对口音导致识别错误上升而全量微调昂贵的问题，论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由，并用多任务与对抗去性别泄漏约束训练，在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率，最强增益依赖解码后确定性幻觉过滤配合。

论文在 BVCC 上揭示男听众系统性打分更高且差距随质量变化，证明平均标签训练的 SSL-MOS 预测更贴近男性标准，并用抽象二值组嵌入的双分支模型同时提升总体与分性别预测精度。

针对音视频局部短时伪造易被全局池化稀释的问题，MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注，用视频级主损失加窗口级辅助损失训练，在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC，在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%，代价是依赖 …

针对句中停顿易被误判为结束的问题，Next-Turn 用从语音时间戳直接算出的到下一次语音起始时长做细粒度监督，在 1185 句人工标注评测上以 86.7% 的 320 ms 内准确率和 5.0% 早打断率超过声学与语义基线，但小评测集与中文单语料限制了推广结论。

针对单中心单类学习把真语音压成单峰分布的问题，QAMO 按语音质量建立两个真语音中心并用质量分类与单类损失联合训练，在 XLSR-Conformer-TCM 上于 In-the-Wild 取得 5.21% 等错误率，代价是依赖 Scoreq 预测与增强样本的质量代理假设。

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

针对加性噪声、混响与非线性失真同时出现的语音增强问题，SLICE 把退化表征加到时间步嵌入以逐层传播，在受控多退化测试上 ESTOI 达 0.80、SI-SDR 达 3.7 dB，而同编码器只做输入层相加时反而跌到 0.73 与 1.4 dB，代价是混响类样本的 SI-SDR 仍为负且野外数据的编码器增益变小。