多任务学习

共分析 19 篇语音/AI 论文

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

针对多人同时交谈的重叠语音识别问题，该工作在 AV-HuBERT 识别主路径之外并联一个在 FBank 特征层面重建目标与干扰的 AV-TSE 辅助任务，并在 MCoRec 开发集上把词错误率从 49.90% 降到 49.55%，代价是需要仿真混合数据提供干净特征监督且推理时不使用提取分支。

该研究比较有无知觉情绪中间约束的语音嵌入-购买意愿模型，用反向传播改写语音嵌入再做零样本合成，听评显示有约束语音在开放与封闭说话人上都显著提升购买意愿和愉悦感，但 arousal 未拉开差距且语速被推得过快时反而有害。

针对埋地供水管道分布式声传感数据的多标签识别与时空定位问题，论文用事件级标签加像素级掩膜联合训练并在推理时用类激活图输出热力图，在保持多标签分类的同时把定位从零提升到可用水平，代价是需要人工矩形掩膜标注且只在单一工况 testbed 上验证。

针对类别标签难表混合情绪、维度分数难直观解释的问题，该研究把日语表演性情绪语音标注为色相、饱和度、明度并用回归直接预测，留一说话人交叉验证下多任务学习在色相角误差约 29.7 度、饱和度与明度一致性相关系数约 0.560 与 0.803、六分类准确率 90.8% 上同时优于单任务，但结论限于表演性日语与小规模众包标注条件。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

该研究把 DiffRIR 从单声源扩展为多声源联合优化并把学习率调到 3×10-2，用 24 条 RIR 实现频谱误差下降，同时揭示空间不变晚期残响在多声源下存在时间衰减精度的结构性代价。

针对以人为中心联合生成中唇同步偏差与语义情绪脱节，UniAVGen 采用对称双分支加不对称跨模态交互、面部感知调制与模态感知引导实现单模型多任务生成，论文报告在更少联合样本下取得音色与情绪一致性优势，同时存在主体一致性未胜出与大模型打分客观性不足等边界。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对连续西班牙语静音发音重建中说话人发音差异大且数据少的问题，论文提出每轮按音素平均误差自适应调整帧级损失权重的方法，在肌电和唇读两种模态上以字符错误率为主要证据显示多数说话人可懂度提升，但增益随预训练增强而减小且呈说话人依赖。

该研究把希腊音频数据集扩展为片段对齐的歌词转写基准，在同一协议下对比 Whisper 三种规模与转写翻译配比及先语音后歌声的两阶段适配，报告 Large-v3 两阶段词错误率 27.2%，代价是翻译辅助只在小容量模型上为正且增强与复调训练均未获益。

论文把自动语音识别为中心的监督视为感知弱的原因，用转写、副语言、非语言事件三部分的结构化统一音频模式组织监督，在保持推理的同时把 MMSU 感知从 44.8% 提升到 55.7%，代价是需要多阶段对齐与合成标注的质量控制。

ControlAudio 把定时可控与可懂语音生成拆成文本、定时、音素三级条件，用结构化提示、三阶段训练和两段采样实现统一控制，在 AudioCondition 与 AC-Filtered 上提升时间精度与可懂度，代价是更依赖标注与仿真数据的分布假设和更长的多阶段训练。

针对人听希望去噪干净而识别前端怕语音失真的问题，论文用源条件与额外标记两类提示扩展统一分离模型并按提示切换标准损失与正则损失，英日噪声实验显示识别分支降低了词错误率与字错误率而高质量分支保持了重建质量，代价是识别分支牺牲客观质量且仍未超过推理期混合基线。

HydraQE 针对语音翻译无参考质量估计，用 Qwen3-ASR 同时编码源语音和译文假设，经稀疏层混合与双向重编码得到共享表示并用 DA、MetricX、xCOMET 三头监督加课程采样训练，在 IWSLT 2026 开发集与测试集段级别上超过级联文本基线，但不同预测头在语种与段级和系统级之间存在权衡且开发集系统级分数不稳定。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读