多任务学习

针对类别标签难表混合情绪、维度分数难直观解释的问题，该研究把日语表演性情绪语音标注为色相、饱和度、明度并用回归直接预测，留一说话人交叉验证下多任务学习在色相角误差约 29.7 度、饱和度与明度一致性相关系数约 0.560 与 0.803、六分类准确率 90.8% 上同时优于单任务，但结论限于表演性日语与小规模众包标注条件。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

该研究把 DiffRIR 从单声源扩展为多声源联合优化并把学习率调到 3×10-2，用 24 条 RIR 实现频谱误差下降，同时揭示空间不变晚期残响在多声源下存在时间衰减精度的结构性代价。

针对以人为中心联合生成中唇同步偏差与语义情绪脱节，UniAVGen 采用对称双分支加不对称跨模态交互、面部感知调制与模态感知引导实现单模型多任务生成，论文报告在更少联合样本下取得音色与情绪一致性优势，同时存在主体一致性未胜出与大模型打分客观性不足等边界。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对连续西班牙语静音发音重建中说话人发音差异大且数据少的问题，论文提出每轮按音素平均误差自适应调整帧级损失权重的方法，在肌电和唇读两种模态上以字符错误率为主要证据显示多数说话人可懂度提升，但增益随预训练增强而减小且呈说话人依赖。

该研究把希腊音频数据集扩展为片段对齐的歌词转写基准，在同一协议下对比 Whisper 三种规模与转写翻译配比及先语音后歌声的两阶段适配，报告 Large-v3 两阶段词错误率 27.2%，代价是翻译辅助只在小容量模型上为正且增强与复调训练均未获益。

论文把自动语音识别为中心的监督视为感知弱的原因，用转写、副语言、非语言事件三部分的结构化统一音频模式组织监督，在保持推理的同时把 MMSU 感知从 44.8% 提升到 55.7%，代价是需要多阶段对齐与合成标注的质量控制。

ControlAudio 把定时可控与可懂语音生成拆成文本、定时、音素三级条件，用结构化提示、三阶段训练和两段采样实现统一控制，在 AudioCondition 与 AC-Filtered 上提升时间精度与可懂度，代价是更依赖标注与仿真数据的分布假设和更长的多阶段训练。

针对人听希望去噪干净而识别前端怕语音失真的问题，论文用源条件与额外标记两类提示扩展统一分离模型并按提示切换标准损失与正则损失，英日噪声实验显示识别分支降低了词错误率与字错误率而高质量分支保持了重建质量，代价是识别分支牺牲客观质量且仍未超过推理期混合基线。

HydraQE 针对语音翻译无参考质量估计，用 Qwen3-ASR 同时编码源语音和译文假设，经稀疏层混合与双向重编码得到共享表示并用 DA、MetricX、xCOMET 三头监督加课程采样训练，在 IWSLT 2026 开发集与测试集段级别上超过级联文本基线，但不同预测头在语种与段级和系统级之间存在权衡且开发集系统级分数不稳定。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

POWSM 用同一注意力编码器解码器结构统一完成音素识别、语音识别、带音频的字转音与音转字四项任务，在未见语言上取得可比最优的音素错误率，但多任务对域内识别的增益并不稳定且仍偏向高资源语言。

针对 8 个低资源语音到文本翻译方向，该系统用梯度统计自动决定语言分组与共享比例并只专化编码器第 11 层 FFN2，在 bem 上比统一微调高 2.07 BLEU、hau 高 1.50 BLEU，代价是 ckb 等离群语言仍需靠推理时重排恢复。

针对约 1 kbps 下语义对齐与波形重建互相冲突的问题，XY-Tokenizer 用语义与声学双编码器加残差矢量量化与先联合对齐后冻结细化的两阶段训练，在英中多数据集上同时取得低识别错误率与高说话人相似度，代价是更大的编码器规模与更重的训练流程。

针对纯文本审核漏掉语气、情绪与语速等副语言毒性的问题，该研究构建带毒性来源标注的 ToxiAlert-Bench 并采用双头加多阶段训练的 ToxiAlert 模型，最强证据是在自建基准上相对最强基线 Macro-F1 相对提升 21.1%、准确率相对提升 13.0%，代价是合成数据依赖 TTS 表现力与细粒度类别仍存在明显短板。