多任务学习

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

POWSM 用同一注意力编码器解码器结构统一完成音素识别、语音识别、带音频的字转音与音转字四项任务，在未见语言上取得可比最优的音素错误率，但多任务对域内识别的增益并不稳定且仍偏向高资源语言。

针对 8 个低资源语音到文本翻译方向，该系统用梯度统计自动决定语言分组与共享比例并只专化编码器第 11 层 FFN2，在 bem 上比统一微调高 2.07 BLEU、hau 高 1.50 BLEU，代价是 ckb 等离群语言仍需靠推理时重排恢复。

针对约 1 kbps 下语义对齐与波形重建互相冲突的问题，XY-Tokenizer 用语义与声学双编码器加残差矢量量化与先联合对齐后冻结细化的两阶段训练，在英中多数据集上同时取得低识别错误率与高说话人相似度，代价是更大的编码器规模与更重的训练流程。

针对纯文本审核漏掉语气、情绪与语速等副语言毒性的问题，该研究构建带毒性来源标注的 ToxiAlert-Bench 并采用双头加多阶段训练的 ToxiAlert 模型，最强证据是在自建基准上相对最强基线 Macro-F1 相对提升 21.1%、准确率相对提升 13.0%，代价是合成数据依赖 TTS 表现力与细粒度类别仍存在明显短板。

BuzzASR 用单语微调与分词器替换加文本多任务两条路线适配 102 种语言，在 77 种语言上超过 Whisper-large-v3 并在 27 种语言上达到开源最优，代价是逐语维护模型与域内评测带来的可比性限制。

针对对话多模态情感识别中高阶跨模态交互不足与多目标梯度冲突问题，论文用模态特异低秩多项式融合做表示、用三目标帕累托梯度协调做优化，在 IEMOCAP 上报告 75.42% 准确率、在 MELD 上报告 68.47% 准确率，代价是每轮训练比单分支基线多约 0.66s 的小规模二次规划开销。

针对口面部神经疾病的音视频联合诊断与严重度估计问题，DIVINE 用分层变分瓶颈分离共享与私有表征并做稀疏门控融合，在 Toronto NeuroFace 上以 DeepSeek-VL2 加 TRILLsson 达到双模态高精度，但缺模态与跨库泛化仍受限。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对同声传译需在部分语音下增量输出的问题，EASiST 用多延迟语义分块构造单调交错数据、全单向语音编码器加 LLM 与轻量读写策略头经三阶段训练实现自适应低重算推理，在 MuST-C 与 Europarl-ST 英德英西上取得更好的延迟质量权衡，但自适应增益依赖分块对齐质量与阈值调节。

针对音素到词到语句单向建模不足与分层加深导致初始编码遗忘问题，论文提出双向交互注意力加残差分层的 HIA 框架，在 speechocean762 上以音素词句多指标领先为证据，代价是小数据下增大容量反而难优化。

针对转录标签缺少声学起止时间的问题，该研究用统一 26 类分类体系加四阶段自动时间戳管线构造大规模监督，并用非自回归槽填充模型联合预测词边界与事件边界，在 NVV-TimeBench 上报告 Micro F1 71.0% 与 Macro mMAE 59.6 ms，但短促低能量类别仍明显更难。

针对情感、性别、年龄、语言等多副语言任务互相干扰的问题，ParaMETA 用共享 META 正则加任务独立子空间与原型对齐同时做分类与可控合成，最强证据是 LSTM 等骨干上 12/16 个骨干-任务组合最优与性别操控 100% 准确，代价是 META 正则增益不稳定且语言操控几乎无效。

针对中文唇读辅以手编码的视频到语音任务，UniCUE 用姿态感知的识别通路提供细粒度视觉语义并经适配器条件化潜在扩散语音生成，在统一听障语料上报告了识别与生成的词错率下降，但训练只用健听者数据且推理开销未量化。

针对混合声源数未知且用户线索可能缺失或低质的问题，USE 用 EDA 自动估计声源数与吸引子、用多模态线索网生成可替换的线索嵌入并以对齐损失联合训练，在 AudioSet 类 2 混与 3 混上报告了分离与提取的提升，但多声源计数与跨模态对齐精度随声源数增加而下降且大混合数评估仍有限。

针对中文语音识别中口语忠实转写与书面可读转写难以兼顾的问题，论文用成对监督加提示词选形式训练一个共享模型，并以数字关键词加权的序列优化和分开考核必须改与禁止改的协议证明其在必须规范化上达到 4.64% I-CER 与 94.85% 关键词 F1、在禁止改上达到 95.18% 保留率，而无数字控制集上未引入虚假数字。

共分析 30 篇语音/AI 论文

音乐转录 | 8.2/10

音视频理解 | 7.4/10

语音质量评估 | 8.2/10