多任务学习

针对音视频局部短时伪造易被全局池化稀释的问题，MS-GNN 把视频切成 400 ms 非重叠窗口建异构图并做自下而上聚合与自上而下回注，用视频级主损失加窗口级辅助损失训练，在 LAV-DF 上报告 98.12% 准确率与 99.81% AUC，在 FakeAVCeleb 上准确率 93.20% 而 AUC 最高为 96.75%，代价是依赖 …

针对句中停顿易被误判为结束的问题，Next-Turn 用从语音时间戳直接算出的到下一次语音起始时长做细粒度监督，在 1185 句人工标注评测上以 86.7% 的 320 ms 内准确率和 5.0% 早打断率超过声学与语义基线，但小评测集与中文单语料限制了推广结论。

针对单中心单类学习把真语音压成单峰分布的问题，QAMO 按语音质量建立两个真语音中心并用质量分类与单类损失联合训练，在 XLSR-Conformer-TCM 上于 In-the-Wild 取得 5.21% 等错误率，代价是依赖 Scoreq 预测与增强样本的质量代理假设。

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

针对加性噪声、混响与非线性失真同时出现的语音增强问题，SLICE 把退化表征加到时间步嵌入以逐层传播，在受控多退化测试上 ESTOI 达 0.80、SI-SDR 达 3.7 dB，而同编码器只做输入层相加时反而跌到 0.73 与 1.4 dB，代价是混响类样本的 SI-SDR 仍为负且野外数据的编码器增益变小。

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型，选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练，最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%，代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

该研究用英语音频加电磁发音数据同时估计 6 个口腔声道变量和周期性、非周期性、基频 3 个声源特征，再以鼻音度为腭咽代理跨语言测试，在未见过的法语和俄语上分别保持约 0.83 和 0.74 的平均相关，代价是俄语受噪声和鼻化差异影响更大且腭咽评估样本很少。

针对歌曲生成缺零样本音色克隆而歌声转换缺人声伴奏协同的问题，UniSinger 用多模态扩散变换器加跨任务说话人空间与四阶段课程掩码统一两任务，在发音错误率和音色相似度上取得最优，但伴奏联合建模仍带来可测的基线指标下降。

该研究用连续语音特征作条件、以解码器自回归生成离散语音令牌统一语音恢复、目标说话人提取与语音分离，并用两阶段偏好微调提升感知质量，代价是全 utterance 条件与自回归解码效率限制。

URGENT-MOS 针对跨数据集标注不一致与绝对质量和偏好割裂的问题，用共享特征加绝对多指标预测与自然度条件偏好模块统一建模，在多域偏好和相关性评价上更稳健，但全量 15 指标联合监督并不总是带来增益。

该文针对句子重音检测受子词切分稀释与词重音线索未被利用的问题，在冻结 Whisper 上并联词符级句子重音头与音素级词重音头并加入词跨度正则，在 TinyStress-15K 上完整配置取得句子重音 F1 为 0.934，代价是双头不直接交互且评估限于合成语音。

针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题，论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练，并用统一罗马化和双码本缓解竞争，在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5，代价是需要目标域音频加文本和两阶段训练。

针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题，论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程，在三档 Whisper 规模上报告了优于直接微调的词错误率，同时保留了翻译正则与 donor 数据等代价与边界条件。

针对带声调标记的音素识别数据稀缺问题，该研究用正字法与基频轨迹多任务训练加词典约束的格融合，在保持听错原样的条件下把核心集平均错误率从 12.3% 降到 7.1%，代价是依赖词典覆盖与文本分支质量。

该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练，显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解，且未损害情感识别所需的声学信息。

针对倾听者反馈相对会话机会点延迟分布不一致的问题，论文用生存分析验证快慢功能类别的延迟差异，再用快慢双路径分别预测帧级起始与类别，最强证据是 Macro-F1 从 0.4862 提升到 0.6254，代价是只用单通道声学线索且依赖固定静音阈值定义的机会点。

针对口吃检测与转写长期分开建模导致互相约束丢失的问题，DysfluentNet 用冻结 WavLM-Large 共享编码器同时做六类多标签检测与含口吃标记转写，在 SEP-28k 上报告宏观 F1 为 72.4、在 FluencyBank 上报告 DI-WER 为 18.3，代价是仅覆盖英语且对齐窗与冻结策略仍有未验证空间。

针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题，该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦，最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%，代价是在 19LA 上从 0.22% 微升到 0.32%。

针对中日两个零样本语音分类任务，论文显示仅靠多语言离散国际音标词元训练的模型会失效，而用连续发音特征向量做分类能显著提升稀有音的召回，但送气用单帧最优、鼻音部位用段平均最优，时间聚合方式必须按线索的持续性选择。

针对多模态情绪识别标注贵、模态缺失和噪声多的问题，MultiEmoVec 在 CMU-MOSEI 上无情绪标签预训练动量对比加双重建加自适应损失加权，冻结编码器后用轻分类器迁移，CMU-MOSEI 七分类达 55.31% 且跨库接近全监督，但仍依赖固定特征抽取器和轻微分布相似性。