多任务学习

论文研究每任务每语言只有 3-5 小时标注时如何做多语言多任务语音大模型，选择冻结编码器与大模型只训练投影层并先做高资源语音识别预训练，最强证据是意大利语单语从零训练词错误率 129% 降到 5.4%、翻译从 0.8% 升到 48.2%，代价是未见任务仍不能零样本泛化且跨语言效果受语系距离限制。

该研究用英语音频加电磁发音数据同时估计 6 个口腔声道变量和周期性、非周期性、基频 3 个声源特征，再以鼻音度为腭咽代理跨语言测试，在未见过的法语和俄语上分别保持约 0.83 和 0.74 的平均相关，代价是俄语受噪声和鼻化差异影响更大且腭咽评估样本很少。

针对歌曲生成缺零样本音色克隆而歌声转换缺人声伴奏协同的问题，UniSinger 用多模态扩散变换器加跨任务说话人空间与四阶段课程掩码统一两任务，在发音错误率和音色相似度上取得最优，但伴奏联合建模仍带来可测的基线指标下降。

该研究用连续语音特征作条件、以解码器自回归生成离散语音令牌统一语音恢复、目标说话人提取与语音分离，并用两阶段偏好微调提升感知质量，代价是全 utterance 条件与自回归解码效率限制。

URGENT-MOS 针对跨数据集标注不一致与绝对质量和偏好割裂的问题，用共享特征加绝对多指标预测与自然度条件偏好模块统一建模，在多域偏好和相关性评价上更稳健，但全量 15 指标联合监督并不总是带来增益。

该文针对句子重音检测受子词切分稀释与词重音线索未被利用的问题，在冻结 Whisper 上并联词符级句子重音头与音素级词重音头并加入词跨度正则，在 TinyStress-15K 上完整配置取得句子重音 F1 为 0.934，代价是双头不直接交互且评估限于合成语音。

针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题，论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练，并用统一罗马化和双码本缓解竞争，在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5，代价是需要目标域音频加文本和两阶段训练。

针对塞浦路斯、克里特和麦西尼亚三种希腊方言的低资源转写问题，论文用标准希腊语翻译起步、混合转写与翻译过渡、最终收敛到方言转写的多任务课程，在三档 Whisper 规模上报告了优于直接微调的词错误率，同时保留了翻译正则与 donor 数据等代价与边界条件。

针对带声调标记的音素识别数据稀缺问题，该研究用正字法与基频轨迹多任务训练加词典约束的格融合，在保持听错原样的条件下把核心集平均错误率从 12.3% 降到 7.1%，代价是依赖词典覆盖与文本分支质量。

该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练，显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解，且未损害情感识别所需的声学信息。

针对倾听者反馈相对会话机会点延迟分布不一致的问题，论文用生存分析验证快慢功能类别的延迟差异，再用快慢双路径分别预测帧级起始与类别，最强证据是 Macro-F1 从 0.4862 提升到 0.6254，代价是只用单通道声学线索且依赖固定静音阈值定义的机会点。

针对口吃检测与转写长期分开建模导致互相约束丢失的问题，DysfluentNet 用冻结 WavLM-Large 共享编码器同时做六类多标签检测与含口吃标记转写，在 SEP-28k 上报告宏观 F1 为 72.4、在 FluencyBank 上报告 DI-WER 为 18.3，代价是仅覆盖英语且对齐窗与冻结策略仍有未验证空间。

针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题，该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦，最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%，代价是在 19LA 上从 0.22% 微升到 0.32%。

针对中日两个零样本语音分类任务，论文显示仅靠多语言离散国际音标词元训练的模型会失效，而用连续发音特征向量做分类能显著提升稀有音的召回，但送气用单帧最优、鼻音部位用段平均最优，时间聚合方式必须按线索的持续性选择。

针对多模态情绪识别标注贵、模态缺失和噪声多的问题，MultiEmoVec 在 CMU-MOSEI 上无情绪标签预训练动量对比加双重建加自适应损失加权，冻结编码器后用轻分类器迁移，CMU-MOSEI 七分类达 55.31% 且跨库接近全监督，但仍依赖固定特征抽取器和轻微分布相似性。

针对富有表现力和情感的语音伪造泛化难的问题，ProSDD 先在真实语音上学习说话人条件韵律表示、再把该目标保留为辅助任务联合训练伪造分类，在保持标准基准竞争力的同时大幅降低情感集等错误率，代价是需要构造外部韵律目标并执行两遍前向训练。

针对通用声音事件检测与说话人日志无法把笑、咳归属到具体说话人的问题，论文用可控仿真构造 500 小时 LibriPara 并用解耦的副语言查询做联合帧级检测，在保持通用检测与日志精度的同时把笑和咳的帧级 F1 大幅提升，代价是通用声音检测有轻微负迁移。

针对韩语手术室 51 类组合口令，该研究用共享编码器加三路注意力分别预测方向、模式和步数，并以 CORAL 顺序回归学习 1-5 步幅，在留一说话人评估下达到 95.36% 联合成功率、0.0338 步 MAE 和 0.60% 灾难性错误率，代价是仅 5 人数据与预切分评测且最难说话人仍明显下滑。

针对部分伪造音频中短篡改片段难定位的问题，该研究用多尺度 GRU 建模时序连续性并以帧真伪、方向转移、融合精修三头联合监督，在 20 ms 分辨率下于 PartialSpoof 取得 6.45% 帧级等错误率并在 PartialEdit-E1/E2 取得 4.50% 与 3.85%，代价是需要精细帧标注与多损失调参。

该工作把希腊语歌曲做成片段级对齐的歌词转写基准，用 Whisper 做转写专用、多任务混合与语音到歌声两阶段微调，最强两阶段 Large-v3 把归一化词错误率降到 27.2%，代价是依赖人声分离与强制对齐流水线且伴奏与增强并未带来增益。