多任务学习

针对富有表现力和情感的语音伪造泛化难的问题，ProSDD 先在真实语音上学习说话人条件韵律表示、再把该目标保留为辅助任务联合训练伪造分类，在保持标准基准竞争力的同时大幅降低情感集等错误率，代价是需要构造外部韵律目标并执行两遍前向训练。

针对通用声音事件检测与说话人日志无法把笑、咳归属到具体说话人的问题，论文用可控仿真构造 500 小时 LibriPara 并用解耦的副语言查询做联合帧级检测，在保持通用检测与日志精度的同时把笑和咳的帧级 F1 大幅提升，代价是通用声音检测有轻微负迁移。

针对韩语手术室 51 类组合口令，该研究用共享编码器加三路注意力分别预测方向、模式和步数，并以 CORAL 顺序回归学习 1-5 步幅，在留一说话人评估下达到 95.36% 联合成功率、0.0338 步 MAE 和 0.60% 灾难性错误率，代价是仅 5 人数据与预切分评测且最难说话人仍明显下滑。

针对部分伪造音频中短篡改片段难定位的问题，该研究用多尺度 GRU 建模时序连续性并以帧真伪、方向转移、融合精修三头联合监督，在 20 ms 分辨率下于 PartialSpoof 取得 6.45% 帧级等错误率并在 PartialEdit-E1/E2 取得 4.50% 与 3.85%，代价是需要精细帧标注与多损失调参。

该工作把希腊语歌曲做成片段级对齐的歌词转写基准，用 Whisper 做转写专用、多任务混合与语音到歌声两阶段微调，最强两阶段 Large-v3 把归一化词错误率降到 27.2%，代价是依赖人声分离与强制对齐流水线且伴奏与增强并未带来增益。

该文用 Whisper-small 共享编码器加三分类门控在推理时按需激活转写、情感和场景头，在自合成的 ESAS-32K 上把非语音幻觉率从 96% 以上降到 1% 以下，代价是固定 10 秒英文合成数据与有限场景下的验证边界。

针对自然语言提示与语音风格之间的跨模态差距和一对多映射问题，OTAFlow 先用最优传输加对比学习加多任务监督构造统一风格空间，再用条件流匹配为同一提示采样多样声学风格向量，在 TextrolSpeech 上把文本到音频检索 R@10 做到 0.875 并把合成风格 sMOS 做到 3.88，代价是下游仍用轻量 DiT 骨干且自然度提升有限。

针对韩语流式倾听中声学停顿会误导应声的问题，该研究用停顿概率软加权把决策收拢到停顿附近，再用部分识别文本过滤问句后不该应声的停顿，评估报告语义误发现率下降 53.8%，代价是召回率从 80.40% 降到 71.74%。

DAMSEP 针对单麦克风混叠下丢失空间信息的问题，用分离主干加共享去混响与多声源复数传递函数估计做联合训练，在 HETMIXR 上以可复述的混响重建约束实现分离与近远排序，最强证据是相对 TF-Locoformer 的 SI-SDRi 提升 0.65 dB，代价是需要成对干净与混响监督和固定扫频解码流程。

针对标注少、无标注多且有教师模型的语音识别，论文把有监督学习放顶层、无监督学习放中层、知识蒸馏放底层做三层嵌套优化，用两次惩罚型双层梯度下降求解，在 LibriSpeech 上以词错率下降为证据，但惩罚系数调度敏感且解码与资源条件受限。

针对端到端说话人日志与识别中说话人判别不足的问题，该文用全局聚类加簇内重编码的分层分类与日志识别联合训练，在 AliMeeting 等三套会议数据上降低了归属误差，代价是依赖离线嵌入聚类与过滤流水线且未验证延迟与大规模开放场景。

该工作用共享语音编码器加两条属性分支同时对齐语义教师与说话人教师，在多语言检索上接近单语义模型并在说话人验证上接近教师模型，代价是需要双教师监督与大规模多语言训练。

针对 154 通中文心理热线三级危机分类，该研究把语音副语言线索文本化后交给文本大模型微调，并用推理生成做辅助约束，在呼叫级五折上报告准确率 0.805 与宏 F1 值 0.802，代价是依赖分块扩增与模型生成的非金标准推理目标。

针对同一句话中真假语音共存且需逐帧定位的问题，BISL 在帧分类主任务之外增加相邻帧差分的边界学习和段内均值标准差加紧致性的段学习，在 PartialSpoof 上报告 EER 为 2.52% 与 F1 为 97.40%，代价是跨数据集到 LPS 时仍只达到 EER 为 37.10% 与 F1 为 53.61% 且推理时仅保留帧头。

针对视频物体移除后原声残留导致视听不一致的问题，TV-AudioRemover 用已编辑视频加文字指令做选择性声移除，并用百万级单物体对齐数据、多任务与由易到难的两阶段混合训练支撑细粒度区分，其代价是对上游视觉编辑质量和纠缠声源仍有依赖。

该文把视频多模态情感分析拆为极性判别与强度回归，用极性与强度瓶颈专家分别压缩各模态信息再做跨模态路由融合，在四个中英文数据集与多种语言模型上报告了路由设置与专家分工证据，但未公开代码与完整训练预算。

针对全双工语音到语音模型缺用户侧流式转写的问题，论文在复用同一解码器大模型主干上并行增加轻量 ASR 头并用帧级强制对齐训练，在双工框架内报告平均 WER 为 10.21%，独立识别配置报告为 7.73%，代价是平滑轮转延迟上升与部分打断指标未占优。

针对单做 Mel 需外接声码器而失真、单做复谱难学且伤识别的问题，DualSpecSE 用 Mel 分支保可识别成分、复谱分支保波形细节并以交互与融合连接，在 DNS2020 上 WB-PESQ 达 3.25、CHiME-4 波形输出 WER 降至 14.76%/13.21%，代价是双分支与多损失联合训练的复杂度。

针对多车同时遮挡的非视距预警问题，该工作在原始 8 通道波形上做隔帧未来潜表示预测预训练，再用双向长短期记忆网络做三头微调，在 T 路口验证取得方向与计数与车型同步提升，代价是仅验证至多 2 辆车且跨场景需少样本适配。

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读