多任务学习

该文用 Whisper-small 共享编码器加三分类门控在推理时按需激活转写、情感和场景头，在自合成的 ESAS-32K 上把非语音幻觉率从 96% 以上降到 1% 以下，代价是固定 10 秒英文合成数据与有限场景下的验证边界。

针对自然语言提示与语音风格之间的跨模态差距和一对多映射问题，OTAFlow 先用最优传输加对比学习加多任务监督构造统一风格空间，再用条件流匹配为同一提示采样多样声学风格向量，在 TextrolSpeech 上把文本到音频检索 R@10 做到 0.875 并把合成风格 sMOS 做到 3.88，代价是下游仍用轻量 DiT 骨干且自然度提升有限。

针对韩语流式倾听中声学停顿会误导应声的问题，该研究用停顿概率软加权把决策收拢到停顿附近，再用部分识别文本过滤问句后不该应声的停顿，评估报告语义误发现率下降 53.8%，代价是召回率从 80.40% 降到 71.74%。

DAMSEP 针对单麦克风混叠下丢失空间信息的问题，用分离主干加共享去混响与多声源复数传递函数估计做联合训练，在 HETMIXR 上以可复述的混响重建约束实现分离与近远排序，最强证据是相对 TF-Locoformer 的 SI-SDRi 提升 0.65 dB，代价是需要成对干净与混响监督和固定扫频解码流程。

针对标注少、无标注多且有教师模型的语音识别，论文把有监督学习放顶层、无监督学习放中层、知识蒸馏放底层做三层嵌套优化，用两次惩罚型双层梯度下降求解，在 LibriSpeech 上以词错率下降为证据，但惩罚系数调度敏感且解码与资源条件受限。

针对端到端说话人日志与识别中说话人判别不足的问题，该文用全局聚类加簇内重编码的分层分类与日志识别联合训练，在 AliMeeting 等三套会议数据上降低了归属误差，代价是依赖离线嵌入聚类与过滤流水线且未验证延迟与大规模开放场景。

该工作用共享语音编码器加两条属性分支同时对齐语义教师与说话人教师，在多语言检索上接近单语义模型并在说话人验证上接近教师模型，代价是需要双教师监督与大规模多语言训练。

针对 154 通中文心理热线三级危机分类，该研究把语音副语言线索文本化后交给文本大模型微调，并用推理生成做辅助约束，在呼叫级五折上报告准确率 0.805 与宏 F1 值 0.802，代价是依赖分块扩增与模型生成的非金标准推理目标。

针对同一句话中真假语音共存且需逐帧定位的问题，BISL 在帧分类主任务之外增加相邻帧差分的边界学习和段内均值标准差加紧致性的段学习，在 PartialSpoof 上报告 EER 为 2.52% 与 F1 为 97.40%，代价是跨数据集到 LPS 时仍只达到 EER 为 37.10% 与 F1 为 53.61% 且推理时仅保留帧头。

针对视频物体移除后原声残留导致视听不一致的问题，TV-AudioRemover 用已编辑视频加文字指令做选择性声移除，并用百万级单物体对齐数据、多任务与由易到难的两阶段混合训练支撑细粒度区分，其代价是对上游视觉编辑质量和纠缠声源仍有依赖。

该文把视频多模态情感分析拆为极性判别与强度回归，用极性与强度瓶颈专家分别压缩各模态信息再做跨模态路由融合，在四个中英文数据集与多种语言模型上报告了路由设置与专家分工证据，但未公开代码与完整训练预算。

针对全双工语音到语音模型缺用户侧流式转写的问题，论文在复用同一解码器大模型主干上并行增加轻量 ASR 头并用帧级强制对齐训练，在双工框架内报告平均 WER 为 10.21%，独立识别配置报告为 7.73%，代价是平滑轮转延迟上升与部分打断指标未占优。

针对单做 Mel 需外接声码器而失真、单做复谱难学且伤识别的问题，DualSpecSE 用 Mel 分支保可识别成分、复谱分支保波形细节并以交互与融合连接，在 DNS2020 上 WB-PESQ 达 3.25、CHiME-4 波形输出 WER 降至 14.76%/13.21%，代价是双分支与多损失联合训练的复杂度。

针对多车同时遮挡的非视距预警问题，该工作在原始 8 通道波形上做隔帧未来潜表示预测预训练，再用双向长短期记忆网络做三头微调，在 T 路口验证取得方向与计数与车型同步提升，代价是仅验证至多 2 辆车且跨场景需少样本适配。

共收录 188 篇 speechprosody-2026 会议论文的 Reader 深度解读

共分析 19 篇语音/AI 论文

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

针对多人同时交谈的重叠语音识别问题，该工作在 AV-HuBERT 识别主路径之外并联一个在 FBank 特征层面重建目标与干扰的 AV-TSE 辅助任务，并在 MCoRec 开发集上把词错误率从 49.90% 降到 49.55%，代价是需要仿真混合数据提供干净特征监督且推理时不使用提取分支。

该研究比较有无知觉情绪中间约束的语音嵌入-购买意愿模型，用反向传播改写语音嵌入再做零样本合成，听评显示有约束语音在开放与封闭说话人上都显著提升购买意愿和愉悦感，但 arousal 未拉开差距且语速被推得过快时反而有害。

针对埋地供水管道分布式声传感数据的多标签识别与时空定位问题，论文用事件级标签加像素级掩膜联合训练并在推理时用类激活图输出热力图，在保持多标签分类的同时把定位从零提升到可用水平，代价是需要人工矩形掩膜标注且只在单一工况 testbed 上验证。