注意力机制

针对多轮口语对话中模型内部能注意到历史却在生成时被参数先验压制的问题，论文提出只遮挡注意力选出的关键轮并对比有无该轮输出分布的免训练解码方法，在 Audio MultiChallenge 上把三套端到端语音对话系统的平均通过率提高约 6.7 至 13.3 个百分点，而全历史粗放对比反而使性能下降。

论文把图像领域的 DAAM 归因搬到语音扩散模型上，用每词时间热力图研究风格描述词如何影响合成语音，最强证据是风格词时间方差显著更低且与能量语义一致，代价是只在单个 CapSpeech 模型和合成提示上验证且无因果干预。

针对 Transformer 语音识别难解释且时间定位粗的问题，LEAF-X 选择模型内部注意力做熵加权与跨层聚合解释，在 Whisper 与 Canary 上以更低的删除代价和不稳定性支持更忠实的词帧对齐，但因果重加权带来额外前向开销且未做用户研究验证。

针对全双工对话中时延漂移与能量失配导致回声残留和过抑制问题，LMPAN 用多路径软对齐加注意力融合与动态目标加两阶段 SSL 训练，在约 480K 参数和 126M 计算量下取得与 DeepVQE-S 可比的主观与下游任务表现，代价是动态目标会略微拉低整体 MOS。

MAC-VAD 针对噪声、混响和遮挡下纯音频 VAD 不可靠的问题，用 WavelNet 音频编码器与 EfficientViT 视觉编码器加动态视听交叉注意力融合，并以冻结 Wav2Vec 2.0 做蒸馏，在 MMVAD 上达到 93.52% 准确率与 86.39% F1，代价是 21.4M 参数与对人脸裁剪的依赖。

针对说话人切换次数超出训练范围时多说话人识别会跳过整段话的问题，论文用说话人切换标记掩码加随机文本掩码切断解码器对切换次数的计数依赖，在仅见过至多 2 次切换的训练下把 3 次切换非重叠语音的字错率从 13.5% 降到 5.9%，代价是随机掩码率过大时训练变难且时间戳类标记越多时与上限差距越大。

论文用去掉舌区输入和舌掩膜引导的双编码器检验舌区贡献，发现在单帧二维卷积映射下两种操作均未带来统计显著的质量变化，但引导模型把激活集中到了舌区，代价是结构更复杂而客观指标没有提升。

论文针对 Whisper 在德拉威语上词错误率偏高的问题提出解码器内的加权注意力与自条件反馈，在韩语上把词错误率从 3.34% 降到 2.51%、在斯瓦希里语上从 16.07% 降到 14.58%，代价是每层增加轻量门控与一次中间预测投影。

针对音乐分类中注意力易被伴奏与录音偏置带偏的问题，该文提出在每轮反事实监督后重投影注意力特征的渐进式可学习反事实注意力，用三阶段精炼在歌手、流派与情绪任务上取得一致提升，代价是增加共享投影模块与多阶段联合优化的训练负担。

针对韩语手术室 51 类组合口令，该研究用共享编码器加三路注意力分别预测方向、模式和步数，并以 CORAL 顺序回归学习 1-5 步幅，在留一说话人评估下达到 95.36% 联合成功率、0.0338 步 MAE 和 0.60% 灾难性错误率，代价是仅 5 人数据与预切分评测且最难说话人仍明显下滑。

针对资源受限下音频推理难部署的问题，论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤，在 MMAR 上以 1.5 B 取得 46.40 准确率，但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题，WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口，并用全注意力教师蒸馏加课程收缩做单轮适配，在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟，而英文词错误率保持在基线 0.2% 以内。

针对单一音频编码器难以兼顾语音细节与跨域语义的问题，WQ-Fusion 冻结 Whisper 与 Qwen 双编码器并用自适应调制加逐元素门控注意力做动态融合，在 15 个数据集评测上总体分达到 0.836，代价是只训练轻量适配部件且依赖统一生成式评测协议。

针对多分支卷积只做简单相加而没有补偿各分支局限的问题，该工作把通道、时间、频率与联合时频权重按感受野特性交叉分发，在 TAU 2020 上报告 72.03% 准确率，代价是保留分支导致失去重参数化合并的推理简化。

针对混合结构先把频率轴塌缩再做全局建模会丢失显式谱时结构的问题，C2D-ST 在主干全程保留二维谱时网格并用邻域注意力做局部、用轴向注意力做频率与时间全局建模，仅在最后阶段做时间建模，在 VoxCeleb 上以 6.9M 参数达到平均 EER 0.507，代价是最终仍需时间聚合与 AS-Norm 等评分补偿。

针对孟加拉语语音情感识别，该工作用 80 维谱特征走 DNN、51 维多尺度韵律描述子走轻量 KAN，再经双向交叉注意力和情绪自适应门控融合，在说话人无关评测下以 1.1M 参数在 SUBESCO 取得 92.12%、在 BanglaSER 取得 82.79%，代价是跨库与会话语音泛化仍受语料差异限制。

针对短句语音模型在长文本上出现的走调、音色漂移和句界断裂问题，论文提出只在推理时生效的 MagpieTTS-LF，用软注意力先验维持单调对齐并保留远距上下文、用跨句状态传递历史文本与编码器表示，在 20 段 3-4 分钟英文长文本上把词错误率降到 0.025 并把边界能量跳变降到 14.04 dB，代价是仍需逐句自回归生成且未报告延迟与主观听感。

针对多模态意图识别中实例级对比缺少语义锚定、扁平融合忽略层次冗余的问题，MVCL-DAF++ 引入类原型对比与粗到细动态融合，在 MIntRec 上取得 76.18% 准确率与 75.66% 加权 F1、在 MIntRec2.0 上取得 60.40% 准确率与 59.23% 加权 F1，代价是三项损失联合训练与双分支融合的更高复杂度。

针对脑电与语音包络的时间对齐分类问题，SCANS 用扩张卷积前端加跨模态注意做双向融合，并以交叉熵加有监督对比损失联合训练，在 SParrKULee 上 N 为 2、t 为 3 秒时总分报告为 86.1，但长窗与多候选条件下的方差与泛化代价仍需对照原文条件理解。

针对单声道到双耳合成中耳间差异难复现的问题，Spec2Spatial 先做时域几何对齐再在时频域学习左右耳关联与位置调制，在 Binaural Speech 上取得 DILD 1.250、DITD 0.034 和 MRSTFT 1.174，代价是仍依赖小规模同域录音与位置姿态输入。