注意力机制

针对韩语手术室 51 类组合口令，该研究用共享编码器加三路注意力分别预测方向、模式和步数，并以 CORAL 顺序回归学习 1-5 步幅，在留一说话人评估下达到 95.36% 联合成功率、0.0338 步 MAE 和 0.60% 灾难性错误率，代价是仅 5 人数据与预切分评测且最难说话人仍明显下滑。

针对资源受限下音频推理难部署的问题，论文用 3 流声学前端加指令感知的查询投影与语义门控做特征过滤，在 MMAR 上以 1.5 B 取得 46.40 准确率，但推理链丰富度仍明显弱于 30 B 以上模型且在过密与空间场景有回退。

针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题，WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口，并用全注意力教师蒸馏加课程收缩做单轮适配，在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟，而英文词错误率保持在基线 0.2% 以内。

针对单一音频编码器难以兼顾语音细节与跨域语义的问题，WQ-Fusion 冻结 Whisper 与 Qwen 双编码器并用自适应调制加逐元素门控注意力做动态融合，在 15 个数据集评测上总体分达到 0.836，代价是只训练轻量适配部件且依赖统一生成式评测协议。

针对多分支卷积只做简单相加而没有补偿各分支局限的问题，该工作把通道、时间、频率与联合时频权重按感受野特性交叉分发，在 TAU 2020 上报告 72.03% 准确率，代价是保留分支导致失去重参数化合并的推理简化。

针对混合结构先把频率轴塌缩再做全局建模会丢失显式谱时结构的问题，C2D-ST 在主干全程保留二维谱时网格并用邻域注意力做局部、用轴向注意力做频率与时间全局建模，仅在最后阶段做时间建模，在 VoxCeleb 上以 6.9M 参数达到平均 EER 0.507，代价是最终仍需时间聚合与 AS-Norm 等评分补偿。

针对孟加拉语语音情感识别，该工作用 80 维谱特征走 DNN、51 维多尺度韵律描述子走轻量 KAN，再经双向交叉注意力和情绪自适应门控融合，在说话人无关评测下以 1.1M 参数在 SUBESCO 取得 92.12%、在 BanglaSER 取得 82.79%，代价是跨库与会话语音泛化仍受语料差异限制。

针对短句语音模型在长文本上出现的走调、音色漂移和句界断裂问题，论文提出只在推理时生效的 MagpieTTS-LF，用软注意力先验维持单调对齐并保留远距上下文、用跨句状态传递历史文本与编码器表示，在 20 段 3-4 分钟英文长文本上把词错误率降到 0.025 并把边界能量跳变降到 14.04 dB，代价是仍需逐句自回归生成且未报告延迟与主观听感。

针对多模态意图识别中实例级对比缺少语义锚定、扁平融合忽略层次冗余的问题，MVCL-DAF++ 引入类原型对比与粗到细动态融合，在 MIntRec 上取得 76.18% 准确率与 75.66% 加权 F1、在 MIntRec2.0 上取得 60.40% 准确率与 59.23% 加权 F1，代价是三项损失联合训练与双分支融合的更高复杂度。

针对脑电与语音包络的时间对齐分类问题，SCANS 用扩张卷积前端加跨模态注意做双向融合，并以交叉熵加有监督对比损失联合训练，在 SParrKULee 上 N 为 2、t 为 3 秒时总分报告为 86.1，但长窗与多候选条件下的方差与泛化代价仍需对照原文条件理解。

针对单声道到双耳合成中耳间差异难复现的问题，Spec2Spatial 先做时域几何对齐再在时频域学习左右耳关联与位置调制，在 Binaural Speech 上取得 DILD 1.250、DITD 0.034 和 MRSTFT 1.174，代价是仍依赖小规模同域录音与位置姿态输入。

针对无声肌电到语音映射模糊难控的问题，TAP-ETS 用帧级音素嵌入经交叉注意力直接条件化解码，并在推理时把外部文本校正重分布回肌电帧，在 Gaddy 无声测试集上把词错误率从 25.12% 降到 19.77%，代价是依赖外部语言模型校正质量与精确时长结构。

论文发现联合视频生成中视频到伴随模态的对应强而反向弱，提出以停止梯度的强方向分布为目标的 KL 正则 RecCAR，在视频-动作上把人体解剖学得分从 0.69 提升到 0.75，在视频-音频上把绝对失同步从 0.804 降到 0.752，代价是只微调 LoRA 且需保留原生成损失权重。

针对语音识别中 Mamba 用固定深度卷积做局部聚合而缺乏内容自适应的问题，论文把该位置换成因果卷积加通道内局部注意力来动态生成状态空间参数，在 LibriSpeech 和 TED-LIUM 上以更小参数量取得更低词错误率，代价是引入双向结构和注意力窗口等额外设计与解码依赖。

针对谐波注意力依赖先验字典而清音恢复弱的问题，论文提出对注意力键和值做有限标量量化的无字典离散注意力，并在 TFGridNet 上验证其与谐波注意力的互补增益，最强组合在可见集提升 0.10 PESQ 与 0.56 dB SISNR，代价是前端与注意力替换带来的额外计算与结构复杂度。

针对用稀疏参考 RIR 预测未见目标位置 RIR 的跨场景任务，论文提出按时间分流到双曲分支与欧氏分支再由上下文门融合的 Janus-RIR，在 AcousticRooms 上 K=8 时把 T60 误差降到 7.75% 并把 C50 误差降到 1.12 dB 左右，代价是需要并行双分支聚合与熵正则等额外结构。

针对家具移除与移动后同一声源接收位置的房间脉冲响应更新问题，论文提出以均匀材质仿真代理刻画几何变化的 PG-RIR，在 14 场景留一评估上把 T60 误差降到 0.0316 秒左右，但多步回代会累积平滑且逆渲染基线在大表面数下失效。

该研究在统一多模态架构下比较标准自注意力与 RetNet、LightNet、GSA、FoX、KDA 在 MSP-Podcast 上的情感识别效果，报告显示标准自注意力在 Test1 均值 36.42% 和 Test2 均值 27.19% 上最稳，而高效变体在 400 秒序列上把延迟降到 5.96 ms 量级、显存降到 0.328 GB 量级，代价是识别分数下 …

针对实时零样本声音转换中说话人相似度低的问题，该研究用基频激励信号补回离散内容单元丢失的韵律，并用全局嵌入加轻量互补编码器的因果融合提升表达能力，在 LibriTTS 训练、VCTK 未见说话人评测上将说话人余弦相似度做到 80.83%，代价是可懂度略低于最优基线且主观相似度提升未达显著水平。

该研究以推理时因果干预解剖 SAM Audio 的文本条件与自注意力收敛，发现加性注入定语义、交叉注意力修声学、稳定层早收敛，并据此提出免训练的层选择注意力缓存，以约 25% 自注意力计算节省实现最高 6.7 倍的质量保持优势。