注意力机制

论文要解决多人同框时把声音归属到正确人脸的在线判断问题，用当前帧跨人脸比较加单人历史因果建模实现零前视，在 MSDWild 多人验证集上把竞争性误报相对降低约三分之一，代价是每个块增加 1.57M 参数和跨人脸注意的平方计算量。

针对标题标签描述字段结构与噪声不同以及单标量融合不区分通道的问题，FAM-Gate 用音频引导的字段注意力先聚合元数据，再用以音频为先验的向量门按维度融合，在 BSD 与 FSD50K 的匹配五种子评测中提升层级与宏平均指标，代价是总参数增加约 0.19% 与每样本多编码三个文本视图。

GAMW 针对合成语音事后加水印易被复合处理抹除的问题，把内容自适应的多比特残差写进冻结 TTS 产生的梅尔谱再经冻结声码器发声，并用聚焦调节加动态逐比特加权学习解码，在两条 TTS 链路上保持语音质量的同时提升了单种与复合扰动下的解出率。

GeoMER 针对语音加文本情绪识别中细粒度跨模态对齐与抽象情绪结构难以兼顾的问题，用欧氏分支做词元级融合、用双曲几何核心路由组织抽象情绪表示，在 IEMOCAP 四分类上报告 83.54% 加权准确率和 83.35% 非加权准确率，代价是双分支与双曲运算带来的额外复杂度。

针对 MP3 低码率造成的带宽缺失与编码失真，MPASCNet 用幅度和包裹相位共同指导频点到紧凑 token 的自适应压缩与分支重建，在 MedleyDB 非重叠评测上以 6.49 M 参数取得整体 17.65 dB SDR 和 17.27 dB SI-SNR，但增益只在原文的混合训练与三类评测条件下成立。

针对仅用环境音频检测鼾声、低通气和阻塞性呼吸暂停并估计 AHI 的问题，论文提出把多分辨率自适应线增强器的置信图直接送入注意力偏置和特征调制，在 APSAA 上取得 Event-F1 0.7105 的最好结果，代价是三路滤波加双流建模带来额外计算和单中心小样本的适用限制。

X-AVDD 针对配对音频-视觉数据集蒸馏，用先训练带双向交叉注意力的教师模型再按类匹配交叉注意力后嵌入的方法合成每类少量样本，在四个音频-视觉事件识别基准上提高小数据训练精度，并把合成总耗时从 10 小时降到 1.3 小时。

针对合成语音破坏自然频谱-时间协同变化的问题，论文用频谱节点和时间节点之间的联合协方差建图并做多项式图滤波，再与图注意力分支互补融合，在 ASVspoof 与四个跨数据集上降低等错误率，代价是只增加约 4 至 8k 的后端可训练参数和高阶滤波可能引入冗余关系。

论文研究把前向仿真学到的传感器关系图用于稀疏源定位逆任务是否有效，通过定理证明边误差容忍条件并用氢气泄漏 CFD 与声学两类 180 场景实验证明满足边准确仍因任务目标错位而失效，且给出基于 Jaccard 重叠的轻量可迁移性检验及其代价。

针对双人混合语音加目标说话人唇部视频的分离任务，GAANet 让音频做逐级降采样而视频保持原时间分辨率，并用压缩到单时间点的全局令牌回头调制各尺度特征，在 LRS2 上达到 16.5 dB SI-SNRi，代价是 3.3M 参数和 19.8G MACs。

论文针对肌电到语音合成中过度平滑与模型臃肿问题，提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态，在英汉数据上以更少参数改善频谱重建与可懂度，但混沌计算只在训练时付出代价且主观差异未达显著水平。

Prism 针对 2K 联合生成中全注意力二次代价与冗余稀释问题，用宏区自适应块形状与混合块选择实现 2.5 倍训练加速并在 2K 评测上提升质量，但结论依赖自建 2K 数据与特定骨干和阈值。

针对无声谈话视频只能看到近似唇形而无法唯一确定音素的问题，论文用训练期真值文本加注意力融合与条件流匹配生成梅尔谱，并在 LRS2/LRS3 上以同步指标领先为证据，代价是推理仍依赖唇读预测文本的准确率。

论文针对来源混淆的视听幻觉，提出在问题状态上做来源条件转向的免训练方法 Secret，最强证据是在 CMM 和 AVHBench 上最高带来 18.0 和 7.1 个百分点的平均准确率提升，代价是需要多分支前向与逐模型选择转向层。

为把只支持至多双声道的 GMLv2 扩展到 5.1 声道，论文比较信号、预测、隐变量、特征四层融合，提出特征带组注意力 FGAtt 在感知主干前自适应融合空间组，在五个 5.1 测试集上总体 PCC/SCC 达 0.9063/0.8303，代价是需 5.1 主观数据训练轻量融合模块且冻结主干。

针对噪声与混响下固定频率加权和严格对位匹配不可靠的问题，QK-GCC 用双通道幅度相位频点表征的查询键局部匹配替代手工匹配，并在仿真混响与变信噪比条件下报告了优于 GCC-PHAT 与神经 GCC 变体的帧级精度，同时保持轻量双通道算子结构。

该研究用共享麦克风处理加掩蔽自注意力实现可变麦克风数的一阶 Ambisonics 矩阵编码，对比只看阵列传递函数的信号无关编码与同时看观测信号的信号相关编码，在 LibriSpeech 训练后于未见麦克风数、更多声源数和非语音源上仍优于静态最小二乘，而信号相关整体更强但白噪声下绝对重建仍然困难。

该文把每帧无序波达方向估计和说话人嵌入在输入端融合，用时间与声源两维自注意力输出按说话人排序的轨迹，在合成与 LOCATA 上以关联精度提升为主、检测与定位误差同步下降为证据，但只验证至多两说话人同时至多两活跃的短序列条件。

该研究用共享交叉注意力接口统一文本线索和注册语音两种目标指定方式，在 30000 个双说话人混合评估上以五字文本加注册语音达到总体字错率 8.80%，代价是单线索推理弱于并行融合且依赖 oracle 文本跨度。

针对脑电噪声下普通自注意力只能稀释无关特征的问题，AFA-Net 用时空卷积提局部特征再用差分注意力做全局减噪，在 KUL 2s 窗上报告 96.8% 准确率且仅用 0.03M 参数，代价是 DTU 上整体更低且部分窗口相对最强基线无显著优势。